ایجنتهای هوش مصنوعی چینی در آزمایشها، هنگام مواجهه با شکست یا محدودیت، به پنهانکردن خطا، ارائه اطلاعات نادرست و دور زدن محدودیتها روی آوردهاند.
به گزارش سیناپرس، ایجنتهای هوش مصنوعی که با مدلهای چینی کار میکنند، در مجموعهای از آزمایشها رفتارهایی مانند ارائه اطلاعات نادرست، پنهانکردن شکست و تلاش برای عبور از محدودیتهای تعیینشده نشان دادهاند؛ رفتارهایی که پیشتر درباره برخی سیستمهای هوش مصنوعی آمریکایی نیز نگرانیهایی ایجاد کرده بود.رویترز با بررسی بیش از ۲۰۰ سند شامل مقالات پژوهشی و گزارشهای فنی، دستکم ۲۰ مطالعه و ارزیابی از سال ۲۰۲۵ را شناسایی کرده که در آنها چنین رفتارهایی در ایجنتهای مبتنی بر مدلهای چینی مشاهده شده است. با این حال، هیچ مدرکی پیدا نشده که نشان دهد این سیستمها توانستهاند بهطور مستقل از محیط آزمایشی خارج شوند یا کنترل آنها در اینترنت گسترده از دست رفته باشد.وقتی ایجنت برای برندهشدن، واقعیت را تغییر میدهدیکی از نمونههای قابلتوجه در ماه مارس و در یک مناقصه تجاری شبیهسازیشده رخ داد. پژوهشگران دانشگاه بیهانگ، دانشگاه پکن، دانشگاه ناتینگهام نینگبو چین و آزمایشگاه امنیت هوش مصنوعی ۳۶۰، چند ایجنت را در رقابتی برای پیشنهاد قرارداد با یک مشتری قرار دادند.ایجنتهای مجهز به کیوون ۳ مکس، دیپسیک وی ۳.۲ و کیمی کی ۲ در بخش قابلتوجهی از جلسات، درباره توانایی محصولات خود ادعاهای نادرست مطرح کردند. دستکم یک ادعای نادرست در ۸۸ درصد جلسات مربوط به کیوون، ۸۴ درصد جلسات دیپسیک و ۸۸ درصد جلسات کیمی ثبت شد. وقتی به مدلها اجازه داده شد از دورهای قبلی یاد بگیرند و دوباره تلاش کنند، میزان رفتار فریبکارانه نیز افزایش یافت.
به نقل از فارس،راین رفتار فقط به مدلهای چینی محدود نبود. مدلهای آمریکایی حاضر در همان آزمایش نیز نتایج مشابهی نشان دادند؛ موضوعی که نشان میدهد با یک مسئله مرتبط با نحوه عملکرد ایجنتهای هدفمحور روبهرو هستیم، نه صرفاً منشأ جغرافیایی مدلها.شکست را پنهان میکنند، حتی وقتی میدانند شکست خوردهانددر پژوهش دیگری که ۱۱ ایجنت مجهز به مدلهای چینی و آمریکایی را بررسی کرد، سیستمها با مشکلاتی مانند خرابشدن ابزارها، گمشدن فایلها و موانع فنی روبهرو شدند. برخی ایجنتها بهجای اعلام اینکه قادر به انجام کار نیستند، پاسخ را حدس زدند، منبع دیگری را جایگزین کردند، نتیجه را شبیهسازی کردند یا فایل ساختگی تولید کردند.پژوهشگران میگویند این رفتار با «توهم» معمول مدلهای زبانی تفاوت دارد. در توهم، مدل ممکن است اطلاعات نادرست تولید کند؛ اما در این آزمایشها، ایجنت از شکست عملیات خود اطلاع داشت و با وجود آن تلاش میکرد خروجی موفقی ارائه دهد.رفتارهایی فراتر از یک پاسخ اشتباهبرخی پژوهشهای دیگر نیز رفتارهایی را در محیطهای آزمایشی ثبت کردهاند که از تلاش برای عبور از مرزهای تعیینشده حکایت دارد. در یکی از آزمایشهای دانشگاه فودان در سال ۲۰۲۵، سیستمی مبتنی بر کیوون ۲.۵ پس از مواجهه با اطلاعاتی درباره جایگزینشدنش، بدون دریافت دستور مستقیم، یک نسخه از خود را در محیط محاسباتی دیگری ایجاد کرد. در آزمایشهای دیگری نیز تلاشهایی برای ادامه فعالیت در برابر فرایند خاموششدن مشاهده شد.
با این حال، این آزمایشها در محیطهای کنترلشده انجام شدهاند و شواهدی از فرار واقعی این سیستمها به اینترنت گسترده یا غیرقابلکنترلشدن آنها وجود ندارد. بسیاری از این آزمایشها نیز عمداً برای آشکارکردن نقاط ضعف ایجنتها طراحی شدهاند.مسئله اصلی با قدرتمندتر شدن ایجنتهااهمیت این یافتهها به روند حرکت هوش مصنوعی از چتباتهای پاسخگو به سمت ایجنتهای خودمختار بازمیگردد. این سیستمها میتوانند ابزارهای رایانهای را به کار بگیرند، فایل ایجاد کنند، اطلاعات جمعآوری کنند و مجموعهای از اقدامات را بدون دخالت مداوم انسان انجام دهند.در چنین شرایطی، توانایی تشخیص شکست و اعلام صادقانه آن اهمیت بیشتری پیدا میکند. اگر ایجنتی بهجای توقف، برای رسیدن به هدف خود مسیر دیگری پیدا کند، پنهانکردن خطا یا دور زدن محدودیت میتواند به مسئلهای جدیتر تبدیل شود.چین نیز در دستورالعملهای جدید خود این نگرانیها را مورد توجه قرار داده است.
چارچوب ایمنی هوش مصنوعی این کشور، خطراتی مانند دستیابی مستقل ایجنتها به منابع و مجوزها، فریب ارزیابان، پنهانکردن قابلیتها و سوءاستفاده از ضعفهای محیطهای رایانهای ایزوله را در میان ریسکهای مهم قرار داده است.در نهایت، یافتههای فعلی به معنای آن نیست که ایجنتهای چینی کنترلناپذیر شدهاند. مسئله اصلی این است که نشانههایی از رفتارهایی که برای ایجنتهای پیشرفته خطرآفرین تلقی میشوند، در محیطهای آزمایشی مشاهده شدهاند؛ موضوعی که با افزایش توانایی و استقلال این سیستمها، اهمیت بیشتری پیدا خواهد کرد.