یک مطالعه تازه نشان میدهد که چتباتها، حتی آنهایی که توسط شرکتهای بزرگ فناوری ساخته شدهاند، در پاسخ به سوالات حساس و مستعد انتشار اطلاعات نادرست درباره سلامت، عملکرد قابل اعتمادی ندارند.
به گزارش سیناپرس، دکتر نیکلاس بی. تیلر از مرکز پزشکی Harbor-UCLA و همکارانش، پنج چتبات محبوب شامل Gemini (گوگل)، DeepSeek (High-Flyer)، Meta AI (متا)، ChatGPT (اوپنایآی) و Grok (xAI) را بررسی کردند. آنها ده سوال در پنج حوزهی پرریسک سلامت شامل سرطان، واکسنها، سلولهای بنیادی، تغذیه و عملکرد ورزشی به چتباتها دادند و پاسخها توسط دو کارشناس مستقل ارزیابی شد.
نتایج نشان داد؛ تقریبا نیمی از پاسخها مشکلدار بودند. به طور خاص، نزدیک ۲۰ درصد پاسخها «بسیار مشکلدار» و حدود ۳۰ درصد «تا حدی مشکلدار» ارزیابی شدند. عملکرد چتباتها در حوزه واکسنها و سرطان نسبتاً بهتر بود، اما در موضوعات تغذیه، ورزش و سلولهای بنیادی، کیفیت پاسخها پایین و گاهی گمراهکننده بود.
یک نکته قابل توجه، کیفیت ارجاعات و منابع ذکرشده توسط چتباتها بود؛ تقریبا هیچ یک نتوانستند فهرست ارجاعات کامل و معتبر ارائه دهند و اغلب به منابع ساختگی یا نادرست استناد کردند. سطح دشواری متنها هم بالاتر از سطح خواننده معمول بود و بیشتر معادل تحصیلکردگان سال سوم و چهارم دانشگاه ارزیابی شد.
محققان هشدار دادند: چتباتها به دادههای بهروز دسترسی ندارند و خروجیهای خود را بر اساس الگوهای آماری و پیشبینی کلمات تولید میکنند. آنها قادر به تحلیل شواهد یا قضاوت اخلاقی نیستند و ممکن است پاسخهایی ارائه دهند که معتبر و علمی به نظر برسد اما در واقع نادرست باشد.
این تحقیق یک یادآوری مهم برای کاربران است که نباید به صورت کامل به چتباتها برای اطلاعات پزشکی حساس اعتماد کنند و همیشه باید نظرات متخصصان انسانی و منابع معتبر پزشکی را نیز در نظر گرفت.
مترجم:ندا جوادهراتی