نتایج خیره کننده ChatGPT در آزمون مجوز پزشکی

ChatGPT OpenAI می تواند حدود 60 درصد از آستانه قبولی برای آزمون مجوز پزشکی ایالات متحده (USMLE) را با پاسخ هایی که منسجم و حس درونی دارند و حاوی بینش های مکرر هستند، کسب کند.

به گزارش سینا پرس فارس، ChatGPT یک سیستم هوش مصنوعی (AI) جدید است که به عنوان یک مدل زبان بزرگ (LLM) شناخته می‌شود، که برای تولید نوشتاری شبیه انسان با پیش‌بینی توالی کلمات آینده طراحی شده است. برخلاف اکثر ربات‌های چت، ChatGPT نمی‌تواند در اینترنت جستجو کند. در عوض، متن را با استفاده از روابط کلمه پیش بینی شده توسط فرآیندهای داخلی آن تولید می کند.

کونگ و همکارانش عملکرد ChatGPT را در USMLE آزمایش کردند، مجموعه ای بسیار استاندارد و تنظیم شده از سه امتحان (مرحله 1، 2CK، و 3) که برای صدور مجوز پزشکی در ایالات متحده لازم است. USMLE که توسط دانشجویان پزشکی و پزشکان در حال آموزش انجام می‌شود، دانشی را که بیشتر رشته‌های پزشکی را شامل می‌شود، از بیوشیمی گرفته تا استدلال تشخیصی و اخلاق زیستی ارزیابی می‌کند.

پس از غربالگری برای حذف سوالات مبتنی بر تصویر، نویسندگان نرم افزار را روی 350 سوال از 376 سوال عمومی موجود از نسخه USMLE ژوئن 2022 آزمایش کردند.

پس از حذف پاسخ‌های نامشخص، ChatGPT بین 52.4% و 75.0% در سه آزمون USMLE امتیاز کسب کرد. آستانه عبور در هر سال تقریباً 60٪ است. ChatGPT همچنین 94.6٪ تطابق را در تمام پاسخ های خود نشان داد و حداقل یک بینش مهم (چیزی که جدید، غیر آشکار و از نظر بالینی معتبر بود) برای 88.9٪ از پاسخ های خود ایجاد کرد. شایان ذکر است که ChatGPT از عملکرد PubMedGPT فراتر رفته است، یک مدل مشابه که منحصراً بر روی ادبیات حوزه زیست پزشکی آموزش داده شده است، که در مجموعه داده‌های قدیمی‌تری از سؤالات سبک USMLE امتیاز 50.8 را کسب کرده است.

در حالی که اندازه ورودی نسبتاً کوچک عمق و دامنه تجزیه و تحلیل ها را محدود می کند، نویسندگان خاطرنشان می کنند که یافته های آنها نگاهی اجمالی به پتانسیل ChatGPT برای افزایش آموزش پزشکی و در نهایت، عملکرد بالینی ارائه می دهد. به عنوان مثال، آنها می افزایند که پزشکان در AnsibleHealth از ChatGPT برای بازنویسی گزارش های سنگین برای درک راحت تر بیمار استفاده می کنند.

نویسندگان می‌گویند: «دستیابی به نمره قبولی برای این آزمون تخصصی دشوار، و انجام این کار بدون هیچ گونه تقویت انسانی، نقطه عطف قابل توجهی در بلوغ هوش مصنوعی بالینی است.»

نویسنده دکتر تیفانی کونگ اضافه کرد که نقش ChatGPT در این تحقیق فراتر از موضوع مطالعه است: «ChatGPT کمک قابل توجهی به نوشتن دست‌نوشته [ما] کرد… ما با ChatGPT بسیار شبیه به یک همکار تعامل داشتیم و از آن می‌خواستیم ترکیب، ساده‌سازی و ارائه دهد. نقطه مقابل پیش نویس های در حال انجام… همه نویسندگان همکار به ورودی ChatGPT اهمیت می دهند.

مترجم: الهام شارخی

منبع: scitechdaily