به گزارش اس‌ای، اولین سیستم هوش مصنوعی غیرتهاجمی در جهان می‌تواند افکار را به متن تبدیل کند، در حالی که فقط از کاربران می‌خواهد یک کلاه سر کنند و نیازی به کاشت تراشه مغزی وجود ندارد.
پژوهشگران استرالیایی که این فناوری به نام دی‌ویو(DeWave) را توسعه داده‌اند، این فرآیند را با استفاده از داده‌های بیش از ۱۰ نفر آزمایش کردند.
شرکت کنندگان در حالی که کلاهی به سر داشتند و در سکوت مطالعه می‌کردند، امواج مغزی‌شان از طریق نوار مغزی(EEG) ضبط و افکارشان رمزگشایی و به متن تبدیل می‌شد.
پژوهشگران استرالیایی می‌گویند، DeWave با اصلاحات بیشتر می‌تواند به بیماران سکته مغزی و مبتلا به فلج کمک کند تا با دیگران ارتباط برقرار کنند و هدایت ماشین‌هایی مانند بازوهای بیونیک یا ربات‌ها را برای مردم آسان‌تر کند.
چین تِنگ‌لین دانشمند علوم کامپیوتر از دانشگاه فناوری سیدنی(UTS) می‌گوید: این تحقیق نشان دهنده تلاشی پیشگامانه در ترجمه امواج خام EEG به طور مستقیم به متن است که یک پیشرفت قابل توجه در این زمینه را نشان می‌دهد.
این فناوری در آزمایش‌های انجام‌شده توسط لین و همکارانش به بیش از ۴۰ درصد دقت دست یافت یک حکایت از بهبود سه درصدی نسبت به استاندارد قبلی برای ترجمه فکر از ضبط‌های EEG دارد.
هدف پژوهشگران بهبود دقت به حدود ۹۰ درصد است که با روش‌های مرسوم ترجمه زبان یا نرم‌افزار تشخیص گفتار برابری می‌کند.
سایر روش‌های ترجمه سیگنال‌های مغزی به زبان، نیاز به جراحی‌های تهاجمی برای کاشت الکترودها در مغز یا استفاده از دستگاه‌های بزرگ و گرانقیمت مانند MRI دارند که آنها را برای استفاده روزانه غیر عملی می‌سازد و اغلب نیاز به استفاده از ردیابی چشم برای تبدیل سیگنال‌های مغزی به کلمات دارند.
وقتی چشم یک فرد از یک کلمه به کلمه دیگر می‌رود، منطقی است که فرض کنیم مغز او بین پردازش هر کلمه استراحت کوتاهی می‌کند. بنابراین ترجمه موج مغزی خام به کلمات، بدون ردیابی چشم فرد دشوار است.
امواج مغزی افراد مختلف، همگی گسست بین کلمات را کاملاً یکسان نشان نمی‌دهند و همین امر، آموزش هوش مصنوعی برای ترجمه افکار افراد را چالش برانگیز می‌کند.
پس از آموزش گسترده DeWave، رمزگذار آن امواج مغزی را به یک کد تبدیل می‌کند که می‌تواند بر اساس میزان نزدیکی آن به ورودی‌ها و کلمات خاص مطابقت داده شود.
لین توضیح می‌دهد: این فناوری اولین در نوع خود است که تکنیک‌های رمزگذاری گسسته را در فرآیند ترجمه مغز به متن معرفی می‌کند و رویکردی نوآورانه برای رمزگشایی عصبی ارائه می‌دهد.
وی افزود: ادغام این سیستم با مدل‌های زبانی بزرگ، مرزهای جدیدی را در علوم اعصاب و هوش مصنوعی باز می‌کند.
لین و تیمش از مدل‌های زبان آموزش‌دیده استفاده کردند که شامل ترکیبی از سیستمی به نام BERT با GPT بود و آن را بر روی مجموعه داده‌های موجود افرادی که ردیابی چشم و فعالیت مغزشان هنگام خواندن متن ثبت شده بود، آزمایش کردند.
این کار به سیستم کمک کرد تا الگوهای امواج مغزی را با کلمات مطابقت دهد، سپس DeWave با یک مدل زبان بزرگ منبع‌باز که اساساً از کلمات، جمله می‌سازد، بیشتر آموزش دید.
ترجمه افعال قسمتی بود که DeWave بهترین عملکرد را در آن داشت. از سوی دیگر، اسم‌ها بیشتر به عنوان جفت کلماتی ترجمه شدند که به جای ترجمه‌های دقیق، تقریبا یک مفهوم دارند.
ییکوان دوان دانشمند علوم کامپیوتر از UTS و از اعضای این تیم تحقیقاتی می‌گوید: ما فکر می‌کنیم این به این دلیل است که وقتی مغز این کلمات را پردازش می‌کند، کلمات دارای مشابهت معنایی ممکن است الگوهای امواج مغزی مشابهی تولید کنند.
وی افزود: مدل ما با وجود چالش‌ها، نتایج معنی‌داری به دست می‌دهد، کلمات کلیدی را تراز می‌کند و ساختار جمله‌ای مشابه را تشکیل می‌دهد.
این پژوهش نسبتاً بزرگ آزمایش‌شده به این واقعیت اشاره می‌کند که توزیع امواج EEG افراد بسیار متفاوت است و همچنین نشان می‌دهد که این تحقیق قابل اعتمادتر از فناوری‌های قبلی است که فقط بر روی نمونه‌های بسیار کوچک آزمایش شده‌اند.
کارهای بیشتری باید انجام شود و هنگامی که سیگنال‌های EEG به جای الکترودهای کاشته شده در مغز، از طریق یک کلاه دریافت می‌شوند، سیگنال نسبتاً نویزدار است.
پژوهشگران این مطالعه می‌گویند: ترجمه افکار به صورت مستقیم از مغز، یک تلاش ارزشمند و در عین حال چالش برانگیز است که مستلزم تلاش‌های مداوم و قابل توجه است و با توجه به پیشرفت سریع مدل‌های زبان بزرگ، روش‌های رمزگذاری مشابهی که میان فعالیت مغز با زبان طبیعی پل می‌زنند، شایسته توجه بیشتر هستند.
این پژوهش در کنفرانس NeurIPS ۲۰۲۳ ارائه شد و مقاله پیش‌چاپ آن در ArXiv موجود است.