به گزارش سیناپرس، محققان دانشگاهMIT ، یک راه حل محبوب یادگیری ماشینی، به نام یادگیری فدرال را به منظور جمع آوری مجموعه داده های عظیمی، مانند تصاویر پزشکی، که نیازمند حفظ حریم خصوصی هستند، بهبود بخشیده اند. یادگیری فدرال، روشی مشترک برای آموزش یک مدل یادگیری ماشینی است که داده های حساس کاربر را خصوصی نگه می دارد.
هر یک از کاربران، قادر هستند تا مدل خود را با استفاده از داده های خود، آموزش دهند. سپس کاربران مدل های خود را به یک سرور مرکزی انتقال می دهند، که آنها را با هم ترکیب کرده تا مدل بهتری ارائه کند و برای همه کاربران بفرستد.
اما انتقال یک مدل بزرگ یادگیری ماشینی به یا از یک سرور مرکزی مستلزم جابجایی داده های زیادی است که هزینه های ارتباطی بالایی دارد. به گزارش سیناپرس، به علاوه، هر کاربر، داده های خود را جمع آوری می کند، بنابراین این داده ها لزوماً از الگوهای آماری یکسانی پیروی نمی کنند، که می تواند منجر به اختلال در عملکرد مدل ترکیبی شود.
محققان تکنیکی را توسعه دادند که می تواند به طور همزمان بر این مشکلات، غلبه کند. روش آن ها دقت مدل یادگیری ماشین ترکیبی را افزایش می دهد و در عین حال اندازه آن را به میزان قابل توجهی کاهش می دهد، که باعث افزایش سرعت ارتباط بین کاربران و سرور مرکزی می شود. این تکنیک، دقت کلی مدل را تا حدود 10 درصد افزایش داد.
سیستمی که محققان توسعه داده اند، FedLTN نام دارد، و مبتنی بر ایده ای در یادگیری ماشینی است که با عنوان فرضیه بلیط بخت آزمایی، شناخته می شود. به گزارش سیناپرس، بر اساس این فرضیه، در مدل های شبکه عصبی بسیار بزرگ، زیرشبکه های بسیار کوچک تری وجود دارند که می توانند عملکرد یکسانی داشته باشند. پیدا کردن یکی از این زیرشبکه ها شبیه به پیدا کردن یک بلیط بخت آزمایی برنده است.
شبکه های عصبی، مدل های یادگیری ماشینی بر اساس مغز انسان، هستند که حل مسائل را با استفاده از لایه های به هم پیوسته، به نام گره ها یا نورون ها یاد می گیرند.
به گزارش سیناپرس، پیدا کردن یک شبکه بلیط بخت آزمایی برنده، پیچیده است. محققان باید از فرآیندی به نام هرس تکراری استفاده کنند. به طوری که اگر دقت مدل، بالاتر از یک آستانه تعیین شده باشد، گره ها و اتصالات بین آن ها حذف می شوند (درست مانند هرس کردن شاخه های یک بوته) و سپس شبکه عصبی لاغرتر را آزمایش می کنند تا ببینند آیا دقت، بالاتر از آستانه باقی می ماند یا خیر.
محققان، از چند تکنیک جدید برای تسریع فرآیند هرس استفاده کردند. آن ها فرآیند هرس را با اجتناب از بازگشت بخش های باقی مانده از شبکه عصبی هرس شده، به مقادیر اولیه خود، تسریع کردند.به گزارش سیناپرس، برای شخصی سازی هر مدل برای محیط کاربر، محققان، مراقب بودند تا لایه هایی را در شبکه که حاوی اطلاعات آماری مهمی در مورد داده های خاص کاربر بودند، حذف نکنند.
هنگامی که پژوهشگران، مدل FedLTN را مورد آزمایش قرار دادند، عملکرد بهتر و کاهش هزینه های ارتباطی سراسری، را مشاهده کردند.
محققان اظهار داشتند: این کار اهمیت تفکر در مورد مشکلات را نه از دید معیارهای فردی، بلکه از جنبه ای کل نگر نشان می دهد. تمرکز ما باید بر این مسئله باشد که چگونه می توان مجموعه ای از چیزها را در کنار یکدیگر بهبود بخشید.
به گزارش سیناپرس، نتایج تحقیقاتی در MIT News Office منتشر شده اند.
ترجمه: سنا دلفیه
No tags for this post.