به زودی جزئیات این پژوهش در کنفرانس بین المللی روش های تلفیق و پردازش موازی ارائه خواهد شد.
داده های بزرگ امروزی مشکلات مختلفی برای روش های مدیریت حافظه کنونی که بر پایه اصل پراکندگی هستند بوجود می آورند.
در واقع هنگامی که یک برنامه از داده های بزرگ استفاده می کند این اصل پراکندگی به عنوان یک قاتل عملکرد عمل می کند و منجر به اجرای کند برنامه می شود. برای مقابله با این مشکل، محققان آزمایشگاه هوش مصنوعی CSAIL در MIT یک زبان برنامه نویسی جدید به نام Milk توسعه داده اند.
در مقایسه با زبان های برنامه نویسی دیگری که برای مقابله با داده های بزرگ استفاده می شوند، Milk چهار برابر سریع تر اجرا می شود و راز نهفته آن در شیوه جمع آوری و ذخیره سازی داده ها در هسته است.
در این زبان جدید زمانی که هسته نیاز به بخشی از اطلاعات داشته باشد به داده های مجاور قابل کش درخواست نمی دهد، بلکه مسیر آیتم را به لیست آدرس های ذخیره شده پراکنده اضافه می کند. هنگامی که این لیست به اندازه کافی طولانی شد، تمام هسته ها لیست های خود را مخزن کرده و آدرس های همسایه را گروه بندی می کنند. مرحله بعدی شامل توزیع مجدد لیست ها در هسته است. بنابراین یک هسته آیتم های داده هایی را درخواست می دهد که به آن نیاز دارد.
Milk این کار را با کمک برخی دستورات اضافه شده به OpenMP انجام می دهد، که یک افزونه زبان برنامه نویسی مانند C و فورتن است. OpenMP به برنامه نویس کمک می کند به آسانی کدهایی برای پردازنده های چند هسته ای بنویسد. در واقع با Milk یک برنامه نویس می تواند برای کارآمدتر کردن فرایند چند خط کد به بخش های موجود بیفزاید. کامپایلر این زبان که نشان می دهد چگونه حافظه را مدیریت کنیم، نقش عمده ای در این میان دارد.
به گزارش بینهایت،Matei Zaharia استادیار دانشگاه استنفورد در مورد این زبان می گوید: Milk کمک می کند تا شکاف های دسترسی به حافظه را با بهینه سازی دسترسی به حافظه در ساختارهای برنامه نویسی رایج پر کرد. این کار دانش دقیق در مورد طراحی کنترولرهای حافظه را با دانش در مورد کامپایلرهایی برای پیاده سازی بهینه سازی خوب ترکیب می کند.
MILK، زبان برنامه نویسی جدید MIT که کدها را چهار برابر سریع تر اجرا می کند
