به گزارش سیناپرس، با جست و جو در ابزار Google Scholar برای ارزیابی نشریات دانشگاهی، کارهای بیشتری در چند سال گذشته در مورد ارزیابی تحقیقات نشان داده می شود. این ابزار تعداد بیشتری از مخاطبان را نشان می دهد اما به دلیل نحوه شکل گیری الگوریتم های گوگل و فهرست بندی لیست نویسندگان، جزییات با خطاهای بیشتری همراه هستند.
محققان، به ویژه آنهایی که در ابتدای کار خود هستند، باید بدانند که چگونه منابع، این گونه ابزارها تعداد بازنشر را برای ارائه پرونده خود به کمیته های استخدام و ارتقاء، راهنمایی می کنند.
این ابزارها علیرغم اینکه می توانند مقادیر اطلاعات بسیار متفاوتی ارائه دهند، به عنوان منابع قابل اعتماد در نظر گرفته می شوند. داده های دیگر، مانند بازتوییت ها یا لایک ها در ویدیوهای آنلاین، گاهی اوقات به عنوان نشانگری برای تأثیرات اجتماعی استفاده می شوند، اما مرتبط بودن این موارد در صورت استفاده نامناسب، محتمل تر است.
این موضوع یک مشکل جدی و عمیقاً طعنه آمیز در سراسر مجامع علمی است. پژوهشگران معمولا از داده های جزئی و ناقص برای تصمیم گیری و نتیجه گیری استفاده می کنند. این نواقص از طریق فرآیندهای آماری، محاسبات خطا و عملکرد خوب تحقیقاتی برطرف می شوند. اما بهترین شیوه ها اغلب در ارزیابی سوابق انتشار پژوهشگران اعمال نمی شوند.
تصمیمات سیاسی، استخدامی، تأمین مالی و ارتقاء از این شواهد متزلزل ساخته می شوند. این مشکل نهادها و همچنین افراد و رشته ها را در بر می گیرد. کامرون نیلون (Cameron Neylon) و کارل هوانگ (Karl Huang) محققان دانشگاه کرتین در پرث، استرالیا، داده های پایه رتبه بندی دانشگاه ها را بررسی کردند.
پژوهشگران یک رتبه بندی ساده مبتنی بر استناد از ۱۵۵ دانشگاه ایجاد کردند و داده ها را از هر یک از سه منبع Web of Science، Scopus و Microsoft Academic، که همگی ابزارهایی برای جستجوی سوابق انتشار هستند، تغذیه کردند. با تغییر منبع داده ها، سه دانشگاه بیش از ۱۱۰ پله جا به جا شدند.
جای تعجب نیست که منابع مختلف و رویکردهای رتبه بندی نتایج متفاوتی ارائه می دهند. اما سیستم ها همچنان تفاوت‌ها را نادیده گرفته و تصمیمات را با توجه به شرایط سیاسی، تأمین مالی و شغلی طوری اتخاذ می شود که گویی هر معیار فردی می تواند پاسخی جداگانه ارائه دهد. بنابراین بسیاری از تصمیمات حیاتی در سطوح فردی و نهادی اشتباه گرفته می شود.
به گفته محققان، چشم انداز سیاست ها در دهه گذشته تغییر کرده است. برای مؤثر ساختن این ابزارها، دانشگاه ها به یک تغییر فرهنگی از نظر شواهدی که برای ارزیابی خروجی پژوهش استفاده می شوند، نیاز دارند.به گزارش سیناپرس، این امر تنها زمانی اتفاق می افتد که کل شرکت ها استانداردهای بالاتری را طلب کند. محققان ارشد باید کیفیت شواهد ارائه شده را هنگام قضاوت درباره شغل و متقاضیان ارزیابی کنند و باید با ایجاد دستورالعمل ها و آموزش هایی که به آنها کمک می کند، از محققانی که در مراحل اولیه شغلی هستند حمایت کنند.
به گفته محققان این تغییرات در حال حاضر رخ می دهد. چشم انداز آینده به دنبال اصلاح ارزیابی های پژوهشی و موضوعات مشابه در بسیاری از کشورها در حال تغییر است.
تعداد بیشتری از محققین ارشد برای ارزیابی تحقیقاتی درخواست استانداردهای بالاتری از شواهد را دارند. به گزارش سیناپرس، تغییر واقعی تنها زمانی اتفاق می افتد که ارزیابی شوندگان برای نشان دادن ارزش و تأثیر واقعی تحقیقات خود، فراتر از تعداد استنادات، بازتوییت ها یا شاخص های آماری آماده باشند.
مترجم: سامیه خسروی زاده
منبع: nature