انتقاد نیچر از سیستم ارزیابی ارتباط بین علم و نوآوری
نشریه نیچر در مقاله ای به بررسی سیستم های رتبه بندی دانشگاهی و ارزیابی ارتباط بین علم و نوآوری پرداخته است.
اختلاف نظر کمی وجود دارد که پیشرفت در زمینه دانش علمی به ارتقای استانداردهای زندگی منجر می شود. سیاستمداران و دولتمردان معتقدند برای مهندسی بهتر نتایجی که صنعت، دولت یا جامعه از آن نفع می برند، باید تعاملات بین علم و نوآوری به دقت اندازه گیری شود. نمایش این ارتباط به دولت و موسسات کمک می کند تا بودجه عمومی بر روی تحقیقات را توجیه کنند.
این مقاله، نقش منطق در ایجاد سیستمی برای اندازه گیری ارتباط بین علم و نوآوری را بسیار حیاتی دانسته زیرا تا دلیل اندازه گیری چیزی به وضوح بیان نشود، فرآیند ارزیابی آن نتیجه مفیدی ارائه نخواهد کرد. در واقع تمرکز بیش از حد بر روی مرحله طراحی می تواند باعث انحراف از نتیجه عملی مطلوب شود که گاهی اوقات به قانون گودهارت معروف است. بر اساس این قانون، زمانی که یک اقدام به هدف تبدیل می شود، تحریف و سوء تعبیر می شود.
شاهد این ادعا، افزایش رتبه بندی دانشگاهی در دهه اخیر است. دانشگاههای سراسر جهان به فهرستی چشم دوخته اند که در بهترین حالت توسط معیارهای عملکرد ناپخته و اغلب نامناسب تعیین می شوند.
گزارش این اعداد به شکل رتبه بندی به بدتر شدن مساله می انجامد. این امر باعث ایجاد تصور اشتباهی از دقت می شود و داده های پایه نمی توانند بطور منطقی عملکرد موسسات را در سطح ابتدایی تشخیص دهند.
برای مثال، رتبه 37 ممکن است بسیار بهتر از رتبه 66 باشد اما در بسیاری از موارد چنین نتیجه ای نمی تواند تفاوت واقعی بین عملکرد دو موسسه را منعکس کند. برای اجتناب از چنین دامی، به شورای تحقیق استرالیا وظیفه بررسی تحقیق داده شده که بجای رتبه بندی (Ranking) از رتبه بندی با مقیاس (Rating) استفاده می کند.
ارزیابی تمرین تعالی پژوهشی (ERA) به جمع آوری همه خروجی های آکادمیک از جمله مقالات منتشر شده در مجله کارشناسی و همچنین کتابها، گزارش ها و اختراعات برای ارائه منظم رتبه بندی می پردازد.
متاسفانه زمانی که این اطلاعات منتشر می شود، به سرعت و بطور گمراه کننده ای توسط دیگران به رتبه بندی تبدیل می شود.
تلاشها برای ارزیابی بهتر تا حدی پیچیده بوده و در معرض تردید قرار دارند. برای مثال در انگلستان از رویکرد چارچوب برتری تحقیق (REF) برای بررسی تحقیقاتی استفاده می شود که موسسات آن ها به توصیف تاثیر تحقیقاتشان بر جامعه پرداخته اند. اگر تحقیق بتواند ارزشی را برای جامعه ارائه کند، آنگاه می تواند سودمند باشد. اما اگر هدف تحقیق، ارائه نشانگرهایی برای کمک به موسسات به منظور ارتقای رویکردشان در پیشبرد نوآوری باشد، یک نقص چشمگیر رخ می دهد. از آنجایی که عملی ساختن یک تحقیق به فعالیت موثر چند دهه طول می کشد، تحقیقات بر محیطهای دانشگاهی و صنعتی که تکیه دارند که احتمالا تغییر کرده و کاربری آن ها برای آگاهی از رفتار آینده را محدود می کند.
تحقیقات همچنین به دلیل ارائه نمونه کوچکی از فعالیت یک موسسه دچار نقص هستند. استفاده از آن ها برای اختصاصی کردن منابع ممکن است امتیاز را به افراد اشتباه بدهد.
برای اینکه ارزیابی منصفانه و بیشتر از یک تمرین پرهزینه روابط عمومی برای موسسات تحقیقاتی باشد، رویکردها باید شامل مجموعه ای از داده های جهانی تر برای ارائه یک تحلیل جامع باشند.
این کار که اکنون در مرحله آزمایشی قرار دارد، طیف گسترده ای از معیارهای غیرمستقیم مانند درآمد تحقیق از منابع صنعتی را جمع آوری کرده و همچنین تعداد کوچکتری از موارد تحقیق را بررسی می کند. در نهایت این اطلاعات به ارائه شواهدی از مکانیزمی می پردازد که موسسات برای تبدیل تحقیقات علمی خود به محصولات ارزشمند اجتماعی، خدمات و امکانات دارند.
برای عملی شدن این کار باید ارزیابی قابل انطباق بوده و شامل نشانگرهایی باشد که با گذشت زمان توسعه می یابند. در غیر این صورت، ارزیابی بر نشانگرهای ضعیف تکیه خواهد داشت.
تولیدکنندگان ابزارهای ارزیابی باید مراقب واکنش جامعه تحقیقاتی به ارزیابی و نتایج حاصل از آن باشند. اما دانشگاهها نیز باید بخشی از مسئولیت شکل استفاده از این اطلاعات را برعهده بگیرند. آن ها باید از تله تصمیم گیری بر اساس رتبه بندی ها بجای رسیدگی به مسائل اساسی اجتناب کنند.
مترجم: سمانه سالاری
منبع: Nature
No tags for this post.
