اهمیت انجام مقایسه و نرمالسازی با رویکرد علم سنجی، شاخصهای ارزیابی بروندادهای علمی

یکی از اولین مقالاتی که از استناد متقابل یک مجله به مجله دیگر به منظور اندازهگیری تأثیر یک مجله بر دیگری یا یک رشته بر دیگری استفاده کرد، مقاله کاسون و لوبتسکی در سال 1936 بود. آنها اظهار کردند که تحلیل استنادی مجله به مجله میتواند استفاده شود تا اندازه کمّی تأثیر هر زمینه روانی بر دیگری را بیان کند. در سال 1953 دانیل و لوتیت ماتریس استناد متقابل را روانشناسی ایجاد کرد، که تشابه الگوی استناد مجلات را تعیین کرد و برای نخستین بار یک خوشهبندی رسمی مجلات علمی را انجام داد. در سال 1964 کسلر ماتریس استناد متقابل مجلات را برای مجلات رشته فیزیک تنظیم کرد و پنداشت که احتمال اینکه هر مجلهای چه نوع خاصی از اطلاعات را دارا هست؛ میتوان از این ماتریس نتیجه گرفت مفاهیم تئوری شبکه توسط زیگنس و اوسگود در سال 1967 مورد استفاده قرار گرفت که روابط بین مجلات را به تصویر کشید و شباهتهای میان منابع آنها اندازهگیری شد.
در سال 1972 نارین، کارپنتر و برلت از استنادها به منظور کشیدن نقشه روابط متقابل بین مجلات و میان موضوعات استفاده کردند. در این مقاله نارین و کارپنتر یک فرایند تحلیل خوشهای به 288 مجله در فیزیک، شیمی و بیومدیکال، برای شناسایی بسیاری از خوشهها با زمینههای موضوعی رشتههای فرعی به کار بردند. (پینسکی و نارین ،1976، ص 297-298)
2-3. شاخصهای ارزیابی بروندادهای علمی
2-3-1. تاریخچه پیدایش شاخصهای ارزیابی
ظهور و توسعه پژوهش درباره ارزیابی از ابتدای دهه 1960 تاکنون طی سه مرحله عمده صورت گرفته است. در موج اول آن در دهههای 1960 و 1970، مطالعات ارزیابی تحت تأثیر ظهور دولت رفاه و اصلاحات آن، ابزاری برای بهبود نتایج و به حداکثر رساندن اثربخشی خروجیها به شمار میرفت. از نیمه دهه 1970 با رکود اقتصادی جهانی و افزایش فشار به بودجههای ملّی، کاهش هزینه برنامهها و سیاستها مورد توجه قرار گرفت. این امر به موج دوم ارزیابی انجامید که بر هزینه-کارایی تمرکز داشت و به همین دلیل توانست در کشورهای مختلف گسترش قابل ملاحظهای بیابد. موج سوم ارزیابی از دهه 1990 آغاز شده و با تسلط “مدیریت عمومی نوین” بر گفتمان جهانی نوسازی، قارههای مختلف را در مینوردد. در این میان حسابرسی هزینه محور، به کارگیری شاخصها و ساختار ارزیابی به عنوان ابزار بهرهمندی و بازخورد اطلاعات سیاسی مناسب پذیرفته شده و به کار گرفته میشود(امامی میبدی و اشتریان، 1391).
استفاده از آمارهای رسمی در حوزهی علم و فناوری در اوایل 1920 آغاز شد. ایالات متحده آمریکا، کانادا و بریتانیا پیشگامان این حوزه بودند. بر گزارشهای متخصصان آمار آن روزگار، هدف اصلی از بهرهگیری از آمار در حوزهی علم، فناوری و نوآوری این بود که آزمایشگاههای صنعتی بهتر اداره شود و دانشمندان برای غلبه بر مشکلات جنگ به خوبی بسیج شوند. با این همه، با گذشت اندک زمانی، هدف اصلی از به کارگیری آمار به ارائه راهکارهایی برای تدوین سیاستهای علمی تغییر یافت. استانداردها تنها در دهه 1950 در ایالات متحده(بنیاد ملّی علوم)، سپس در دیگر کشورها از طریق دستنامه سازمان همکاری اقتصادی و توسعه و با گستره کمتر از طریق تلاشهای یونسکو شکل گرفت. از آن زمان مقامات برای اندازهگیری علم، فناوری و نوآوری بر دو شاخص هزینههای ناخالص برای تحقیق و توسعه و نسبت آن به تولید ناخالص داخلی تکیه کردند(نوروزی چاکلی؛حسنزاده؛ نورمحمدی، 1388، ص. 20-21).
استفاده از شاخصهای علمسنجی در ارزیابی پژوهش، در دهه1970در ایالات متحده و بعد از مدتی در کشورهای اروپایی پدیدار شد. قبل از آن زمان، تحقیقات ارزیابی به طور عمده از طریق سیستم داوری و شاخصهای اقتصادی انجام میشد. شاخصهای اقتصادی توسط سازمان همکاری اقتصادی و توسعه در پاریس توسعه یافتند که به عنوان شاخص ورودی در نظر گرفته میشوند. نمایه استنادی علوم که توسط “مؤسسه اطلاعات علمی” تولید شده است، به عنوان وسیلهای برای استفاده از شاخصهای مبتنی بر متون به رسمیت شناخته شد. معرفی تدریجی شاخصهای خروجی از جمله تعداد انتشارات و تعداد استنادها مشروعیت اجتماعی داخلی و خارجی را به سیستم علم ثابت کرد. استفاده داخلی در درجه اول شامل کنترل کیفیت در چارچوبهای داخلی و سطحی رشته میشد، به عنوان مثال ، رکوردهای خروجی به طور فزایندهای به عنوان یک ابزار در بازار نیروی کار دانشگاهی استفاده میشد. استفاده خارجی شاخصهای خروجی به طور عمده توسط سیاستگذاران و مدیران علم که مایل به ارزیابی نهادها و ارزیابی سرمایهگذاری در پروژههای تحقیقاتی بودند، استفاده شد. در اوایل دهه 1980، علمسنجان یک مدلی را ایجاد کردند که خروجیها را به عنوان پارامتر بازخورد در طرح تأمین مالی معرفی میکرد. در کشورهای مختلف اروپا ، مسیرهای بسیار متفاوتی در استفاده از شاخصهای خروجی پدید آمد. در برخی از کشورها مانند انگلستان ، ایده استفاده از شاخصهای خروجی در چگونگی تخصیص بودجه، به سرعت به عنوان یک ابزار در بودجه پژوهشی دانشگاه معرفی شد. سایر کشورهای اروپایی بریتانیا از این مدل بودجه برای تحقیق پیروی نمیکردند ، اما دیدگاه غالبی که در طول دهه 1990 در ارزیابی فعالیتها بر اساس میزان انتشار و استناد شکل گرفته بود، باعث شد تا دیگر کشورها مانند آلمان از این شاخصها برای سیاستگذاری علمی خود بهره گیرند(فرنکن و لیدسدروف ، 2009).
مدیریت اثربخش علم، پژوهش، فناوری و نوآوری مستلزم کنترل و ارزیابی این مؤلفههاست. هر چیز که قابل اندازهگیری نباشد، قابل کنترل نیست و هر آنچه که قابل ک
نترل نباشد، مدیریتپذیر نیست. کمّی کردن مؤلفههای کیفی در فرایند ارزیابی علم، پژوهش و فناوری و ارائه این مؤلفهها در قالب شاخصهای کمّی علمسنجی، به همین خاطر قابل تبیین است. در طول چهار دههای از عمر علمسنجی میگذرد و حتی قبل از آن که این مفهوم به صورت رسمی در ادبیات علوم و پژوهش نمایان شود، به منظور سنجش علم و فناوری در جهان شاخصهایی به وجود آمده بود که تا حدودی اعم از شاخصهای معمول و سنتی کتابسنجی و علمسنجیاند و با عنوان شاخصهای علم و فناوری شناخته میشوند. این شاخصها که نتیجه تلاش پژوهشگران و سازماهای متولی ازریابی علمی و مدیریت پژوهش بود، در اواخر قرن بیستم و هنگامی که نیاز به ارزیابی علمی و پژوهشی الزامی شد، بیشتر مورد توجه افراد، سازمانها و دولتها قرار گرفت و نظاممند کردن آنها و ارائه شاخصهای بهتر و جدیدتر در دستور کار قرار گرفت. هرچند بر اساس تعاریف و شواهد موجود در علمسنجی، رویکرد غالب در این حوزه، رویکردی کمّیگرایانه است، اما باید دانست که شاخصهای کمّی مورد استفاده در این حوزه در واقع نمادی هر چند کوچک از کیفیات را به ما ارائه میکنند و از آنجا که اندازهگیری و سنجش دقیق کیفیات میسر نیست، متخصصان علمسنجی کیفیتها را با زبان و بیان کمّی ارائه میکنند. پس میتوان نتیجه گرفت که نظام سنجش موجود، در واقع تبیین کیفیتها توسط کمّیتهاست و پژوهشگران علمسنجی پیوسته تلاش میکنند تا کیفیتها را به صورت کمّیتهایی نشان دهند که بیانگر آن کیفیات باشد و این معیارهای کمّی در علمسنجی با عنوان “شاخص” شناخته میشوند.به هر حال سنجش و ارزیابی تولیدات و انتشارات علمی مستلزم بهرهگیری از شاخصهایی است که بتوانند به منزله معیاری مناسب ایفای نقش کنند. اساس علمسنجی بر بررسی چند متغیر پایه استوار است که برخی آن را به طور ساده شامل دو منزله انتشارات علمی و میزان استنادهایی میدانند که به آنها تعلق میگیرد. در سطحی خاصتر میتوان گفت تمام شاخصهای علمسنجی مبتنی بر چهار متغیر پدیدآورندگان، تولیدات و انتشارات علمی، ارجاعات و استنادهایی است که به آثار تعلق میگیرد. علمسنجی بر آن است تا با بررسی تکتک این متغیرها یا ترکیبی مناسب از آنها، ماهیت و ویژگیهای علم و پژوهش را نمایان سازد.(براون، گلانزل و شوبرت، 1374 : نقل در حیدری، 1388، ص. 97 )
شاخصهای موجود علم و فناوری را میتوان به گروههای کلی دستهبندی کرد: دسته نخست شاخصهای دروندادی یعنی منابع انسانی و مالی میباشند که از بدو پیدایش اندازهگیری علم و فناوری مورد توجه بوده است. دسته دوم شاخصهای اندازهگیری بروندادهای علم و فناوری مانند شاخصهای ثبت اختراعات و دادههای کتابسنجی میباشند و دسته سوم شاخصها را که میتوان آنها را بازتابی از رویکردهای اخیر در عرصه علم و فناوری تلقی کرد عبارتنداز: نوآوری، مدیریت دانش، جابجایی سرمایه انسانی، شاخصهای همکاری بینالمللی در علم و فناوری و تراز پرداخت فناوریهای برتر(خالقی، نرگس، 1386، ص. 105).
به دلیل نقش علم، فناوری و نوآوری در توسعهی کشورها، سنجش و ارزیابی این مقولهها نیز از اهمیت قابل توجهی برخوردار شده است. از این رو، سنجش و ارزیابی ابعاد مختلف توسعهی علم، فناوری و نوآوری با استفاده از شاخصهای چندگانه صورت میپذیرد. بخشی از این شاخصها، “سنجش فنآوری”و بعضی دیگر”سنجش نوآوری” را مد نظر قرار می دهند، برخی دیگر از این شاخصها نیز در ارتباط مستقیم با تولیدات علمی و عوامل مؤثر بر آن قرار دارد و از این جهت از آن به عنوان “شاخصهای سنجش علم” یا “شاخصهای علمسنجی” یاد میشود. از این نظر بهتر بودن وضعیت کشورها در “شاخصهای علمسنجی” میتواند نشاندهنده توسعه علمی آنها قلمداد شود( نوروزی چاکلی و حسنزاده، 1389، ص 477).
2-3-2. اهمیت انجام مقایسه و نرمالسازی با رویکرد علم سنجی
یکی از اهداف اصلی مطالعه اطلاعات درونداد و بروندادهای گروهها، رشتهها، کشورها و غیره مربوط به ارزیابی فعالیتهای سازمانها است. هر گونه ارزیابی باید از طریق مقایسه انجام گیرد. مقایسه می تواند با مقایسه ویژگیهای مشابه از واحدهای مشابه یا با مقایسه ویژگی یک واحد با استاندارد مطلق انجام گیرد. برای بهکارگیری هر گونه روشها ، دادهها و شاخصها، آنها باید استاندارد شده باشند. شاخصهای علمسنجی سنجههایی هستند که با یا بدون ابعاد میتواند یک یا چند جنبه از علم یا پژوهش علمی را از لحاظ کمّی مشخص کند. در عصر حاضر از علمسنجی شاخصهای ارائه شده توسط نویسندگان مختلف عمدتاً ناسازگار هستند ، مانع توسعه نظم هستند و باعث میشوند دانشمندان، مدیران علم و سیاستگذاران پژوهش به نتایج حاصل از این نظم و انضباط بی اعتماد شوند. بنابراین استاندارد کردن دادهها ، روشها و شاخصها ضروری و مورد نیاز است. با این حال ، در انجام این کار ، به خاطر داشته باشید که اعداد و دادهها شاخص نیست. این یک نیاز بزرگتر برای هر مقاله علمسنجی است که نتایج منتشر شده باید قابل تکرار توسط هر پژوهشگری در هر زمینه باشد. بنابراین ، دادهها باید ارائه شوند و یا منشاء آنها و روشها ، برنامهها و غیره باید به وضوح و با جزئیات اشاره شود به طوری که به طور متوسط ​​علمسنج با استفاده از روشهای مشابه، میتواند همان اعداد ، دادهها یا شاخصهایی که توسط نویسندگان ارائه شده است را بدست آورد(وینکلر، 1996، ص. 237-238).
در بیشتر ارزیابیهای کمّی و کیفی انجام شده در علمسنجی، به همراه دیگر روشها از روش تطبیقی نیز استفاده می شود. مطالعه تطبیقی یکی از روش‌های پژوهش کمی و کیفی است که در آن
دو یا چند متغیر یا فرایند همگون که می‌توانند نمونه‌ها و موارد محسوس یا نامحسوس باشند، بررسی می‌شوند؛ با این هدف که با توصیف و تبیین اشتراک‌ها و اغلب تفاوت‌ها، بتوان آن پدیدارها را شناسایی کرده و به تفسیرها و احتمالاً تعمیم‌های تازه دست یافت. دو یا چند پدیده یا وضعیت از طریق مقایسه ویژگی‌های آنهاست؛ در حالی که مطالعات تطبیقی هنجاری هدف‌هایی فراتر از توصیف دارند و متضمن داوری و ارزش‌گذاری آزمودنی‌ها هستند و می‌توانند انواع پژوهش‌های تطبیقی علّی، رده‌بندی، مطالعات تطبیقی برای بهبود فرآورده‌ها، و مطالعات تطبیقی با هدف تصمیم‌گیری در سطح ملی و فراملی را دربرگیرند(رهادوست، 1385).
یکی از مهمترین جنبههای استانداردسازی شاخصهای علمسنجی تقاضای استفادهکنندگان آن از جمله مدیران و سیاستگذاران علم است، که به استانداردهای قابل اعتماد بین المللی به منظور ارتباط دادن دادههای افراد،، تیمها ، مؤسسات تحقیقاتی، کشورها و غیره با این استانداردها نیاز دارند(وینکلر ، 1996، ص. 242).

شکل 2-1. مثلث آری ریپ
نقش محوری علمسنجی در سیاست علم توسط مثلثی که آری ریپ ترسیم شده است نشان داده شده است. در شکل 2-1، سیاستگذاران علم که با تخصیص دادن بودجه به تحقیقات دانشمندان سروکار دارند، از شاخصهای ارزیابی که علمسنجی ارائه میدهد برای رسیدن به اهداف خود بهره میگیرند. تصمیمگیریهای سیاست علم شامل سه مرحله است: اول اختصاص بودجه به حوزهها؛ در مرحله بعد، انتخاب پروژه ها و کارهای مناسب، و در نهایت ارزیابی عملکرد و نتایج است.(فلر و گاموت ، 2007)
در ارزیابی تولیدات علمی کشورها باید در ارزیابی بروندادها به دروندادها و زیرساختها نیز توجه شود. بنابراین لازم است که به شاخصهای دروندادی که شامل منابع انسانی و منابع مالی میشوند به همراه شاخصهای بروندادی که تولیدات علمی و تولیدات فناوری است، توجه شود. در این بین برای سنجش میزان دروندادها برای برآورد شاخصهای منابع انسانی در دو بخش خصوصی(به تفکیک وزارتخانهها و متفرقه) و بخش دولتی(دانشگاهی و غیردانشگاهی) و با توجه به کل جمعیت کشور، تعداد کارکنان، تعداد پژوهشگران و دانشجویان و با تفکیک جنس، سن، مدرک، گروههای علمی(انسانی، پایه، کشاورزی، مهندسی، پزشکی)، استان و نوع محققان، نسبتهایی مثل بخش دولتی به خصوصی و کل، نسبت تعداد محققان به کل جمعیت، نسبت کارکنان تحقیق و توسعه به کل جمعیت و همچنین به کل کارکنان، نسبت محققان تحقیق و توسعه به کل کارکنان، نسبت محققان به کارکنان تحقیق و توسعه و نسبت انواع محققان به کل محققان محاسبه میشود. برآورد شاخصهای منابع مالی هم با توجه به کل بودجه سالانه کشور، تولید ناخالص داخلی، بودجه تحقیق و توسعه، بودجه بخش پژوهش و بودجه بخش آموزش در دو بخش خصوصی(به تفکیک وزارتخانهها و متفرقه) و بخش دولتی(دانشگاهی و غیردانشگاهی) و به تفکیک گروههای علمی(انسانی، پایه، کشاورزی، مهندسی، پزشکی)، منبع تأمین(بودجه دولتی و درآمد اختصاصی) و استان و بر اساس محاسبه نسبتهایی مثل محاسبه نسبت بخش دولتی به خصوصی و کل، کل بودجه تحقیق و توسعه به کل بودجه کشور و همچنین به تولید ناخالص داخلی، نسبت هزینه سرانه تحقیق و توسعه به سرانه تولید ناخالص داخلی(همچنین به تفکیک آموزش و پژوهش)، نسبت بودجه بخش پژوهش و همچنین بخش آموزش به کل بودجه کشور و بودجه تحقیق و توسعه انجام میپذیرد.
در شاخصهای بروندادی تولیدات علمی (که شامل کتاب، مجلات، مقاله و آثار هنری به تفکیک بخش دولتی و خصوصی و در سطح ملّی و بینالمللی میباشند که در سطح بینالمللی علاوه بر موارد مذکور میزان تأثیر آثار و میزان همکاری هم در نظر گرفته میشود) با توجه به نوع محققان، سن، جنس، گروههای علمی و مدرک تحصیلی آنها نیز لازم است نسبتها محاسبه شوند؛ مثل نسبت تولیدات ملّی به کل تولیدات علمی(به تفکیک انواع مذکور)، نسبت تولیدات بینالمللی به کل تولیدات علمی و همچنین به تولیدات ملّی و نسبت کل استنادات به منابع ایرانی به کل استنادات(به تفکیک گروهبندیهای پذیرفته شده در نمایههای مربوط).(نوروزی چاکلی؛حسنزاده؛ نورمحمدی، 1388، ص. 249- 256)
2-4. تحلیل بروندادهای علمی کشور جمهوری اسلامی ایران
وضعیت تولیدات علمی نمایه شده هر کشور در نمایههای معتبر بینالمللی، نشاندهنده بخش مهمی از فعالیتهای علمی هر کشور در سطح بینالمللی است. از این رو، به منظور ارزیابی فعالیتهای علمی داشتن تصویری روشن از این وضعیت، همواره مورد توجه مدیران پژوهشی کشور قرار داشته است. به طور معمول، متخصصان علمسنجی برای تحلیل وضعیت تولیدات علمی نمایه شده در سطح بینالمللی، از شاخصهای کتابسنجی استفاده میکنند. تعداد تولیدات علمی، تعداد استنادات دریافتی تولیدات علمی، نسبت استناد به تولیدات علمی، ضریب تأثیر کل، نیمعمر استناد شده، نیمعمر استناد کننده، تعداد کل استنادها و موارد دیگری از این قبیل، نمونههایی از شاخصهای کتابسنجی به شمار میروند. اهمیت این نوع شاخصها در ارزیابی فعالیتهای علمی به قدری است که در بسیاری از دستورالعملهای بینالمللی که شاخصهایی را برای سنجش و ارزیابی علم، فناوری و نوآوری عرضه میکنند، از شاخصهای کتابسنجی به عنوان بخشی از مهمترین شاخصهای بروندادی یاد میشود. متخصصان علمسنجی، با ترکیب کردن نتایج مطالعات کتابسنجی با دیگر شاخصهای علمسنجی، نظیر شاخصهای دروندادی و شاخصهای فرآِیندی، وضعیت توسعه علمی کشورها را مورد مطالعه قرار میدهند. از طرفی، بای
د این واقعیت را پذیرفت که انجام دقیق و سریع مطالعات کتابسنجی، بدون در اختیار داشتن پایگاههای اطلاعاتی که به نمایهسازی و تحلیل استنادی تولیدات علمی بپردازد، میسر نیست. مجموعه نمایههای استنادی تامسون رویترز، بخشی از مهمترین این پایگاهها به شمار میرود. به این ترتیب، هر کدام از پایگاه وب آو نالج ، جی سی آر و ای اس آی به تحلیل ابعادی از وضعیت تولیدات علمی نمایه شده میپردازند. با استفاده از پایگاه وب آو نالج میتوان با توجه به نیازهای مختلف تحقیقاتی، به جستجو و تجزیه و تحلیل تولیدات علمی پرداخت. در مقابل، پایگاه جی سی آر؛ امکان دریافت گزارش استنادی از یک یا چند نشریه را فراهم میسازد. این در حالی است که اصلیترین وظیفه پایگاه ای اس آی رتبهبندی کشورها، دانشمندان، نشریات و سازمانهای برتر در سطح جهان است. (حسنزاده و نوروزی چاکلی، 1387)
موضوع تولید علم در ایران ابتدا در سال 1356 در دانشگاه تهران مطرح شد؛ اما بررسی جدی و بازتعریف آن به حدود 15 سال پیش برمیگردد. در سال 2004 ایران توانست در بین کشورهای منطقه، رتبه اول را در خصوص تعداد مقالات نمایه شده در حوزه علوم پزشکی در بانکهای اطلاعاتی کسب کند. این روند رو به رشد تا سالیان بعد هم ادامه پیدا کرد؛ به طوریکه “مشارکت ایران در تولید علم جهانی، بر پایه شمارش نمایههای ایران در مؤسسه اطلاعات علمی آمریکا در سال 2010 نسبت به سال قبل 11/0 درصد افزایش داشت و از 01/1 درصد به 12/1 درصد رسید. از نظر تعداد استناد علمی، ایران در مکان 22 جهان قرار دارد. در سال 2010 تعداد 18319 سند علمی ایران نمایه شده است که معادل 12/1 درصد مقدار جهانی است. رشد تعداد اسناد علمی نمایه شده ایران در این سال نسبت به سال 2009 برابر معادل هشت درصد است که در مقایسه با رشد نمایهها در سال 2009 نسبت به سال 2008، معادل 25 درصد یا حدود یک سوم است. این رشد در سال 2008 نسبت به سال 2007 حدود 50 درصد بوده و همین امر، کاهش شتاب تولید علم را در ایران نشان میدهد.عوامل متعددی همچون توسعه دانشگاهها، راهاندازی رشتههای تحصیلات تکمیلی و افزایش بودجه پژوهشی در راهاندازی رشتههای تحصیلات تکمیلی و افزایش بودجه پژوهشی در این جهش علمی اثرگذار بودهاند(رسولآبادی، خضری و حیدری، 1391، ص. 2-3).