چالش‌هاي دگرسنجي در ارزيابي پژوهش به روش تحليل مضمون

Altmetrics Challenges in Research Evaluation: A Thematic Analysis

مقدمه: حوزه دگرسنجي با وجود مزاياي بسيار براي ارزيابي پژوهش، به دليل نوپايي و تاثير از محيط پوياي وب، با چالش‌هايي روبه‌رو است. مطالعه حاضر با هدف تعيين نقاط ضعف دگرسنجه‌ها و چالش‌هاي به كارگيري آن‌ها در ارزيابي پژوهش و نمايان ساختن ابعادي از اين شاخص‌ها كه خود نيازمند ارزيابي است، انجام شد. روش بررسي: اين پژوهش از نوع توصيفي بنيادين بود كه در آن به كمك روش تحليل مضمون، محتواي آثار پيرامون تحليل استنادي و دگرسنجي تحليل گرديد. جمع‌آوري داده‏‌ها، با مرتبط‌ترين آثار آغاز شد و تا مرحله اشباع اطلاعات ادامه يافت. داده‌ها به كمك روش مقايسه‌‌اي مستمر مورد تجزيه و تحليل قرار گرفت. يافته‌ها: مهم‌ترين چالش‌هاي دگرسنجي عبارت از «احتمال دستكاري شاخص‌ها، عدم تفكيك انگيزه‌هاي مثبت و منفي، پوشش نامتوازن منابع، ناسازگاري و ابهام و گوناگوني منابع وب اجتماعي، سوگيري، بي‌ثباتي و نوسان، سرشت متغير وب اجتماعي، يكسان دانستن ارزش دگرسنجه‌ها، ضعف ابزارها و مباني نظري و استانداردها، عدم امكان سنجش نوع و زمينه استفاده و در نهايت ضعف در سنجش كيفيت» بود. نتيجه‌گيري: اگرچه دگرسنجي نقاط قوت منحصر به فرد بسياري دارد كه مي‌تواند تحليل استنادي را تقويت كند، اما از ضعف‌هاي بنياديني نيز رنج مي‌برد كه كاربرد محتاطانه و هوشيارانه آن را مي‌طلبد. در غير اين صورت، به كارگيري زودهنگام و شتاب‌زده آن مي‌تواند نتايج ارزيابي پژوهش را تحريف نمايد.

Introduction: Despite the advantages of altmetrics in research evaluation, it encounters many challenges as a nascent field impacted by web dynamism. The present study attempted to identify the challenges of employing altmetrics’ in evaluating research and to highlight some of the features that required evaluation and validation. Methods: The present communication was a basic descriptive research, applying a qualitative thematic analysis method. It studies the research and theoretical works on citation and altmetric indicators in order to extract the indicators’ weaknesses and challenges. Results: The findings led to the identification of many challenges including possibility of indicator manipulation and false improvement, inability to differentiate between positive or negative credits, unbalanced coverage of materials, incompatibility, ambiguities and diversity in the sources of social web, biases, fluctuations, variable nature of social web, equating all citations, lack of standardization, inability to determine the usage type and contexts, and finally inability to measure the quality. Conclusion: Although the altmetrics have many unique strengths that can boost citation analysis, it has several fundamental weaknesses regarding its concepts, services and resources that requires its cautious and conscious use, otherwise its premature and hasty usage would distort research evaluation results. Keywords: Research Evaluation; Altmetrics; Citation Analysis; Citation Indicators