پديد آورندگان :
زينالي تازه كندي، مهدي دانشگاه فردوسي مشهد , نوكاريزي، محسن دانشگاه فردوسي مشهد , بهزادي، حسن دانشگاه فردوسي مشهد
كليدواژه :
پژوهش , رويكرد كمي , رويكرد كيفي , رويكرد تركيبي , بازيابي اطلاعات , موتورهاي كاوش
چكيده فارسي :
مقدمه: امروزه ارزيابي نظام‌هاي بازيابي اطلاعات به‌ويژه موتورهاي كاوش به يكي از مهم‌ترين پژوهش‌ها در حوزه علوم اطلاعات تبديل شده است. با وجود اين پژوهشي كه به مرور پژوهش‌هاي ارزيابي موتورهاي كاوش بپردازد، مشاهده نشد. از اين‌رو، هدف از اين پژوهش آن است تا تحليلي از پژوهش‌هاي ارزيابي موتورهاي كاوش با استفاده از روشهاي پژوهش كمي، كيفي و تركيبي ارائه شود.
روش‌شناسي: اين پژوهش مطالعه‌اي مروري است كه براي مرور مقالات مرتبط، واژه‌هاي «ارزيابي موتورهاي كاوش»، «ارزيابي موتورهاي جستجو» «ارزيابي نظام بازيابي اطلاعات»، «ارزيابي ربط»، «موتور كاوش»، «موتور جستجو» در پايگاه‌هاي اطلاعاتي مگ ايران و سيد جستجو شد. همچنين واژه‌هاي «evaluation search engine»، «evaluation information retrival»، «method and information retrieval»، «research and search engine» و «relevance» در گوگل اسكالر جستجو شد و سپس مقالات بازيابي شده مطالعه گرديدند. در نهايت، پژوهش‌هاي ارزيابي موتورهاي كاوش عمومي منتشر شده به زبان فارسي و انگليسي از سال 1377(1998) تاكنون با استفاده از روش كتابخانه‌اي و با رويكردي تحليلي بررسي شده است.
يافته‌ها: يافته‌ها نشان داد كه در پژوهش‌هاي بررسي شده، ارزيابي موتورهاي كاوش با يكي از رويكردهاي كمي، كيفي و تركيبي انجام شده است. از حوزه‌هاي پژوهشي رويكرد كمي مي‌توان از موضوع‌هايي چون پوشش و همپوشاني، كيفيت چكيده‌سازي و نمايه‌سازي، الگوريتم بازيابي، نظام توصيه‌گر، رابط كاربري و كيفيت رتبه‌بندي مدارك در موتورهاي كاوش نام برد. در رويكرد كيفي نيز دو نوع پژوهش قوم‌نگاري و نظريه زمينه‌اي مشاهده شد كه در پژوهش‌هاي قوم‌نگاري به توصيف رفتار اطلاع‌يابي كاربران پرداخته شده است. در نوع ديگر از رويكرد كيفي يعني نظريه زمينه‌اي دو حوزه پژوهشي پايبند به اصول كيفي و نيمه‌پايبند به اصول كيفي قابل تشخيص است. از اين‌رو يورلند (2010)، پژوهشگراني را نقد كرده است كه پژوهش‌هاي خود را متعلق به رويكرد كاربرگرايي و كيفي مي‌دانند ولي از كليه اصول خود پيروي نكرده‌اند.
نتيجه: همان‌گونه كه در حوزه روش پژوهش، ابتدا روش كمي و سپس روش كيفي مطرح شده است و در نهايت روش تركيبي براي استفاده از نقاط قوت هر دو روش ارائه شده است. به نظر مي‌رسد كه اين روند تغيير در روشهاي پژوهشي از كمي به كيفي و سپس از كيفي به تركيبي بر ارزيابي بازيابي اطلاعات به‌ويژه موتورهاي كاوش نيز تأثيرگذار بوده است؛ زيرا در پژوهش‌هاي بازيابي اطلاعات نيز ابتدا رويكرد نظام‌گرا در ارزيابي نظام‌هاي بازيابي اطلاعات مطرح شده است و سپس برخي از پژوهشگران اين رويكرد را به نقد كشيده‌اند كه در نتيجه رويكرد كاربرگرايي در توجه به كاربران ارائه شده است و در سال‌هاي اخير نيز پژوهشگراني چون ساراسويك (2007) و ثورنلي (2012) توجه به هر دو رويكرد را ضروري دانسته و به رويكرد دوگان محوري در پژوهش‌هاي ارزيابي بازيابي اطلاعات اشاره كرده‌اند.
چكيده لاتين :
Introduction: Today, the evaluation of information retrieval systems, especially search engines, has become one of the most important studies in the field of information science. Nevertheless, a research as a review research on the evaluation of search engines was not observed. So, the aim is to analyze the related literature of information retrieval evaluation field using quantitative, qualitative and mixed approaches.
Methodology: This research is a review study to review the related articles. The terms »arzyabieh motor kavosh«,»arzyabieh nezam bazyabieh ettlaat«,»arzyabieh rabt«,»motor kavosh«,»motor jostejo« in the Magiran and SID database were searched. Also, the terms »evaluation search engine»،«evaluation information retrival»،«method and information retrieval«, »research and search engine« and »relevance« in the google scholar was searched and then the retrieved articles were studied. Finally, the research on the evaluation of general search engines published in Persian and English from 1998 have been studied using a library method and an analytical approach..
Results: The results showed that, in the reviewed studies, the search engines evaluation has conducted through one of the quantitative, qualitative and mixed approaches. In the quantitative approach, there are several research categories such as coverage and overlap, abstracting and indexing quality, retrieval algorithms, recommender systems, interface and document ranking quality. In the qualitative approach, there has been observed two kinds of studies which include ethnography and grounded theory. In the ethnography research, the users’ information retrieval behavior is described. In the other category, namely grounded theory, two research areas may be identified; one is fully committed to the qualitative principles and another semi-committed to them. Hence, Hjorland (2010) has criticized researchers who regard their research as a "functional" and qualitative approach, but did not follow all of their principles.
Conclusion: As in the research methodology, first, a quantitative method and then a qualitative method are proposed and finally, a mixed method is proposed to use the strengths of both methods. It seems that this process of change in research methods from quantitative to qualitative, and then from qualitative to composite has also affected the evaluation of information retrieval, especially search engines. In data retrieval research, a systematic approach has been initially introduced in evaluating information retrieval systems. Then some researchers have criticized this approach, which is the result of a user-oriented approach. In recent years, researchers such as Saracevic (2007) and Thoronley (2012) have considered both approaches as necessary ones and pointed to a dual-axis approach to data retrieval assessment research.
