ارزيابي خودكار جويشگرهاي متني مبتني بر تجميع آرا در حوزه وب فارسي

VAWSEE: Voting Based Automatic Web Search Engine Evaluation

امروزه با توجه به رشد روز افزون صفحات وب و استفاده فراوان كاربران از جويشگرها به منظور بازيابي اطلاعات از وب، ارزيابي جويشگرها به ويژه در حوزه‌هاي بومي بسيار مورد توجه قرار گرفته است. از اين رو، در هر كشوري از جمله ايران، جويشگرهايي با تمركز بر روي حوزه هاي خاصي از وب توسط محققيق اين عرصه به وجود آمده اند كه همگي در تلاش اند عملكرد مناسبي در رقابت با جويشگرهاي همه منظوره مانند گوگل داشته باشند. از اين رو، بحث ارزيـابي جويشگرها به يكي از مباحث مطرح و با اهميت در حوزه بازيابي اطلاعات تبديل شده است. در اين مقاله، روشي مبتني بر تجميع آرا به منظور ارزيابي خودكار جويشگرهاي متني با نام اختصاري VAWSEE ارائه گرديده است. تمركز اصلي سيستم ارزيابي VAWSEE بر روي حوزه وب فارسي بوده و با توسعه روشي نوين براي شباهت سنجي مبتني بر محتوا با الهام از راهكارهاي تشخيص تقلب سعي در ارزيابي جويشگرهاي متني در اين حوزه را دارد. روش پيشنهادي با ارزيابي انساني بر روي مجموعه پرس‌و‌جوهاي جمع آوري شده از كاربران محك زده شده است و ميزان همبستگي دو روش خودكار و انساني مورد بررسي قرار گرفته است. نتايج بدست آمده از اين آزمايشات حاكي از مناسب و قابل اتكا بودن روش پيشنهادي است.

Nowadays, the usage of Internet has incredibly increased and web search engines become the common approach to find and retrieve needed information. Hence, many governments, like Iran, has recently focused on developing their own search engine which performs acceptable and accurate in their language domain. The goal of such developed search engine is retrieving information as well as or in some cases better than what Google does. In this paper, we propose a framework to evaluate web search engines. Our method is named VAWSEE, Voting based Web Search Engine Evaluation. VAWSEE measures the information retrieval effectiveness of web search engines by comparing and voting their returned results. Here, we compare search engine results based on not only the web page address but also the main contents of these web sites. To find the similarity of two search engine results, VAWSEE utilizes a well-known and widely-used plagiarism detection method named Winnowing. We compared our method with the results acquired from human assessors’ evaluations. The promising comparison shows that VAWSEE provides rankings that are consistent with the rankings resulted from human assessors’ evaluations. Hence, the proposed method can be applied in real world environments for evaluation of web search engines.