طراحي و پياده‌سازي يك سامانه‌ بازيابي اطلاعات دوزبانه با استفاده از پيكره‌هاي زباني

Designing and Implementing a Cross-Language Information Retrieval System Using Linguistic Corpora

بازيابي اطلاعات بين زباني به فرايندي گفته مي‌شود كه طي آن يك كاربر، جستاري (يك واژه، عبارت، يا حتي جمله‌اي) را به يك زبان جستجو مي‌كند درحالي‌كه انتظار دارد نتايج جستجوي خود را به زبان ديگري دريافت نمايد. يكي از مشكلات عمده‌ كاربران فارسي‌زبان در استفاده از منابع موجود در فضاي سايبر، عدم امكان بازيابي موضوعات مورد نظر است كه اين مساله تا حد زيادي به حجم كم اطلاعات به زبان فارسي در اين فضا برمي‌گردد. استفاده از فرهنگ لغت نيز به‌دليل عدم توانايي در ارايه‌ پاسخ مناسب به تركيبات چندتايي رايج در زبان‌ها كمتر در اين زمينه راه‌گشاست. طرح حاضر كه با هدف يافتن راه‌حلي مناسب براي اين مشكل با تهيه‌ نرم‌افزار آزمايشگاهي مرتبط تعريف شده است، سعي دارد كه با استفاده از پيكره‌هاي يك‌زبانه و دوزبانه و با كمك الگوريتم‌هاي رايانه‌اي راه‌حل منطقي و مقرون به‌صرفه‌اي براي اين مشكل ارايه نمايد. به‌منظور آزمودن كيفيت كار سامانه‌ طراحي‌شده در اين طرح، آزمايشي بر روي تعداد 100 تركيب از زبان فارسي و انگليسي انجام شد كه برونداد سامانه‌ بازيابي اطلاعات براي اين مجموعه از تركيبات بسيار رضايت‌بخش بوده است. يكي از دستاوردهاي اجرايي اين طرح، بالا بردن دقت سامانه‌‌هاي بازيابي اطلاعات در موتورهاي جستجو است كه با استفاده از پيكره و بانك اطلاعاتي، تركيب‌بندي واژه‌ها قابل دسترس است.

: Information retrieval (IR) is a crucial area of natural language processing (NLP) and can be defined as finding documents whose content is relevant to the query need of a user. Cross-language information retrieval (CLIR) refers to a kind of information retrieval in which the language of the query and that of searched document are different. In fact, it is a retrieval process where the user presents queries in one language to retrieve documents in another language. This paper tried to construct a bilingual lexicon of parallel chunks of English and Persian from two very large monolingual corpora an English-Persian parallel corpus which could be directly applied to cross-language information retrieval tasks. For this purpose, a statistical measure known as Association Score (AS) was used to compute the association value between every two corresponding chunks in the corpus using a couple of complicated algorithms. Once the CLIR system was developed using this bilingual lexicon, an experiment was performed on a set of one hundred English and Persian phrases and collocations to see to what extend this system was effective in assisting the users find the most relevant and suitable equivalents of their queries in either language.