مجموعه‌اي از ويژگي‌هاي آماري جديد براي ارزيابي سيستم‌هاي پرسش و پاسخ تعاملي

A Set Statistical features for Evaluating Interactive Question Answering

ارزيابي نقش مهمي در سيستم‌هاي پرسش و پاسخ تعاملي ايفا مي‌نمايد. روش استانداردي وجود ندارد كه به ارزيابي كلي اين سيستم‌ها پرداخته باشد. مشكل اصلي در طراحي اين سيستم‌ها، عدم امكان پيش‌گويي بخش تعاملي است. به همين منظور، بايد انسان در فرآيند ارزيابي شركت داشته باشد. در اين مقاله مجموعه‌اي از ويژگي‌هاي آماري جديد ساخته‌شده بر اساس n-گرم‌ها و بزرگ‌ترين رشته مشترك براي ارزيابي سيستم‌هاي پرسش و پاسخ تعاملي معرفي‌شده است. چهار سيستم پرسش و پاسخ تعاملي موجود براي ايجاد پايگاه داده‌اي از مكالمات ردوبدل شده بين كاربران و سيستم‌ها استفاده گرديد. خروجي‌هاي توليدشده، تعداد 540 نمونه به‌عنوان داده مناسب در نظر گرفته شد تا مجموعه تست و آموزش بر اساس آن ايجاد گردد. سپس پيش‌پردازش بر روي متن‌ها صورت پذيرفت و ويژگي‌هاي تعريف‌شده از متن مكالمه‌ها استخراج و بر اساس آن ماتريس ويژگي تشكيل گرديد. درنهايت با استفاده از ماشين بردار پشتيبان به دسته‌بندي نظرات به دو گروه با امتياز خوب و بد پرداخته شد. نتايج حاصل از ضريب همبستگي بين نظرات انساني و نظرات حاصل از ويژگي‌هاي پيشنهادي حاكي از دقت بالاي مجموعه ويژگي‌هاي ارائه‌شده، در ارزيابي سيستم‌هاي پرسش و پاسخ تعاملي است.

: Evaluation plays an important role in the interactive question answering(IQA) systems. In the context of evaluating IQA systems, there is practically no specific methodology for evaluating these systems in general. The main problem with designing an assessment method for IQA systems lies in the fact that is rarely possible to predict interaction part. To this end, human needs to be involved in the evaluation process. In this paper, an appropriate model is presented by introducing a set of built-in features for evaluating IQA systems. To conduct the evaluation process, four IQA systems were considered, and then a database of conversation was exchanged between users and systems. After performing the preprocessing on the conversation, the statistical characteristics of the conversation was extracted and base on that characteristics matrix was formed. Finally, using SVM, human thinking divided into two groups. The correlation coefficient between human thinking and proposed set features indicated the high accuracy of set features presented in evaluating of IQA systems.