Web pages ranking algorithm based on reinforcement learning and user feedback

چالش اصلي موتورهاي جستجو، رتبه‌بندي اسناد وب براي ارايه بهترين پاسخ به پرس‌وجوي كاربران است. با وجود حجم زياد نتايج استخراجي به ازاي پرس‌وجوي كاربر تنها تعداد كمي از اولين نتايج توسط كاربران مورد بررسي قرار مي‌گيرند، از اين رو قرار دهي نتايج مرتبط‎ در رتبه‌هاي نخست اهميت خاصي دارد. در اين مقاله، يك الگوريتم رتبه‌بندي مبتني بر يادگيري تقويتي و بازخورد كاربر ارايه شده است كه RL3F ناميده شده‌ است. در الگوريتم پيشنهادي، سيستم رتبه‌بندي به عنوان عامل سيستم يادگيري و انتخاب اسناد براي نمايش به كاربر به عنوان عمل عامل در نظر گرفته‌شده‌اند؛ سيگنال تقويتي در اين سيستم با توجه به كليك كاربر بر روي اسناد محاسبه مي‌شود. مقادير ارزش-عمل در الگوريتم پيشنهادي به ازاي هر ويژگي محاسبه مي‌شود. در هر چرخه‌ي يادگيري، اسناد بر حسب امتيازات براي ارايه پرس‌وجوي بعدي مرتب مي‌شوند و با توجه به موقعيت سند در ليست رتبه‌بندي، اسنادي به صورت تصادفي براي نمايش به كاربر انتخاب مي‌شوند. روند يادگيري تا تكميل آموزش ادامه مي‌يابد. براي ارزيابي روش پيشنهادي از مجموعه داده محك LETOR3 استفاده شده است. نتايج ارزيابي نشان‌دهنده‌ي موثرتر بودن روش پيشنهادي نسبت به ساير روش‌هاي بيان شده است. دليل برتري الگوريتم پيشنهادي استفاده همزمان چندين ويژگي سند و بازخورد كاربر است.

The main challenge of a search engine is ranking web documents to provide the best response to a user`s query. Despite the huge number of the extracted results for user`s query, only a small number of the first results are examined by users; therefore, the insertion of the related results in the first ranks is of great importance. In this paper, a ranking algorithm based on the reinforcement learning and user`s feedback called RL3F are considered. In the proposed algorithm, the ranking system has been considered to be the agent of learning system and selecting documents to display to the user is as the agents’ action. The reinforcement signal in the system is calculated according to a user`s clicks on documents. Action-value values of the proposed algorithm are computed for each feature. In each learning cycle, the documents are sorted out for the next query, and according to the document in the ranked list, documents are selected at random to show the user. Learning process continues until the training is completed. LETOR3 benchmark is used to evaluate the proposed method. Evaluation results indicated that the proposed method is more effective than other methods mentioned for comparison in this paper. The superiority of the proposed algorithm is using several features of document and user`s feedback simultaneously.