Evaluation of recommender systems: A multi-criteria decision making approach

ارزيابي و انتخاب سيستم‌هاي پيشنهاددهنده فرايند تصميم‌گيري پيچيده و دشواري است. بخشي از اين پيچيدگي به دليل وجود معيارهاي ارزيابي متنوع و متعددي است كه در اين حوزه وجود دارد. به‌علاوه، فقدان روشي استاندارد در ارزيابي اين سيستم‌ها، پيچيدگي ارزيابي را بيشتر مي‌كند. براي حل اين مسيله، نياز به روش‌شناسي سيستماتيك است كه معيارهاي چندگانه و در صورت لزوم متضاد را در نظر داشته باشد و به تصميم‌گيرندگان اين امكان را بدهد كه بهترين سيستم پيشنهاددهنده را از بين مجموعه‌اي از گزينه‌ها انتخاب كند. اين مقاله، تكنيك‌هاي تصميم‌گيري چند معياره را براي حل اين مسيله معرفي مي‌كند و به‌طور مشخص از مدل‌هاي تحليل پوششي داده‌ها، به‌عنوان زيرشاخه‌اي از تكنيك‌هاي تصميم‌گيري چند معياره استفاده مي‌كند. اين مقاله كاربرد مدل‌هاي مختلفي از تحليل پوششي داده‌ها را براي ارزيابي سيستم‌هاي پيشنهاددهنده نشان مي‌دهد. داده‌هاي مورد نياز، از مطالعه موردي واقعي موجود در متون موضوع استخراج شده است.

The evaluation and selection of recommender systems is a difficult decision making process. This difficulty is partially due to the large diversity of published evaluation criteria in addition to lack of standardized methods of evaluation. As such, a systematic methodology is needed that explicitly considers multiple, possibly conflicting metrics and assists decision makers to evaluate and find the best recommender system among a given set of alternatives. This paper introduces Multi-Criteria Decision Making (MCDM) approach for evaluation of recommender systems. In particular, this paper proposes the use of Data Envelopment Analysis (DEA) approach, as a sub-category of MCDM, in order to solve this problem. Various DEA models are introduced and their applicability are illustrated. A real case of evaluation of recommender systems is used to demonstrate the approach.