كاربرد نظريه شواهد جهت تجميع داده‌ها در مدل بازخورد 360 درجه

Applying Evidence Theory to Aggregate Feedbacks in 360 Degree Feedback Model

در مدل ارزيابي بازخورد 360 درجه، داده‌هاي ارزيابي به‌طورمعمول با استفاده از مقياس ليكرت توسط چندين گروه ارزياب با ديدگاه‌هاي مختلف ارائه مي‌شود. اين داده‌ها به دليل ماهيت كيفي و ذهني ارزيابي، توأم با عدم‌قطعيت و واگرايي زياد هستند. اين وضعيت باعث شده است تا تجميع آن‌ها درون گروه‌هاي ارزيابي و در مرحله بعد، بين گروه‌هاي ارزيابي با استفاده از روش‌هاي معمول مبتني بر ميانگين، از دقت و اعتبار كافي برخوردار نباشد. نظر به اهميت مسئله يادشده و عدم وجود راهكاري مناسب در اين زمينه، مدلي جديد در چارچوب نظريه شواهد جهت مدل‌سازي عدم‌قطعيت و تجميع داده‌ها در فرايند بازخورد 360 درجه، در اين مقاله ارائه شده است. در اين مدل، ابتدا داده‌هاي مرتبط با هر گروه ارزيابي در قالب يك تخصيص باور پايه، تجميع و عدم‌قطعيت آن مدل‌سازي شده است. در مرحله بعد، شواهد حاصل از گروه‌هاي مختلف ارزيابي با استفاده از عملگرهاي تركيب شواهد، تجميع مي‌شوند. در طراحي مدل مذكور، حالات مختلف مدل‌سازي داده‌هاي ارزيابي در ساختار توابع باور، قوانين مختلف تركيب شواهد و معيارهاي مختلف استخراج نتيجه نهايي از ساختار باور موردبررسي قرار گرفته و بهترين عملگر‌ها و مولفه هاي مدل، پس از بررسي عملكرد آن در 27 حالت مختلف و با استفاده از ده هزار ركورد شبيه‌سازي‌شده، تعيين شده است. نتايج نشان مي‌دهد مدل استخراج‌شده، نسبت به روش متداول ميانگين، به‌طور معنادار خطاي كمتر و دقت بيشتري در تجميع داده‌هاي مدل بازخورد 360 درجه دارد. علاوه ‌بر اين، ساير مزاياي مدل ارائه‌شده، در متن مقاله تبيين شده است.

In 360 degree feedback model several groups of raters with different perspectives provide assessments typically in Likert scale format. Due to the qualitative and subjective nature of the assessments, these data are highly uncertain and divergent. This problem causes that aggregation of the data in 360 degrre model, with traditional average based methods be inaccurate and invalid. Regarding the importance of the aggregation problem in 360 degrre feedback process and lack of a suitable solution to cope with it, in this paper a new model based on Evidence Theory has been proposed to aggregate its assessments and model the uncertainty contained in it. In the proposed model, first the evaluation data obtained from each rating group has been aggregated and its uncertainty has been modeled using a basic belief assignment. In the next step, the evidences obtained from rating groups have been aggregated using evidence combination rules. To design the model, various methods to transform feedbacks to basic belief assignents, various evidence combination rules and different criteria in extracting the final results of the model, have been investigated through a simulation study. In the simulation process the model's performance in 27 different states, defined based on different combination of model's parameters, and using ten thousand simulated records, has been examined. Results reveal that the proposed model, compared to the traditional average based aggregation, significantly reduces error and increase the accuracy of the results in 360 degree feedback model. In addition, other benefits of the proposed model have been explained in the text.