ارزيابي اتوماتيك آزمون‌هاي تشريحي مبتني بر رويكردهاي محاسباتي و داده كاوي

Automatic assessment of short answers based on computational and data mining approaches

نمرهدهي خودكار آزمون‌هاي تشريحي فرآيند ارزيابي اتوماتيك پاسخ‌هاي سوالات مبتني بر متن با استفاده از روش‌هاي محاسباتي و يادگيري ماشين است. گسترش استفاده از سيستم‌هاي آموزشي هوشمند و اهميت ارزيابي نياز به سيستم‌هاي خودكار براي نمره‌دهي آزمون‌ها را بيش از پيش افزايش داده است. روش شناسي پژوهش: با توجه به اينكه در فرآيند نمره‌دهي خودكار، پاسخ‌هاي متني ارائه شده توسط دانش‌آموزان با يك پاسخ ايده آل بر اساس ميزان شباهت آن‌ها مورد مقايسه قرار مي‌گيرد، مي‌توان از تكنيك‌هاي محاسبه ارتباط و شباهت معنايي بين متون نيز براي اينكار بهره برد. در اين راستا، در اين مقاله ابتدا روش‌هاي مختلف محاسبه ارتباط معنايي در كاربرد ارزيابي خودكار آزمون‌هاي تشريحي با هم مقايسه و تاثير دامنه و اندازه منبع دانش پيش‌زمينه‌اي روي دقت الگوريتم‌ها بررسي شد. در ادامه‌، يك رويكرد براي بهبود عملكرد سيستم نمره‌دهي خودكار آزمون‌هاي تشريحي معرفي شده كه از پاسخ‌هاي ارائه شده توسط آزمون‌دهندگان كه بالاترين نمره را دريافت كرده‌اند، به عنوان بازخورد استفاده مي‌كند. يافته‌ها: براي ارزيابي كارايي روش‌هاي محاسبه شباهت و ارتباط معنايي در كاربرد نمرده‌دهي خودكار آزمون‌هاي تشريحي و عملكرد مدل پيشنهادي، آزمايشاتي روي مجموعه داده ارائه شده توسط موهلرو ميهالسيا كه داراي 7 سوال با 630 پاسخ تشريحي است، صورت گرفت.

Automatic short answer grading is known as the task of automatic assessment of answers based on natural language using computation methods and machine learning algorithms. The proliferation of large-scale intelligent education systems and the importance of assessment as a key factor in the education process have increased the need for highly flexible automated systems for scoring exams. Methodology: While in the process of automatic short answer grading, student's answer is compared to an ideal response and scoring is done based on their similarity, semantic relatedness and similarity measures can also be employed for this aim. To this end, several semantic relatedness and similarity measures are firstly compared in application of short answer grading. In the following, a method for improving the performance of short answer grading systems based on semantic relatedness and similarity measures which leverages students' answers with the highest score as feedback is proposed. Findings: In order to evaluate the performance of semantic and similarity relatedness methods in application of automatic short answer grading and the prposed model, various experiments were concucted on Mohler and Mihalcea dataset that contains 7 questions and 630 answers