پاسخ حدسي به سوالات چندگزينه‌اي: چالش‌ها و راه‌كارها

Guessing in Multiple Choice Questions: Challenges and Strategies

مقدمه: يكي از نگراني‌ها در مورد سوالات چندگزينه‌اي، پاسخ حدسي به آنها است. براي كاهش پاسخ حدسي راه‌كارهايي مورد استفاده قرار مي‌گيرد اما در مورد ضرورت استفاده از آنها اختلاف‌نظر وجود دارد. هدف اين مقاله، مرور راه‌كارهاي موجود براي مقابله با پديده حدس زدن و شناخت نقدهاي وارد شده بر آنها است. روش‌ها: در اين مطالعه مروري ابتدا منابع كتابخانه‌اي در زمينه حدس زدن به صورت دستي مورد بررسي قرار گرفت. سپس با استفاده از موتور جستجوي Google Scholar و پايگاه‌هاي اطلاعاتي Pub Med، Elsevier، EBSCO و Eric، كلمات حدس، نمره منفي، مدل اطمينان، سوال چندگزينه‌اي و همچنين معادل انگليسي آنها مورد جستجو قرار گرفت و متن كامل موارد مرتبط بررسي گرديد. نتايج: در جستجوي منابع، تعداد 60 مقاله يافت شد كه 17 مقاله خارج شدند. از نظر نوع مطالعه، 29 پژوهش اصلي، 11 مقاله مروري و 3 نامه به دست آمد. انواع راه‌كارهاي مقابله با پاسخ حدسي شامل طراحي سوالات بدون خطا، افزايش سطح شناختي و تاكسونومي سوال، افزايش تعداد گزينه‌هاي هر سوال، افزايش تعداد گزينه‌هاي هر سوال، نمره‌دهي منفي، استفاده از گزينه «نمي‌دانم»، مدل ارزيابي اطمينان، حذف گزينه، انتخاب آزاد بود در بخش دوم يافته‌ها تاثير اين راه‌كارها بر ويژگي‌هاي سايكومتريك آزمون و نمرات دانشجويان عنوان شده است. نتيجه‌گيري: در مورد نكات مثبت و منفي راه‌كارها و همچنين ضرورت استفاده از آنها توافق نظر وجود ندارد. استفاده از اين راه‌كارها منجر به اصلاح تاثير حدس زدن بر آزمون نمي‌شوند، بلكه هدف اصلي آنها منصرف كردن فراگيران از حدس زدن است. بنابراين استفاده يا عدم استفاده از آنها و پيامدهاي مربوطه، بايد قبل از آزمون به اطلاع دانشجويان برسد و همچنين مواردي مانند هدف و نوع آزمون از نظر معياري/هنجاري و تكويني/تجمعي بايد در نظر گرفته شود.

Introduction: Guessing is one of the most challenging issues in multiple choice questions. Several strategies, such as negative scoring, have been suggested for preventing students from choosing the right answer just by chance. However, there is no general agreement on using such strategies. The aim of this study was to review the scoring methods which are used for reducing guessing, and evaluate their strengths and weaknesses. Methods: This review study was performed by manual searching (library resources) as well as electronic searching of online databases, such as PubMed, EBSCO, Elsevier, ERIC, and Google Scholar. The key words were guessing, negative scoring, and confidence assessment model and Multiple Choice Questions. All the relevant available articles were retrieved and reviewed. Results: Out of 60 articles found, a number of 43 were selected including, 29 original articles, 11 review articles and 3 letters. Different strategies and scoring methods for preventing guessing were elicited including avoiding erroneous test items, increasing cognitive levels and question taxonomy, increasing the number of choices per question, negative scoring, using "I do not know" option, Reliability Assessment Model, delete option and free choice. Subsequently, the impact of these strategies on students’ scores and the tests’ psychometric properties were discussed. Conclusion: It was concluded that there was no consensus over the utilization and effectiveness of these strategies. Furthermore, these strategies were found to be ineffective in correcting the guessing effect impact on the reliability and validity of tests, as their main function is merely discouraging test takers to guess. Hence, it is suggested that the type of the exam in terms of being formative/summative and norm/criterion-referenced assessment be considered. Also it is necessary to inform students about the specific scoring method used and its consequences before the exam.