ارتقاي كيفيت طراحي سوالات چند گزينه‌اي آزمون‌هاي ارتقاي دستياري از طريق ارايه بازخورد

Improvement of Design of Multiple Choice Questions in Annual Residency Exams by Giving Feedback

زمينه و هدف: هدف از انجام اين مطالعه، ارتقاي كيفيت طراحي سوالات آزمون‌هاي ارتقاي دستياري از طريق به كارگيري تكنيك‌هاي ارايه بازخورد مورد نظر در علم آموزش پزشكي به طراحان سوالات چند گزينه‌اي بود. روش كار: در اين مطالعه نيمه تجربي، سوالات آزمون‌هاي ارتقاي دستياري پزشكي در سال 1388 از نظر ساختار طراحي با استفاده از چك‌ليست روا و پاياي Millman مورد بررسي قرار گرفت. همچنين توزيع سطح دانش مورد سنجش در هر يك از سوالات نيز مشخص گرديد. بر اساس اطلاعات حاصل از بازخورد مداخله‌اي با رعايت خصوصيات فني آن در علم آموزش پزشكي يعني عيني، به موقع، مستقيم، محترمانه، بدون قضاوت از عملكرد و همراه با توصيه‌هايي جهت بهبود، به طراحان آزمون كه همگي سابقه شركت در كارگاه‌هاي آموزشي MCQ (Multiple choice question) و تجربه طراحي سوال در سال‌هاي قبل را داشتند، ارايه شد. بعد از برگزاري آزمون ارتقاي سال 1389 نيز سوالاتي كه طراحان در هر دو سال در طراحي آن‌ها نقش داشتند، انتخاب شدند و ميزان رعايت اصول استاندارد Millman و سطح تاكسونومي به كار رفته در سوالات توسط طراحان قبل و بعد از مداخله بازخوردي مورد مقايسه قرار گرفت. يافته‌ها: از مجموع 2500 سوال، 2035 سوال وارد مطالعه شد. قبل از مداخله 2/65 درصد از سوالات از نظر ساختار كلي بدون اشكال بود و پس از انجام مداخله اين ميزان به 8/82 درصد رسيد كه اين تفاوت معني‌دار بود (001/0 > P). از نظر سطح دانش مورد ارزيابي در سوالات نيز در سال 1388، 38 درصد از سوالات و در سال 1389، 1/53 درصد از سوالات با تاكسونومي بالا طراحي شده بود كه تفاوت آن‌ها نيز معني‌دار بود (001/0 > P). نتيجه‌گيري: انجام مداخله به صورت بازخورد و منطبق با اصول فني آن در آموزش پزشكي حتي جهت طراحان آموزش ديده و با تجربه در طراحي سوالات نيز مي‌تواند در ارتقاي كيفيت طراحي سوالات چند گزينه‌اي موثر باشد. كليد واژه‌ها: سوالات چندگزينه‌اي، دستياري، آموزش پزشكي، تاكسونومي، قواعد Millman، بازخورد

Background & Objective: The aim of this study was to survey the effect of presenting feedback on improvement of multiple choice questions (MCQ) design in annual residency exams. Methods: In this semi-experimental study, the structure and taxonomy in MCQs of annual residency exams in 2009 were analyzed through Millman’s checklist. Based on this data, an interventional feedback on strengths and weaknesses was presented to question designers who had experience of attending MCQ workshops and designing questions in the past. The principles of giving technical feedback in medical education such as objectivity, right timing, and being direct, respectful and without judgment were considered. After the annual residency exam in 2010, the questions of designers in both years were compared in respect to Millman’s principals and taxonomy before and after the intervention. Results: From 2500 questions, 2035 questions were entered into the study. 65.2% of the questions developed in 2009 had no structural flaw; this increased to 82.8% after the intervention, which was a significant difference (P < 0.001). Moreover, there was a significant increase in the percentage of questions with a high taxonomy; from 38% in 2009 to 53.1% in 2010 (P < 0.001). Conclusion: Giving interventional feedback, based on its techniques in medical education, to experienced designers of MCQs can affect the improvement of designing quality of questions. Key Words: Multiple choice questions, Residency, Medical education, Taxonomy, Millmanʹs principles, Feedback