تعيين نمره حد نصاب قبولي آزمون عيني ساختارمند باليني به روش انگوف و ارزيابي تاثير بحث و بررسي نمرات واقعي

Setting Standard Threshold Scores for an Objective Structured Clinical Examination using Angoff Method and Assessing the Impact of Reality Chacking and Discussion on Actual Scores

مقدمه: براي تعيين استاندارد قبولي آزمون‌هاي پزشكي روش‌هاي مختلفي در سطح جهان به كار مي‌رود اما استاندارد اغلب امتحانات داخل كشور، به صورت نمره‌اي ثابت و قراردادي و بدون استفاده از متدلوژي علمي تعيين مي‌شود. هدف از انجام اين مطالعه، تعيين استاندارد قبولي آزمون عيني ساختارمند باليني در مقطع پيش‌كارورزي دانشگاه علوم پزشكي تهران به روش انگوف است. روش‌ها: بعد از طراحي سوالات آزمون، پانلي از داوران متخصص تشكيل شد و 11 داور به صورت مستقل، احتمال قبولي يك دانشجوي مرزي را در هر يك از ايستگاه‌ها برآورد كردند. ميانگين احتمالات تمام داوران در تمام ايستگاه‌ها، استاندارد آزمون محسوب شد. اين روند دو بار ديگر، پس از برگزاري جلسه بحث بين داوران و بعد از بررسي نمرات واقعي دانشجويان تكرار شد. نتايج: استاندارد انفرادي كل آزمون 15/49، استاندارد بعد از بحث 90/49 و استاندارد بعد از بررسي نمرات دانشجويان 52/51 به دست آمد. تغيير استاندارد كل آزمون بعد از بررسي نمرات واقعي نسبت به استاندارد انفرادي معنادار بود (02/0=p)؛ اما نسبت به استاندارد دوم تفاوت معنادار نداشت. همچنين ميزان قبولي بر اساس سه استاندارد به ترتيب 6/67، 8/64 و 1/58 درصد به دست آمد كه درصد قبولي سوم نسبت به اول كاهش معنادار داشت (002/0=p). نتيجه‌گيري: در اين تحقيق، روش انگوف براي تعيين استاندارد قبولي آزمون عيني ساختارمند باليني مورد مطالعه و بررسي قرار گرفت. بر اساس يافته‌هاي اين مطالعه، نتايج روش انگوف مخصوصاً پس از بحث و بررسي نمرات واقعي نسبتاً روا و پايا هستند.

Introduction: A variety of standard setting methods are used worldwide for medical examination acceptance scores while standards of most exams in our country are pre-determined fixed scores which are set without any scientific methodolgy. The aim of this study is to determine minimum pass level for a pre-internship objective structured clinical examination using Angoff method in Tehran University of Medical Sciences. Methods: After designing the questions for examination, a panel of eleven faculty members was formed. These judges were asked to individually estimate the probability that a borderline student would pass each station. The mean of all stations estimated by judges was considered as the standard for the whole exam. This procedure was repeated twice more after sessions of discussion between judges and checking students’ real scores. Results: The individual standard for the whole test was 49.15 while it turned to 49.90 after discussion and finally 51.52 after checking the real scores of students. The change of standard of the whole test after checking real scores was significant compared to individual standard (p=0.02). It showed no significant difference compared to the second standard. The rates of passing students according to the three standards were respectively 67.6%, 64.8% and 58.1% which showed a significant reduction in the third compared to the first one. Conclusion: Angoff method was used in this study to set standard for an OSCE. According to the findings of the study, it seems to be a credible and reliable procedure, especially when group discussion and reality check are used.