بررسي روند پنج ساله طراحي آزمون‌هاي چندگزينه‌اي ارتقا دستياري تخصصي پزشكي دانشگاه علوم پزشكي كرمانشاه از نظر كمي و كيفي: 1391-1387

A survey of quality and quantity indexes of multiple choice question (MCQ) exams of medical residents at Kermanshah University of Medical Sciences: 2008-2012

سابقه و اهداف: يكي از روش‌هاي ارزشيابي در ارتقا دستياري پزشكي آزمون‌هاي چند گزينه‌اي است. اين مطالعه با هدف بررسي روند پنج ساله طراحي آزمون‌هاي چند گزينه‌اي ارتقا دستياري تخصصي پزشكي دانشگاه علوم پزشكي كرمانشاه از نظر كمي و كيفي (در سال‌هاي 91-1387) انجام شد. روش بررسي: مطالعه از نوع توصيفي- تحليلي -طولي از نوع روند پژوهي بود. 63 آزمون (9600 سوال) از لحاظ شاخص‌هاي ضريب دشواري، ضريب تمييز و اعتبار كل آزمون، درصد تاكسونومي I و IIو IIIو درصد سوالات بدون اشكال ساختاري بررسي شدند. ابزار جمع آوري داده‌ها خروجي نرم افزار آناليز كمي و گزارشات آناليز كيفي بودند كه با نرم افزار SPSS V18 و آزمون‌هاي -test t، كاي دو، ANOVA و كروسكال واليس تحليل شدند. يافته‌ها: در طول پنج سال ميانگين‌هاي ضريب دشواري كل سوالات 62/0، ضريب تمييز 27/0 و ضريب اعتبار 88/0 و در محدوده قابل قبول بود، ولي ميانگين‌هاي درصد تاكسونومي Iسوالات 44/33%، تاكسونومي II و III 55/66% و درصد سوالات بدون اشكال ساختاري 59/62% بود كه كمتر از محدوده قابل قبول بود. همچنين تفاوت آماري معني داري بين شاخص‌هاي ضريب دشواري (001/0P=)، اعتبار كل آزمون (017/0P=)، ميانگين تاكسونومي I (001/0P=) و تاكسونومي II و III (006/0P=) در طول پنج دوره آزمون وجود داشت. نتيجه‌گيري: بر اساس يافته‌هاي اين مطالعه، كاهش ميانگين تاكسونومي II و III و افزايش تاكسونومي I در دوره پنج ساله بررسي آزمون‌هاي ارتقا دستياري پيشنهاد كننده استفاده از برنامه‌هاي آموزشي ارتقا دانش علمي طراحان آزمون‌هاي ارتقا دستياري است.

Introduction: Multiple choice questions (MCQs) are widely used to assess medical residents. The study aims to analyse MCQ exams of medical residents administered at Kermanshah University of Medical Sciences during 2008-2012. Method: Data of this retrospective study were extracted from 63 MCQ exams including 9600 tests. Quantity related variables included; discrimination index, difficulty level, reliability of test index (KR20). Quality related variables included; proportion of questions without structural defect and proportion of taxonomy 1, 2 and 3 questions. Data were collected using MCQs from question bank and analyzed by SPSS V.16 software. Results: Over the specified five years, the average difficulty level was %0.62, the average discrimination index was 0.27 and the average of reliability coefficient (KR20) in total exams was 0.88. The average of questions in Taxonomy 1 over the specified years was 33.5% and questions with taxonomy 2 and 3 were66.5%. The average of questions without structural defect was 62.6% which fell in the unacceptable range. A significant difference was observed in reliability coefficient (KR20)- (P=0.017), difficulty level (P=0.001), taxonomy 1 (P=0.001) and Taxonomy 2 and 3 (P=0.006). Conclusion: According to findings of this study, taxonomy 2 and 3 were decreased and taxonomy 1 was increased over the specified five years. We recommend the specialist board members and the Deputy for Education of the Ministry of Health to consider the results of this study and react to them by improving MCQ quality of future exams