مقايسه كيفيت سوالات آزمون ارتقاي دستياري قبل و بعد از مداخله آموزشي در دانشكده پزشكي گيلان طي سال‌هاي 1389 و1390

Quality of Residents’ Promotion Exams before & after Educational Intervention in 2010-2011

مقدمه: آزمون ارتقا ، يكي از مهم‌ترين آزمون‌هاي تراكمي است كه در مقطع دستياري انجام مي‌شود و منجر به صدور مجوز ورود دستياران به سال بالاتر مي‌گردد، آزمون‌هاي چندگزينه‌اي از عيني‌ترين و رايج‌ترين انواع آزمون در آموزش علوم پزشكي هستند، بنابر اين يافتن راه‌كارهايي براي بهبود كيفيت آزمون‌ها به خصوص در مقاطع تخصصي اهميت دارد. هدف اين مطالعه بررسي تاثير كارگاه آموزشي طراحي سوالات چندگزينه‌اي بر بهبود كيفيت طراحي سوالات آزمون ارتقاي دستياري دانشكده پزشكي دانشگاه علوم پزشكي گيلان است. روش‌ها: در اين مطالعه نيمه تجربي (قبل و بعد)، كليه سوالات آزمون‌هاي ارتقاي دستياري دانشكده پزشكي دانشگاه علوم پزشكي گيلان، مربوط به 12 رشته تخصصصي در سال 89 از نظر ساختار طراحي و سطح تاكسونومي با استفاده از چك ليستي روا و پايا مبتني بر اصول ميلمن بررسي شد (150 سوال از هر رشته و در مجموع1800 سوال). بعد از برگزاري 12 دوره كارگاه آموزشي يك روزه طراحي سوالات چندگزينه‌اي (MCQ) جهت طراحان آزمون (به تفكيك گروه‌هاي آموزشي) در طي يك سال، سوالات آزمون ارتقاي سال 90 نيز مورد بررسي قرار گرفت. داده‌هاي قبل و بعد از مداخله مربوط به كليه سوالاتي كه توسط افراد شركت‌كننده در كارگاه مداخله‌اي طراحي شده بود با استفاده از آزمون آماري Wilcoxon signed-rank test مقايسه گرديد. نتايج: در آزمون كتبي سال 1389، 1204سوال (09/66 درصد) تاكسونومي يك، 565 سوال (4/31 درصد) تاكسونومي دو، و 31 سوال(7/1درصد) تاكسونومي سه داشتند. در سال 1390، 867 سوال (2/48%) در تاكسونومي يك، 741 سوال(2/41%) تاكسونومي دو، و 192 سوال(6/10%) تاكسونومي سه طراحي شده بودند. تفاوت معناداري بين تاكسونومي سوالات رشته‌هاي مختلف در سال‌هاي 89 و 90 مشاهده شد (83/23, z=0001/0p < ). در زمينه رعايت اصول ساختاري ميلمن در سوالات چندگزينه‌اي، يافته‌ها نشان داد كه نسبت سوالات بدون اشكال در آزمون سال 1389، برابر 77/66% و در سال 1390، 22/75% بود. از نظر مراعات اصول ميلمن بين كيفيت سوالات آزمون سال‌هاي 89 و 90 تفاوت معنادار آماري وجود دارد (703/16z=، 0001/0p < ). نتيجه‌گيري: مطالعه حاضر پيشرفت معناداري را در كاربرد سوالات مربوط به سطوح عميق دانش (تاكسونومي 2 و 3) در آزمون ارتقاي دستياري نشان داد كه بيانگر تاثير مثبت مداخله آموزشي انجام شده (كارگاه آموزشي MCQ) بود.

Introduction: Resident promotion exams are considered one of the most important summative exams in residency period that allow residents to proceed to a higher grade. Multiple choice questions are the most common and objective test in medical science education. Therefore, finding methods to improve quality of exams, particularly in specialty programs, is important. The aim of this study is to determine effectiveness of training workshops on improving quality of residency promotion exams in medical school of Guilan University of Medical Sciences (GUMS). Methods: In this Quasi-experimental study (before & after), all questions of resident promotion exams of GUMS for 12 specialty programs in year 2010 (150 questions for each specialty-1800 questions in total) were structurally and taxonomically evaluated using a valid and reliable checklist based on Millman principles. After12 one–day educational workshops (one for each department) on multiple choice questions), questions of residents’ promotion exam in year 2011 were evaluated. Data related to questions designed by faculties who had participated in the interventional workshop were analyzed using statistical Wilcoxon signed-rank test. Results: Taxonomy of questions of written promotion exam in years 2010 and 2011 were as follows: 1204(%66.09) questions were of first level taxonomy, 565 (%31.4) of 2nd level, and 31(% 1.7) of 3rd level in the 2010 exam, and 867 questions (%48.2) were of first level taxonomy, 741 (%41.2) of 2nd level, and 192 (%10.6) of 3rd level in the 2011. Findings showed significant differences between taxonomy of questions of different programs in 2010 and 2011 (p=0.0001, Z=23.83). Also, according to Millman’s structural principles, the rate of questions with no structural problem was %66.77 in the year 2010 and %75.22 in 2011. There is a statistically significant difference based on Millman principles between 2010 and 2011 (p=0.0001, Z=16.703). Conclusion: Current study showed that training workshops are effective in improving the rate of questions targeted at higher levels of knowledge (Taxonomies 2 & 3) in residency promotion exams