كاربرد مدل راش (روش نقشه سوال) در تعيين استاندارد و نمره برش آزمون پيش كارورزي علوم پزشكي

The Use of Rasch and Item Mapping in Determining Cut Score of Comprehensive Pre internship Exam

مقدمه: يكي از بحث ‌برانگيزترين موضوعات در اندازه ­گيري­ هاي تربيتي تعيين نمره برش در هنگام ساخت و اجراي آزمون­ ها است. هدف اين پژوهش تعيين نمره برش آزمون ملاك مرجع پيش­ كارورزي علوم پزشكي با استفاده از مدل راش (روش نقشه سوال) بود . روش ها: پژوهش حاضر از نوع پژوهش ­هاي توصيفي- مقطعي بود كه براي اين منظور، از 13 عضو هيات علمي دانشگاه علوم پزشكي دانشگاه تهران، به ­عنوان اعضاي هيئت داوران دعوت به عمل آمد. ابزار اين پژوهش، آزمون چندگزينه‌اي 200 سوالي پيش­ كارورزي (پره انترني) قطب ده علوم پزشكي كشور در شهريور ماه 1395 بود كه تعداد 274 داوطلب از دانشجويان دانشگاه­ هاي علوم پزشكي به آن پاسخ داده بودند. در فرايند تعيين استاندارد و نمره برش؛ يك نمره برش براي تفكيك داوطلبان در سطوح عملكردي قبول/ رد تعيين شد. داده­ ها با استفاده از نرم­ افزار آماري Winstep تحليل گرديد. يافته­ ها:نتايج نشان داد كه اين آزمون از اعتبار سوال 0/98 =PRو اعتبار فرد0/93=IRبرخوردار است كه نشان­ دهنده مناسب بودن واريانس نمونه، طول تست و همچنين سوالات از حوزه ­هاي شانزده­ گانه به تناسب انتخاب گرديده است. اجراي پنل داوران و بررسي سوالات با روش نقشه سوال نشان داد كه توافق داوران پس از سه مرحله داوري شامل پارامتر دشواري برابر (0/48-) و نمره خام برابر 123 و معادل پارامتر توانايي (0/58) بوده است. نتيجه گيري: بررسي روايي رويه ­اي نمره برش نشان داد كه استفاده از روش نقشه سوال توانسته است توافق بالايي بين داوران نسبت به تعيين نمره برش ايجاد نمايد. نتيجه نشان داد كه هيات داوران رضايت بالايي از اين فرايند از كاربردي بودن و اجرايي بودن مراحل اجرا دارند.

Introduction: One of the most controversial issues in educational measurement is to determine the cut score during the development and administration of a test. This paper aimed at using the Rasch model (item mapping) in determining cut score of the comprehensive pre internship exam in medical education. Methods:This is a descriptive cross-sectional study. in doing so 13 faculty members of Tehran University of Medical Sciences were selected as the panelists Data collection instrument was the 200-item pre intership exam which administered in the Region 10 of the national medical science system between August 22 and September 21, 2016, that were responded by 274 students of university of medical sciences A cut score was set to identify pass/fail score for performance assessment. Data were analyzed by Winstep. Result: According to the findings, the item reliability of this exam was 0.98 (PR=0.98) and person reliability of 0.93 (IP=0.93), that indicate the sample variance and test length were suitable and the items were selected from the nine regions proportionally. Examining items by panelists using the item map method showed three judgment stages included the item difficulty of (-0.46), raw score of 103, and ability parameter equivalent of (0.58). Conclusion: Procedural validity of the cut score showed that the use of item map method resulted in greater agreement between the panelists on this score. Results indicated high satisfaction of the panelists because of feasibility of this process and implementation stage.