مقايسه مدل‌هاي كلاسيك و خصيصه مكنون در ارزيابي آزمون‌هاي تخصصي ورود به دوره‌هاي كارورزي رشته پزشكي

The Comparison of Two Models for Evaluation of Pre-internship Comprehensive Test: Classical and Latent Trait

مقدمه: علي‌رغم‌ استفاده گسترده از آزمون پيش‌كارورزي و اهميت آن در ارزيابي دانشجويان پزشكي، مطالعه‌اي كه يك تحليل روان‌سنجي نظام‌مند از سوالات اين آزمون فراهم نمايد وجود نداشت. لذا پژوهش حاضر به ارزيابي آزمون پيش‌كارورزي اسفند 1389 با استفاده از مدل‌هاي كلاسيك و خصيصه مكنون و مقايسه آن‌ها پرداخته است. روش‌ها: در اين پژوهش توصيفي- مقطعي، تجزيه و تحليل سوالات آزمون بر پايه مدل كلاسيك، از طريق محاسبه ضرايب دشواري و تميز، برآورد اعتبار آزمون به‌روش ضريب آلفاي كرونباخ و تحليل گزينه‌هاي انحرافي با استفاده از آزمون مقايسه نسبت انتخاب گزينه‌ها از طريق نرم‌افزار EXCEL انجام ‌شد. بررسي بعديت آزمون با نرم افزار NOHARM4 انجام شد. جهت برآورد پارامترهاي سوال (دشواري، تشخيص، حدس‌پذيري، تابع آگاهي سوال و آزمون و خطاي معيار اندازه‌گيري) از روش‌ها و مدل‌هاي خصيصه مكنون و از نرم‌افزار BILOG-MG3 استفاده شد. نتايج: طبق نظريه كلاسيك، 30 سوال (15 درصد) در بازه قابل قبول ضرايب دشواري و تميز قرار داشتند. ضريب اعتبار آزمون 913/0 به ‌دست آمد. 73 سوال (5/36%) از لحاظ گزينه‌هاي انحرافي داراي ايراد بودند. بررسي بعديت آزمون نشان داد كه آزمون تك‌بعدي است. با استفاده از مدل لوجستيك سه‌پارامتري ميانگين و انحراف معيار پارامتر دشواري (321/0 ، 874/1)، پارامتر تشخيص (021/1، 666/0) و پارامتر حدس (209/0 ، 082/0) به‌دست آمد. بيشترين ميزان آگاهي آزمون در سطوح توانايي 0/1 و 8/2 قرار داشت و آزمون در نقاط برش از آگاهي كمتري نسبت به سطوح بالاتر توانايي برخوردار بود. نتيجه‌گيري: يافته‌هاي پژوهش نشان داد كه تحليل‌هاي حاصل از مدل‌هاي خصيصه مكنون مي‌توانند در جهت رفع محدوديت‌هاي نظريه كلاسيك آزمون مورد استفاده قرار گيرند.

Introduction: Despite the widespread use of pre-internship comprehensive test and its importance in medical students’ assessment, there is a paucity of the studies that can provide a systematic psychometric analysis of the items of this test. Thus, the present study sought to assess March 2011 pre-internship test using classical and latent trait models and compare their results. Methods: In this cross-sectional descriptive research, item analysis based on classical model was conducted by calculation of difficulty and discrimination coefficients, estimation of reliability by Cronbach’s alpha coefficient method and distracters analysis by comparing distracter proportions using EXCEL software. NOHARM4 software was also used to assess test dimensionality. To assess items parameters (difficulty, discrimination, guessing, information functions, and standard error of measurement) latent trait models and BILOG-MG3 software were used. Results: According to the classical test theory, 30 items (15%) were in the acceptable range of difficulty and discrimination coefficients. Test reliability coefficient was 0.913. Seventy three items (36.5%) had problems with the distracters. The analysis of test dimensionality indicated that the test was unidimensional. Using Three-Parameter Logistic Model, we obtained the mean and standard deviation of items parameters, i.e. item difficulty (0.321, 1.874), item discrimination (1.021, 0.666), and item guessing (0.209, 0.082). Maximum test information function was between 1.0 to 2.8 ability levels, and the test had lower information compared to the higher levels of ability at cutting scores. Conclusion: The findings indicate that analyses of latent trait models can be used to overcome the limitations of the classical test theory.