مروري بر نظريه تعميم پذيري و كاربردهاي آن در آموزش پزشكي

An Overview of the Generalizability Theory and its Implications in Medical Education

مقدمه تمام اندازه گيري ها از جمله ارزيابي دانشجويان پزشكي در ذات خود واجد خطا هستند. با توجه به ضرورت حفظ كيفيت ارزيابي در علوم پزشكي، يافتن روش هايي براي برآورد ميزان خطا و كاهش آن حائز اهميت است. طي سال هاي اخير، پيشرفت هاي چشمگيري در زمينه نظريه هاي اندازه گيري صورت گرفته است كه در اين راه كمك كننده است. روش كار در اين مقاله، پس از مروري بر نظريه كلاسيك آزمون و محدوديت هاي آن، با استفاده از مثال هايي در خصوص آزمون عيني ساختارمند باليني، نظريه تعميم پذيري را بررسي مي كنيم. يافته ها طبق نظريه كلاسيك آزمون، نمره اي كه دانشجو در امتحان كسب كرده است، معادل نمره واقعي او نيست و با خطا همراه است. با تعيين پايايي آزمون مي توانيم بگوييم ميزان تاثير خطاي تصادفي در نمره چقدر بوده است اما در اين نظريه نمي توان در آن واحد، تمام منابع خطا را در نظر گرفت. براي رفع اين محدوديت از نظريه تعميم پذيري استفاده مي شود كه بر اساس مدل هاي آماري آناليز واريانس، سهم منابع مختلف خطا را در اندازه گيري مشخص مي كند و علاوه بر برآورد پايايي آزمون، پيشنهادهايي براي بهبود تعميم پذيري نتايج ارايه مي دهد. نتيجه گيري در نظريه كلاسيك آزمون، شناسايي ميزان اثر منابع مختلف خطاهاي احتمالي به تفكيك امكان پذير نيست. در حالي كه با استفاده از نظريه تعميم پذيري مي توان سهم هريك از منابع خطا را شناسايي نمود و براي آزموني پاياتر برنامه ريزي كرد.

Introduction: All measurements, including medical students’ assessment, are potentially prone to error from various sources. Considering the importance of maintaining the quality of assessment methods in medical education, finding methods to estimate the error and to decrease it, is essential. Many developments have been achieved in measurement theories during recent years, which can be used in this way. Methods: In this study, following reviewing the classical test theory (CTT) and its limitations, we discuss the generalizability theory (GT) using some examples of the Objective Structured Clinical Examination. Results: According to the CTT, students’ scores in exams are not their true scores and are accompanied with some levels of error. Determining reliability of tests helps us to assess how much the random error has been affected the score. In the CTT, it is impossible to consider all error sources simultaneously. To cope with this limitation, the GT specifies share of various sources of error based on the ANOVA models. This theory estimates reliability of tests and offers some recommendations for improving their generalizability. Conclusion: In CTT, specification of effect of various sources of errors is not possible, whereas GT can be used to identify share of each error source. Hence, the test reliability coefficient can be estimated and also a more reliable test may be planned.