بررسي تاثير كارگاه آموزش طراحي سوال بر كيفيت آزمون هاي كتبي دانشكده ي دندانپزشكي شهيد بهشتي

A Research on the Efficacy of Test Development Workshop on the Quality of Theoretical Exams of Shahid Beheshti Dental School

زمينه و هدف: ارزشيابي عبارت از فرايند نظام مند گردآوري، تحليل و تفسير داده ها به منظور ارزش گذاري و قضاوت مي باشد. مطالعه ي حاضر با هدف بررسي تاثير كارگاه آموزش طراحي سوال بركيفيت آزمون هاي كتبي پايان ترم انجام پذيرفت. روش بررسي : در اين پژوهش نيمه تجربي ابتدا كليه ي سوالات آزمون هاي دروس نظري2 دانشكده ي دندانپزشكي شهيد بهشتي قبل و پس از ارايه ي كارگاه و دفترچه راهنما با عنوان " قواعد طراحي سوال " جمع آوري شد. تاكسونومي، ارتباط و پوشش محتوايي آزمون ها توسط سه تن از مدرسين هر بخش آناليز شد. ساير شاخص ها مانند ضرايب تميز و دشواري،ارزش گزينه هاي انحرافي و مرزيٍ ،ضريب خطا و ميزان رعايت قواعد ساختاري با استفاده از چك ليست ميل من (Millman) و فرمول هاي استاندارد محاسبه گرديد. تحليل داده ها با استفاده از تست هاي Independent Samples t. Test و Mann-Whitney Test و ANOVA انجام پذيرفت. يافته ها : قبل از مداخله شاخص هاي ارتباط محتوايي و ضريب دشواري در حد مطلوب بودند. پس از مداخله نسبت سوالات تستي، ارتباط محتوايي و ضريب تميز افزايش داشتند در حالي كه ميزان رعايت قواعد ساختاري آزمون ، ضريب دشواري ، ميزان گزينه هاي انحرافي نيازمند بازبيني ،ضريب خطا ، تعداد سوالات نيازمند بازبيني و پوشش محتوايي كاهش نشان دادند . در كل مداخله فقط روي كاهش ضريب خطا تاثير كاربردي داشت. نتيجه گيري : كارگاه كوتاه مدت آموزش روش هاي طراحي سوال بر كيفيت آزمون هاي پايان ترم تاثير كاربردي نداشت و به نظر مي رسد براي بهبود كيفيت آزمون نياز به مداخلات ديگري نظيرآموزش مستمر وجود دارد

Background and Objective: Evaluation is a systematic process of gathering, analyzing and interpreting data for making assessment and judgment. This study aimed to evaluate the efficacy of a test development workshop on the quality of final written exams. Materials and Methods: In this semi-experimental study, written final exams of all theoretical courses before and after presenting a workshop were gathered and a booklet titled “Standard rules of questions” was distributed. Taxonomy, content relevance, and content coverage of exams were analyzed by three course lecturers of each department. Other indices such as difficulty and differential coefficients, value of distracter and borderline choices, error coefficient, and considering structural rules were calculated by means of Millman’s checklist and standard formulae. Independent Samples T Test, Mann-Whitney U Test, and ANOVA were used to analyze the data. Results: Before intervention, content relevance and difficulty coefficient were in acceptable levels. Proportion of multiple choice questions, content relevance, and differential coefficient increased after intervention, whereas consideration of structural rules, difficulty coefficient, number of distracters requiring revision, error coefficient, number of questions requiring revision, and coverage relevance decreased. Generally, the intervention just decreased the error coefficient practically. Conclusion: A short- term course on standard rules of question development does not affect quality of exam questions considerably and a long term education is suggested in this regard.