طراحي و كاربرد روش سنجش انطباقي كامپيوتري براي اجراي آزمون توليمو در سازمان سنجش آموزش كشور

Designing and Application of a Method Computerized Adaptive Testing for Implementation TOLIMO Test in the National Organization of Educational Testing

سنجش مهارت زبان انگليسي در ارزيابي‌هاي خطير به تعداد زيادي پرسش براي آزمون‌هايي به‌شيوه‌ مداد-كاغذي (P&P) نياز دارد؛ زيرا هر سال افراد بسياري در اين نوع آزمون‌هاي سرنوشت‌ساز شركت مي‌كنند. هدف از اجراي اين پژوهش، طراحي و كاربرد سنجش انطباقي كامپيوتري (CAT) به‌عنوان گزينه‌اي براي سنجش مهارت زبان انگليسي در سازمان سنجش آموزش كشور بود. CAT برخلاف آزمون‌هاي سنتي P&P كه توالي گزينش پرسش‌ها در آن ثابت و يكنواخت است، از يك شيوه‌ گزينش سؤال بهينه و انطباقي استفاده مي‌كند. CAT، برآورد توانايي موقت را به‌طور بهينه مورد هدف قرار مي‌دهد و به يك ملاك همگرايي مناسب براي برآورد توانايي مي‌رسد و در نتيجه، به يك فرايند سنجش كوتاه‌تر، قابل اطمينان‌تر و كارآمدتر مي‌رسد. مورد مطالعه مهارت زبان انگليسي در مطالعه حاضر، آزمون توليمو است. اين پژوهش در دو مرحله اجرا شده است: در مرحله اول، نمونه‌اي از اجراهاي مداد-كاغذي آزمون توليمو (دوره‌ 114 تا 123)، انتخاب و سپس، سؤال‌ها و توانايي آزمودني‌ها مدرج‌سازي شد. در مرحله‌ دوم، CATهاي بهينه شبيه‌سازي شده به‌عنوان مبنايي براي ارزيابي صحت و كارايي CAT عملياتي طراحي شدند. نتايج پژوهش نشان داد كه برآورد پارامتر توانايي به روش بيشينه‌ درست‌نمايي و ملاك توقف طول ثابت، بيشترين دقت در برآورد پارامتر توانايي آزمودني‌ها را ايجاد مي‌كنند. همچنين، آزمون CAT توليمو كه بر اساس خزانه‌ سؤال بهينه شبيه‌سازي‌شدند، نسبت به CAT عملياتي كه بر اساس خزانه‌ سؤال موجود طراحي شده‌ است، به سؤال‌هاي كمتري نياز دارد، درحالي‌كه به نتايج دقيق‌تري نسبت به CAT عملياتي در برآورد پارامتر توانايي منجر مي‌شود. بنابراين، باوجود مناسب بودن سؤال‌هاي موجود در خزانه‌ سؤال مدرج‌سازي شده آزمون توليمو، طراحي سؤال‌هايي براي هدف اجراي آزمون به شيوه‌ CAT، هم به‌صرفه‌تر است و هم دقيق‌تر پارامتر توانايي را برآورد مي‌كند. همچنين، نتايج اين مطالعه نشان داد كه آزمون توليمو هم به شيوه‌ CAT شبيه‌سازي شده و CAT عملياتي طراحي ‌شده به شكلي كارآتر و دقيق‌تر نسبت به توليمو مداد-كاغذي عمل مي‌كند. يافته‌هاي اين پژوهش، نشان مي‌دهد كه آزمون CAT توليمو داراي پتانسيل بالايي در كارايي و دقت اندازه‌گيري توانايي زبان انگليسي است.

Measuring of English Language proficiency in large-scale assessments normally requires a large number of test items and relies on paper-and-pencil (P&P) formats; because many people participate annually in this high stake type of tests. The purpose of this research is to design and apply a Computerized Adaptive Testing (CAT) as an alternative to assessing the English language proficiency in the National Organization of Educational Testing. Unlike the traditional P & P tests in which the sequence of selection of items in it is constant and uniform, CAT uses an optimal and adaptive item selection method. CAT caters to optimally estimating temporary ability parameter and achieves a suitable convergence criterion for estimating ability, which results in a shorter, more reliable, and more efficient measurement process. In current study, the case study for examination of English language skill was the TOLIMO test. This research has been carried out in two phases. In the first stage, a sample of pencil-paper TOLIMO (period 114 to 123) was selected and then the items and subjects' ability were calibrated. In the second phase, simulated optimal CATs were designed as a basis for evaluating the efficiency of operational CAT. The results show that the ability parameter estimation method, the maximum likelihood and the fixed length of test as test termination criterion, give the most accuracy in the ability parameter estimation. Also, the simulated CAT TOLIMO test based on the optimum item pool needs less items than the designed CAT based on the available item pool, while it leads to obtain more accurate results in comparison to the operational CAT for ability parameter estimation. Therefore, despite the suitability of the items in the graded item pool of TOLIMO, the design of items to implement the examination with CAT method is so much better and more accurately, the ability parameter is estimated. The study also demonstrates that TOLIMO test in the form of simulated CAT and operational CAT can be more efficient and precise in the evaluation criteria than TOLIMO test in the form of P&P. The findings suggest that CAT has a great potential in efficiently and precisely measuring TOLIMO ability of English language.