تلفيق رويكرد ريكيسي و رويكرد برنامه‌نويسي رياضي در طراحي خزانه‌هاي سؤال بهينه براي سنجش انطباقي كامپيوتري

Compilation Reckase’s Method and Mathematical Programming Method in Designing Optimal Item Pool for Computerized Adaptive Tests

سنجش انطباقي كامپيوتري (CAT) شيوه‌اي از سنجش توانايي است كه دقت برآورد توانايي را افزايش مي‌دهد و بدون از دست دادن دقت اندازه‌گيري آزمون، طول آن را كاهش مي‌دهد. با اين وجود، سنجش انطباقي در صورتي خوب عمل مي‌كند كه، داراي خزانه سؤالي باشد كه در آن تعداد كافي سؤال با كيفيت مناسب وجود داشته باشد. بسياري از محققان خاطر نشان كردند كه، براي ساخت خزانه سؤالي براي (CAT)، نه ‌تنها اندازه خزانه سؤال مهم است، بلكه توزيع پارامترهاي سؤال‌هاي خزانه نيز از اهميت به‌سزايي برخوردار است. با اين‌وجود، تحقيقات اندكي در مورد اين‌كه چگونه اين ويژگي‌هاي مطلوب تعيين مي‌شود، وجود دارد. هدف اصلي اين پژوهش، تلفيق ايده“bin-and-union” برگرفته از رويكرد ريكيسي (2003)، كه يك روش شبيه‌سازي مونت‌كارلو براي تعيين ويژگي‌هاي خزانه سؤال است، با رويكرد برنامه‌نويسي رياضي بوده است. در اين پژوهش اين روش براي ساخت يك خزانه سؤال بهينه براي آزمون سنجش انطباقي رياضي به‌كار رفته است. خزانه سؤال پژوهش حاضر بر اساس مدل سه پارامتري مدرج شده است، و روش سيمپسون-هتر براي كنترل مواجهه سؤال به كار رفته است. اين طرح شامل برآوردهايي از اندازه مطلوب خزانه سؤال و توزيع مطلوب پارامترهاي سؤال‌ها و ويژگي‌هاي غير آماري آن بوده است. فرآيند طراحي اين خزانه شامل تعيين مجموعه‌اي از ويژگي‌هاي مطلوب خزانه سؤال، با درنظر گرفتن چندين عامل مهمي كه ممكن بود بر نتايج مورد‌ نظر طراحي يك خزانه سؤال اثر گذارد، بوده ‌است. عملكرد خزانه‌هاي‌ سؤال شبيه‌سازي شده و عملياتي با در نظر گرفتن مجموعه‌اي از ملاك‌هاي ارزيابي، با يكديگر مورد مقايسه قرار گرفته‌‌اند. نتايج ارزيابي نشان داد كه، مكانيزم به كار رفته براي تعيين ويژگي‌هاي مطلوب خزانه سؤال به‌خوبي عمل مي‌كند و براي تعيين ويژگي هاي مطلوب خزانه سؤال مناسب است.

Computerized adaptive testing (CAT) is a testing procedure that can result in improved precision for a specified test length or reduced test length with no loss of precision. But, for computerized adaptive tests (CATs) to work well, they must have an item pool with sufficient numbers of good quality items. Many researchers have pointed out that, in developing item pool for CATs, not only is the item pool size is important, but also the distribution of item parameters. Yet, there is little research on how to identify those desirable features. This paper applied and extended the basic idea of the “bin-and-union” method proposed by Reckase (2003),- which is a Monte Carlo method to determine the properties of an optimal item pool-, and mathematical programming method to develop the optimal item pool for a mathematic operational CAT. This study extended the method for designing item pools calibrated with the three-parameter logistic model and applied it to situations where the Sympson-Hetter procedure is used to control the item exposure rate. The designs include estimates of desired item pool size and item parameter distribution. The design process includes identifying a series of candidate item pool features by taking into consideration multiple factors that may affect the desired features of the item pool. The performance of the simulated item pools has been compared with operational item pool by considering some evaluation criteria. The result of evaluation indicated that the mechanism used to identify the desirable item pool features has functioned well and appropriate for identifying a desirable item pool features of mathematic operational CAT.