تأثير حجم نمونه و طول آزمون بر نمرات همتراز شده و خطاي همترازسازي: مورد مطالعه آزمون‌هاي ملي ايران

The Effect of Sample Size and Test Length on Equated Scores and Error of Equating: The Case of Iranian National Tests

هدف از انجام پژوهش حاضر ارزيابي تأثير حجم نمونه و طول آزمون بر نمره‌هاي همتراز شده و خطاي همترازسازي روش كرنل (KE) (با شيوه‌هاي مختلف هموارسازي رشته‌اي و PSE[2]) و همچنين مزايا و معايب اين روش در مقايسه با تكنيك‌هاي همترازسازي كلاسيك بوده است. جامعه آماري و گروه نمونه پژوهش حاضر، داده‌هاي آزمون‌هاي ملي ايران (آزمون توليمو و آزمون‌هاي جامع كنكورهاي آزمايشي شركت تعاوني سازمان سنجش آموزش كشور در سال 92-91) بوده است. آزمون توليمو داراي 17 سؤال لنگر در هر فرم و 123 سؤال بود. در آزمون‌هاي جامع كنكورهاي آزمايشي شركت تعاوني سازمان سنجش آموزش كشور صرفاً از سؤال‌هاي مشترك درس‌هاي عمومي رشته‌هاي رياضي- فيزيك، علوم تجربي و علوم انساني استفاده شد. به‌منظور بررسي تأثير حجم نمونه بر دقت نتايج همترازسازي، از مجموعه داده‌هاي مورد نظر به‌طور كاملاً تصادفي سه نمونه 200، 500 و 1000 نفري انتخاب و تحليل شدند. براي بررسي تأثير طول آزمون بر دقت نتايج همترازسازي از درس‌هاي عمومي آزمون‌هاي جامع كنكورهاي آزمايشي سنجش نمونه‌اي 40 تايي از سؤال‌ها (از هر درس 10 سؤال) به‌طور كاملاً تصادفي انتخاب شد. بدين ترتيب در آزمون‌هاي جامع دو آزمون 100 و 40 سؤالي در حجم‌هاي نمونه مختلف مورد تحليل قرار گرفته است. طرح همترازسازي مناسب در آزمون توليمو طرح گروه‌هاي غير همتا با آزمون لنگر (EAT[3]) و در آزمون‌هاي جامع طرح گروه‌هاي همسان بوده است. روش همترازسازي در آزمون‌هاي مورد نظر، روش ميانگين، روش خطي، روش همصدك، روش قوس دايره‌اي (Circle arc) و روش كرنل (KE) بوده است. به‌طور كلي هرچه حجم نمونه آزمون‌شوندگاني كه نمراتشان در تحليل همترازسازي وارد مي‌شود بيشتر باشد، خطاي استاندارد همترازسازي كوچك‌تر خواهد بود. نتايج تحليل‌ها به‌طور كلي نشان داد كه همچنان كه حجم نمونه افزايش يافته، برازش مربوط به هموارسازي كرنل نيز بهبود يافته است و بهبود هموارسازي كرنل با افزايش طول آزمون همراه بوده است. به‌طور كلي زماني كه حجم نمونه كوچك باشد، روش كرنل بزرگ‌ترين مزيت‌ها را بر ساير روش‌هاي همترازسازي كلاسيك دارد.

The purpose of this research was to assess the effect of sample size and test length on the equated scores and equating error of Kernel method (using different methods of chain and poststratification smoothing) as well as the merits and demerits of this method compared to classical equating techniques. Therefore, the population and sample participants were those who took part in Iranian National Tests (TOLIMO, Comprehensive Tests of Iran Educational Testing Service) administered in 2012-2013. TOLIMO had a number of 123 items including 17 anchor tests in each form. To analyze data collected from Comprehensive Tests of Iran Educational Testing Service, only those items related to common general-domain subjects of mathematics and physics, science and humanities were utilized. To investigate the effect of sample size on the accuracy of equating the above mentioned tests, three samples of 200, 500, and 1000 people were randomly selected from among data collected from all participants and analyzed. A 40-item sample (10 items from each subject) was randomly chosen from general subjects of comprehensive tests to examine the effect of test length on the accuracy of the results of equating. Thus, in comprehensive tests, two 100-item and 40 items sample tests were analyzed with samples of different sizes. The proper equating design in TOLIMO was NEAT design, but in Comprehensive Tests it was homogeneous groups design. Equating methods in the respective tests have been mean, linear, equipercentile, Circle arc and Kernel methods. On the whole, the larger the examinees sample whose scores were taken into account in the analyses was, the lower standard error of equating would be. The findings also showed that whenever there was an increase in both sample size and test length, an improvement was observed in the fitness related to Kernel smoothing as well. Generally, with small sample sizes, Kernel method is more advantageous than other methods of classical equating.