تحليل بعديت، اثر متن، تأثير و كاركرد افتراقي سؤال در آزمون‌هاي مبتني بر متن

The Analysis of Dimensionality, Testlet Effect and Differential Item Functioning and Impact in Testlet-Based Tests

اين مطالعه با هدف بررسي اثر تك‌زبانه، دوزبانه بودن دانش‌آموزان ايراني بر بعديت، وابستگي مكاني سؤال، تأثير و كاركرد افتراقي سؤال متن‌هاي مطالعه پرلز 2011 انجام گرفت. بعديت با مقايسه مدل تك‌بعدي پاسخ مدرج شده با مدل دوعاملي چندبعدي نظريه سؤال-پاسخ، تأثير و وابستگي مكاني سؤال با استفاده از مدل دوسطحي دوعاملي و كاركرد افتراقي سؤال با مدل دوعاملي چندگروهي كاي و همكاران (2011) بررسي شد. نتايج بعديت نشان داد مدل دوعاملي نسبت به مدل پاسخ مدرج شده برازندگي بهتري با داده‌ها دارد و وابستگي مكاني سؤال بين سؤال‌هاي دو صفت ادبي موجب انحراف از تك‌بعدي بودن شده است، تفاوت زباني نيز مقدار زيادي از واريانس آنها را تبيين مي‌كند. نتايج تأثير نشان داد متوسط برآورد توانايي‌هاي تك‌زبانه‌ها بالاتر از دوزبانه‌ها است. همچنين نتايج نشان داد سؤال‌ها با كاركرد افتراقي يكنواخت براي تك‌زبانه‌ها دشوارتر از دوزبانه‌ها هستند و در سؤال‌هاي چندگزينه‌اي با كاركرد افتراقي غير يكنواخت تك‌زبانه‌ها عملكرد بهتري دارند. به‌طور كلي، نتايج نشان داد صفات مرتبط با دو متن در بين دانش‌آموزان تك‌زبانه و دوزبانه به گونه متفاوتي ادراك مي‌شوند و در بين دوزبانه‌ها وابستگي مكاني سؤال بيشتر از تك‌زبانه‌ها است. همچنين نتايج حاكي از تفاوت عملكرد دانش‌آموزان تك‌زبانه –دوزبانه در سؤال‌ها با شكل آميخته است.

The present study was conducted to investigate the impact of monolinguality-bilinguality of Iranian students on dimensionality, local item dependence and differential item functioning and impact of questions included in the passages of PIRLS (2011). The dimensionality was analyzed through comparing the one-dimensional graded response model and the multidimensional bi-factor item-response theory model. Next, the local item dependence and impact was analyzed using the two-level bi-factor model and, finally, the differential item functioning was examined using a multiple-group bi-factor model used by Cai et al. (2011). The results of the dimensionality showed that the bi-factor model better fitted to the data than the graded response model. Furthermore, it was found that the local item dependence between two literal trait questions caused deviation from the one-dimensionality and that the linguistic difference could explain a majority of its variance. The Testlet results also showed that the average estimation of monolinguals’ abilities was higher than bilinguals’ abilities. Besides, it was indicated that items embedded with uniform differential item functioning were more difficult for monolinguals than bilinguals but monolinguals outperformed bilinguals in multiple choice items embedded with non-uniform differential item functioning. Overall, the results showed that the traits related to the two literal Testlet were differently­ perceived among monolingual and bilingual students and local item dependence was more evident among bilinguals than monolinguals. Also, the results indicated a difference between the performance of monolingual and bilingual students in the mixed items format.