استفاده از تحليل داده هاي شبكه‌اي در بهبود الگوريتم آزمون هاي انطباقي كامپيوتري

Use of network data analysis to improve algorithm of computerized adaptive tests

زمينه: روش‌شناسي شبكه امكان مطالعه همزمان چندين هدف را ميسر مي‌سازد و قابليت‌هايي دارد كه منجربه ارائۀ ابزارهاي تحليلي مناسب مي‌گردد. پژوهش‌هايي در خصوص استفاده از تحليل داده‌هاي شبكه در حوزه سنجش تربيتي وجود دارد اما كمتر پژوهشي است كه بصورت عملي به ساخت آزمون انطباقي مبتني بر نظريۀ شبكه و يا ارائۀ الگوريتم آن پرداخته باشد. آيا امكان استفاده از علم شبكه در ساخت آزمون هاي انطباقي وجود دارد؟ هدف: اين مطالعه با هدف بهبود الگوريتم آزمون‌هاي انطباقي مبتني بر تحليل داده‌هاي شبكه‌ بر روي زبان آموزان مراكز و مؤسسات آموزش زبان شهر تهران انجام شد. روش: اين پژوهش از نوع توصيفي و تمركز اصلي آن بر تحليل سؤالات آزمون با تكنيك تحليل داده‌هاي شبكه بود. جامعه آماري كليۀ زبان آموزان ده مؤسسه برتر آموزش زبان شهر تهران در سال 1398 بود كه قابليت خواندن زبان انگليسي را در حداقل سطح داشتند. از ميان آنان 1556 نفر به روش نمونه‌گيري در دسترس انتخاب شدند. ابزار سنجش آزمون 140 سؤالي خزانه لغات انگليسي (VST) (نيشن و وارينگ، 1997) بود. تحليل سؤالات آزمون از طريق نظريۀ كلاسيك، نظريۀ سؤال - پاسخ و تحليل شبكه مبتني بر الگوريتم فراچترمن - رينگولد انجام شد. يافته ها: پارامترهاي سؤالات آزمون بر اساس نظريات كلاسيك و سؤال - پاسخ محاسبه گرديد. نقشه ارتباط بين سؤالات مبتني بر الگوريتم فراچترمن - رينگولد، بر اساس آزمون آماري همبستگي تفكيكي با تعديل آلفا (0/01< P) ترسيم شد، شاخص‌هاي مركزيت شبكه و الگوريتم انطباقي آزمون استخراج گرديد. نتيجه گيري: استفاده از مزاياي تكنيك تحليل داده‌هاي شبكه‌اي مانند قابليت ديداري‌سازي نتايج، ارائۀ گزارش‌هاي ساده و جامع و در نظر گرفتن اهميت سؤالات در ساختار شبكه ارتباطي بين سؤالات به ارتقاء روش‌هاي آزمون‌سازي انطباقي منجر شده است.

Background: Network methodology makes it possible to study several goals at the same time and has capabilities leads to providing appropriate analytical tools. There are studies on the use of network data analysis in the field of educational assessment but there is less research that has practically constructed an adaptive test based on network theory or presented its algorithm. Is it possible to use network science to build adaptive tests? Aims: This study was performed with the aim of improving the adaptive test algorithm based on network data analysis on language learners of language teaching centers and institutions in Tehran. Method: This research was descriptive and its main focus was on the analysis of test questions using network data analysis technique. The statistical population included all students of the top ten language teaching institutes in Tehran in 2019 who had the ability to read English at a minimum level. Among them, 1556 people were selected by convenience sampling method. The tool used was the 140-item English Vocabulary Size Test (VST) (Nation & Waring, 1997). The analysis of test questions was performed through classical test theory, item response theory and network analysis based on Fruchterman-Ringold algorithm. Results: The parameters of the test questions were calculated based on classical test theory and item respons theory. The relationship map between the questions was drawn based on Fruchterman-Ringold algorithm and statistical test of partial correlation with alpha modulation (p< 0/01), network centrality parameters and adaptive test algorithm were extracted. Conclusions: Utilizing the benefits of network data analysis techniques such as results visibility, providing simple and comprehensive reports and considering the importance of the questions in the structure of the communication network between the questions have led to the improvement of adaptive testing methodes.