تحليل تشخيصي سؤال هاي بخش درك مطلب زبان انگليسي عمومي آزمون ورودي دوره هاي دكتري با استفاده از مدل غير جبراني فيوژن

Diagnostic analysis of general English reading comprehension's items of PhD entrance exam using non-compensatory fusion model

زمينه: رويكردهاي سنتي و جاري سنجش در بازنمايي قابليت‌هاي زباني افراد با چالش‌هاي عملي و نظري همراه بوده و توانايي آن‌ها در سنجش و گزينش داوطلبان مورد ترديد قرار گرفته است. به گونه‌اي كه متخصصان حوزه اندازه‌گيري آموزشي را به استفاده از روش‌هاي جديدتر و كارآمدتر، سنجش تشخيصي شناختي، سوق داده است. هدف: هدف مقاله حاضر تحليل تشخيصي سوالات بخش درك مطلب آزمون ورودي دوره‌هاي دكتري زبان انگليسي عمومي با استفاده از مدل غيرجبراني فيوژن به منظور شناسايي مهارت‌هاي آزمون مورد مطالعه، كفايت مدل ارائه شده (همگرايي و برازش مدل)، توان تشخيصي آزمون و ميزان تسلط داوطلبان در هر يك از مهارت‌ها بود. روش: جامعه مورد بررسي عبارت از كليه 3942 داوطلب كنكور در رشته‌هاي آموزش زبان انگليسي، زبان‌شناسي، مترجمي و ادبيات انگليسي در سال 1391 بود و اطلاعات مربوط به 2754 آزمودني به عنوان گروه نمونه در تحليل نهايي وارد شدند. از تحليل محتواي آزمون، كدگذاري آن و بررسي گزارش‌هاي كلامي پنج دانشجوي كارشناسي ارشد و دكتراي زبان انگليسي داراي سابقه تدريس در آموزش زبان انگليسي براي تعيين مهارت‌هاي زيربنايي احتمالي هر يك از سوالات استفاده شد. يافته‌ها: نتيجه بررسي‌هاي بخش كيفي شش مهارت تدوين شده شامل استفاده از دانش واژگان، استفاده از دانش نحوي، استخراج اطلاعات صريح، استنتاج، اتصال و ادغام و استفاده از دانش عملي بود. تحليل داده‌ها با استفاده از مدل غيرجبراني فيوژن كاهش يافته مبتني بر الگوريتم زنجيره ماركف مونته كارلو، نشان دهنده كفايت مدل تدوين شده و امكان استفاده از آن در داده‌هاي زبان انگليسي بود. اتصال و ادغام (1/39 درصد)، استفاده از دانش عملي (8/36)، استخراج اطلاعات صريح (1/37 درصد)، استنتاج (9/25 درصد)، استفاده از دانش نحوي (1/25) و استفاده از دانش واژگان (9/22 درصد) به ترتيب آسان‌ترين تا دشوارترين مهارت‌هاي آزمون درك مطلب است. ضريب دشواري آزمون 42/. به دست آمد‌ و آزمون از توان تشخيصي بالايي برخوردار نبود. بحث و نتيجه‌گيري: امكان استفاده از مدل‌هاي تشخيصي شناختي در داده‌هاي مربوط به آزمون‌هاي زبان وجود دارد و منجر به كسب اطلاعات بيش‌تر از آزمون و پاسخ آزمودني‌ها شده و به تحقق هدف سنجش براي يادگيري كمك مي‌كند.

Traditional approaches in educational measurement have some practical and theoretical challenges in demonstrating language competencies and their abilities in assessment candidates' skills and selecting them have been questioned. In order to overcome these restrictions cognitive diagnostic models (CDMs) have been introduced and applied. Objective: The purpose of this study was diagnostic analysis of reading comprehension items of a general English language test (PhD entrance exam) to investigate underlying skills of a given test, inspection of model convergence and its fit, diagnostic power of the test and the mastery status of examinees. Method: The study conducted in cognitive diagnostic modeling. The population was all PhD candidates which majored in English teaching, linguistics, translation, and English literature. 2754 examinees were used as a sample. Task analysis, coding and verbal reports were applied to determine underlying skills of the test. Results: In qualitative section, 6 skills including using vocabulary knowledge, using syntactic knowledge, extracting explicit information or scan, drawing inference, connecting and synthesizing and using pragmatic knowledge were investigated. Also, quantitative analyses using non-compensatory reduced fusion model (FM) based on a Monte Carlo Markov chain (MCMC) indicated MCMC convergence and model fit and possibility of application of fusion model in English language's tests. The ability parameters were low for all skills. Using vocabulary knowledge was the simplest skill. The mean of item proportion-correct scores was .42 and the test did not have a high diagnostic power. Discussion and conclusion: Using cognitive diagnostic models in general and fusion model in particular results in achieving more information about tests and examinees' responses and it helps to reach the goal of assessment for learning and classify examinees as masters or non-masters correctly.