استفاده از فرمول كوكران براي بررسي معناداري قبولي يا مردودي دانشجويان

Using Cochran formula for investigation of the significance of students' passing or failing: an evidence-based protocol in medical education

در نظام ارزشيابي 20 نمره­اي اين ابهام وجود دارد كه وقتي يك دانشجو نمره­ي 1/10 يا 9/9 مي­گيرد چه قدر قبولي يا مردودي او براي ما معنادار است؟ به عبارت ديگر اگر آزمون تكرار شود، از كجا بدانيم كه جاي دو دانشجوي قبول و مردود عوض نمي­شود. در اين نامه برآن هستيم تا روشي را ارائه كنيم كه با استفاده از آن بتوان معناداري قبولي يا مردودي دانشجويان را با استفاده از فرمول كوكران تشخيص داد. آمار و روش تحقيق نقش بسيار مهمي براي دانشجويان دارد. بايد درنظر داشت كه آمار و روش تحقيق نه صرفاً براي يادگيري مقاله نويسي است و نه يك هدف براي يك دانشجويي كه براساس رشته­ي تحصيلي خود رسالت ديگري دارد، بلكه وسيله­ و ابزاركاري ضروري براي مطالعه، تفسير و نگاهي عمقي به مقالات و كتب مرجع براي آموزش، تشخيص و درمان دقيق­تر است(1و2). از طرف ديگر، روايي و پايايي از ويژگي­هاي مهم و ضروري روش­هاي ارزشيابي است(3). از اين رو مي­توان از آمار براي ارزشيابي آموزش پزشكي نيز استفاده كرد. از آن­جايي كه در فرمول­هاي محاسبه­ي حجم نمونه، سه ركن اندازه­ي نمونه، اندازه­ي اثر (effect size) يا حداقل تفاوت باليني معنادار، و نهايتاً سطح معناداري وجود دارد، فرمول كوكران (شكل 1) هم از اين قائده مستثني نيست. شكل 1: خلاصه شده­ي فرمول كوكران اين فرمول براي تخمين حجم نمونه در مطالعات توصيفي به كار مي­رود. تصور اشتباه بر اين است كه در مطالعات توصيفي گزارش P value بي­معنا است؛ اما در حقيقت چنين نيست. ما در مطالعات توصيفي و مطالعات اقدام پژوهي به دنبال گزارش درصد فراواني پديده­ي مورد نظر هستيم. حال اين فراواني مشاهده شده مي­شود فرضيه­ي شماره 1 ما. فرضيه­ي صفر درصدي است كه قرار است درصد به دست آمده در فرضيه­ي 1 با آن مقايسه شود. براي مثال مي‌خواهيم بررسي كنيم كه چه ميزان از پرتاب­هاي يك تيم بسكتبال از حلقه رد مي­شود. در اينجا فرضيه­ي صفر ما، كه از آن به عنوان احتمال رياضي هم ياد مي­شود، مانند پرتاب سكه فراواني 5/0 است. فرضيه­ي 1 ما، كه از آن به عنوان احتمال تجربي هم ياد مي­شود، بسته به مهارت اعضاي آن تيم متفاوت است. فرض كنيم در يك مطالعه­ي توصيفي براي يك تيم بسكتبال اين احتمال را به­طور تجربي 6/0 به دست مي­آوريم. اكنون اين براي ما مهم است كه آيا اين برتري 6/0 نسبت به 5/0 معنادار است يا خير. در ادامه­ي همين مثال، براي ارتقاي عملكرد تيم فوق يك برنامه­ي آموزشي در قالب يك اقدام پژوهشي اعمال مي­كنيم. سپس در ارزيابي بازخورد آن مشاهده مي­كنيم كه اين عدد به 7/0 رسيده است. براي اين كه ببينيم آيا موفقيت اين برنامه معنادار بوده است يا خير اين بار 7/0 را فرضيه­ي 1 و 6/0 را فرضيه­ي صفر درنظر مي­گيريم. در چنين مواردي مجهول ما در فرمول كوكران Z مي­شود كه به راحتي مي­توان از روي Z score اقدام به محاسبه­ي P value نمود. براي راحتي كار فرمول تبديل Z به P value را در نرم­افزار اكسل 2013 تعريف كرده­ايم. در پروتكل حاضر كه مربوط به بررسي معناداري قبولي دانشجويان است، P فراواني براساس فرضيه­ي صفر است (مثلاً نمره­ي 10 از 20 مي­شود فراواني 5/0)؛ Q نيز همان 1-P است؛ n تعداد سؤالات امتحان است؛ d اختلاف نمره­ي دانشجوي مورد نظر از 10 برحسب فراواني است (مثلاً نمره­ي 12 از 20 مي­شود 6/0 كل نمره و d مي­شود 5/0-6/0)؛ و در نهايت Z كه مجهول ما است و از روي آن P value حساب مي­شود. در همين مثال، كسب نمره­ي 12 در يك آزمون 100 سؤاله در سطح 05/0 معنادار خواهد شد (شكل 2). بر همين اساس كسب نمره­ي 8 نيز به معناي مردودي معنادار است. اما در مورد نمرات 8 تا 12 نمي­توان براي قبولي يا مردودي اظهار نظر كرد. بر همين اساس هرچه تعداد سؤالات يك امتحان كم‌تر باشد، براي معناداري فاصله­ي بيش‌تري از نمره­ي 10 لازم است. در جدول 1 مثال­هاي ديگر نيز بررسي شده­اند. براساس آن، براي آنكه نمره­ي 11 به معناي قبولي معنادار باشد، لازم است تا آزمون مورد نظر بيش از 384 سؤال داشته باشد، و براي نمره­ي 12 اين عدد حدود 100 سؤال است. اضافه مي­گردد كه بارم تمام سؤالات بايد يكسان باشد.