مقايسه روش‌هاي بيزي و فراوني‌گرا در برآورد شاخص‌هاي بهبود بازطبقه‌بندي براي ارزيابي مدل‌هاي پيش‌بيني: مطالعه قند و ليپيد تهران

مقدمه: براي برآورد شاخص­ هاي بهبود بازطبقه­ بندي خالص (NRI) و تشخيصي ادغام شده (IDI) كه براي برآورد مقدار تاثير افزودن نشانگرهاي جديد در مدل‌هاي آماري به‌كار مي‌رود، به­ طور معمول از روش فراواني­گرا استفاده مي­ شود. اين روش در بعضي موارد به‌ويژه در نمونه‌هاي كوچك، عملكرد ضعيفي دارد. در اين مطالعه كارايي دو روش بيزي و فراواني‌گرا مقايسه شده است. مواد و روش ­ها: جمعيت بررسي شده، 734 زن با سن 20 سال و بالاتر پيش‌ديابتي، در مطالعه كوهورت قند و ليپيد تهران (TLGS) بود. براي برآورد احتمال رخداد بيماري ديابت، مدل رگرسيون لوجستيك مشابه مدل پيش‌بيني بيماري ديابت در مطالعه ARIC استفاده شد كه شامل نشانگرهاي اندازه دور كمر، پرفشاري خون، قد، وزن، سن، سابقه خانوادگي ديابت، سيگاري بودن و ضربان نبض بود. روش­ هاي فراواني‌گرا و بيزي براي برآورد شاخص­ هاي بهبود بازطبقه­ بندي خالص و تشخيصي ادغام شده، استفاده شد و سپس اين دو روش در حجم نمونه كوچك مقايسه شدند. براي انجام تحليل‌ها از نرم‌افزار R نسخه 3.1.3 استفاده شد. يافته‌ها: برآورد شاخص‌هاي بهبود بازطبقه ­بندي خالص و تشخيصي ادغام شده به روش‌‌هاي بيزي و فراواني‌گرا نتايج يكساني داشتند كه در هر دو روش افزودن نشانگرهاي جديد اندازه دور مچ دست، سابقه تولد نوزاد بيش از 4/5 كيلوگرم، سابقه فشارخون بارداري به مدل ARIC، ثاثير معنا‌داري در شاخص‌هاي فوق نداشت. در حجم نمونه كوچك، برآورد اين دو شاخص در روش بيزي در مقايسه با روش فراواني‌گرا، عملكرد بهتري نشان داد. نتيجه‌گيري: روش بيزي در حجم نمونه كوچك عملكرد معتبر و قابل اعتمادتري در مقايسه با روش فراواني‌گرا داشت.

Introduction: The Frequency-based method is commonly used to estimate the Net Reclassification Improvement (NRI)- and Integrated Discrimination Improvement (IDI) indices. These indices measure the magnitude of the performance of statistical models when a new biomarker is added. This method has poor performance in some cases, especially in small samples. In this study, the performance of two Bayesian and Frequentist methods were evaluated and compared for the diabetes prediction model in pre-diabetic women. Materials and Methods: A total of 734 pre-diabetic women aged20 years, participated in the first and second phases of the Tehran Lipid and Glucose Study (TLGS) were enrolled in this research and the logistic regression model was used with variables of the Atherosclerosis Risk in Communities (ARIC) in order to estimate the probability of diabetes. Predictors of diabetes in the ARIC study were waist circumference, hypertension, height, weight, age, family history of diabetes, smoking and pulse rate. The Frequentist and Bayesian methods were used to estimate the NRI and IDI. In addition these methods were compared in a small sample size selected randomly from the primary sample. Statistical analyses were performed using R- software version 3.1.3. Results: Estimates of the NRI and IDI indices by the Bayesian and Frequentist methods provided almost similar results. Adding new markers of wrist size, history of macrosomia, and history of preeclampsia to the ARIC model did not show significant effect on the improvement indices. In the small sample size, IDI and NRI showed better performance in the Bayesian method compared to the frequentist method. Conclusion: The Bayesian method had a more reliable performance in comparison with the frequency-based method, especially in small samples.