On the Estimation of Shannon Entropy

آنتروپي شانون در كاربردهاي بسياري استفاده شده است. در اين مقاله يك براوردگر براي آنتروپي متغيرهاي تصادفي پيوسته پيشنهاد شده است. سازگاري و پايايي در مقياس براي واريانس و ميانگين توان دوم خطاي براوردگر اثبات شده است. سپس مقايسه‌هايي با براوردگرهاي ديگر آنتروپي همانند واسيچك (????)?، وناياس (????)?، ابراهيمي و همكاران (????)? و كوريا (????)? انجام شده است. نتايج مطالعه‌ي شبيه‌سازي نشان مي‌دهد كه براوردگر پيشنهادي از براوردگرهاي قبلي ميانگين توان دوم خطاي كم‌تري دارد.

Shannon entropy is increasingly used in many applications. In this article, an estimator of the entropy of a continuous random variable is proposed. Consistency and scale invariance of variance and mean squared error of the proposed estimator is proved and then comparisons are made with Vasicekʹs (1976), van Es (1992), Ebrahimi et al. (1994) and Correa (1995) entropy estimators. A simulation study is performed and the results indicate that the proposed estimator has smaller mean squared error than competing estimators.