استفاده از يادگيري كيو مبتني بر فرآيندهاي تصميم گيري ماركوف به منظور تشخيص و بازيابي حفرههاي پوشش در شبكه هاي حسگر بيسيم

Using Q-learning based on Markov Decision Processes to detect and recover Coverage Holes in Wireless SensorNetworks

در شبكه هاي حسگر بيسيم، ناهنجاريهاي مختلفي ممكن است ايجاد شود و قابليت اطمينان و كارايي شبكه را كاهش دهد. يكي از اين ناهنجاري ها، حفره پوشش است كه به دلايل مختلفي مانند استقرار تصادفي گره هاي حسگر در محيط، حوادث آسيب رسان محيطي، تخليه باتري حسگرها، خرابيهاي سخت افزاري، اشكالات نرم افزاري و حملات امنيتي در شبكه، ممكن است ايجاد شود. در شبكه هاي حسگر بيسيم، انواع چالشهاي فني بايد شناسايي شود و واكنش مناسب به هريك از آنها داده شود. استفاده از روشهاي قديمي به منظور پاسخگويي مناسب به چنين چالشهاي پويايي، عمدتا سخت است. يكي از اين راهحلها به منظور رفع چالش ها، استفاده از روشهاي يادگيري تقويتي است. يادگيري كيو يكي از روش- هاي يادگيري تقويتي است كه مبتني بر فرآيندهاي تصميم گيري ماركوف است. فرآيندهاي تصميم گيري ماركوف، يك مدل تصميم گيري در محيط هاي گسسته، تصادفي و متوالي است. ماهيت مدل اين است كه، يك تصميم گيرنده يا عامل در محيطي زندگي مي كند كه حالت خود را به طور تصادفي در پاسخ به انتخابهاي تصميم گيرنده، تغيير ميدهد، هدف عامل اين است كه اقداماتي را انجام دهد تا معيار پاداش خود را به حداكثر برساند. در اين مقاله، از روش يادگيري كيو مبتني بر فرآيندهاي تصميم گيري ماركوف به منظور تشخيص و بازيابي حفرههاي پوشش در شبكه هاي حسگر بيسيم استفاده كرديم. ما روش پيشنهادي خود را با نرم افزار 2NS شبيه سازي كرديم و سپس نتايج شبيه سازي را با روش پايه يادگيري كيو مبتني بر نظريه بازي به منظور تشخيص و بازيابي حفرههاي پوشش در شبكههاي حسگر بيسيم، مقايسه كرديم و نتايج شبيه سازي نشان داد كه روش پيشنهادي ما از نظر ميانگين تعداد حفرههاي ايجاد شده، ميانگين تعداد تصميم گيريهاي اشتباه توسط گرههاي حسگر در حين فرايند يادگيري، ميانگين زمان موردنياز براي بازيابي حفره ها، ميانگين زمان همگرايي، ميانگين مصرف انرژي و در نتيجه طول عمر شبكه، نسبت به روش پايه، بهبود داشته است