A Q-learning Based Continuous Tuning of Fuzzy Wall Tracking without Exploration

در اين مقاله الگوريتمي ساده و كارآمد به منظور پياده سازي رفتار تعقيب ديوار توسط ربات پيشنهاد شده است. ربات بايستي در محيط هاي ناشناخته حركت كند، نزديكترين ديوار را بيابد و آن را تنها بر پايه ي داده هاي حس شده ي محلي تعقيب كند. الگوريتم پيشنهادي از مزاياي تركيب منطق فازي و يادگيري Q براي تامين نيازهاي هدايت خودمختار بهره مي گيرد. ربات اطلاعات به دست آمده از جهان پيرامون را به مجموعه اي از حالت هاي فازي خلاصه مي كند. براي هر حالت فازي تعدادي عمل پيشنهادي وجود دارند. حالت ها توسط قوانين اگر-آنگاه فازي، كه با منطق انسان طرح شده اند، به عمل هاي نظيرشان مربوط مي شوند. براي هر حالت، ربات بهترين عمل را با يادگيري Q و از طريق تجربيات برخط انتخاب مي كند. هدف طراحي الگوريتم تعقيب ديواري است كه بتواند خود را به طور كارآمد با شكل هاي مختلف ديوار در محيط هاي كاملا ناشناخته تطبيق دهد. يادگيري Q بدون مرحله اكتشافي به كار گرفته شده است، بدين معني كه محيط يادگيري وجود ندارد. نتايج آزمايشات روي ربات كپرا شبيه سازي شده كارآمد بودن روش پيشنهادي را در برخورد با شكل هاي مختلف ديوارها، از حالت ساده ي خط مستقيم گرفته تا حالات پيچيده ي مقعر، محدب و چندضلعي، تاييد مي نمايند. ربات به طور موفق ديوارها را تعقيب مي نمايد در حاليكه در محدوده تعيين شده باقي مي ماند.

A simple and easy to implement is proposed to address wall tracking task of an autonomous robot. The robot should navigate in unknown environments, find the nearest wall, and track it solely based on locally sensed data. The proposed method benefits from coupling fuzzy logic and Q-learning to meet requirements of autonomous navigations. The robot summerizes the obtained information from the world into a set of fuzzy states. For each fuzzy state, there are some suggested actions. States are related to their corresponding actions via simple fuzzy if-then rules, designed by human reasoning. The robot selects the most encouraged action for each state by Q-learning and through online experiences. The objective is to design a wall tracking algorithm which can efficiently adapt itself to different wall shapes in completely unknown environments. Q-learning is applied without any exploration phase, i.e. no training environment is considered. Experimental results on simulated Khepera robot validate that the proposed method efficiently deals with various wall contours from simple straight shape to complex concave, convex, or polygon shapes. The robot successfully keeps track of walls while staying within predefined margins..