روشي نوين براي يادگيري تقويتي فازيِ باناظر براي ناوبري ربات

A Novel Supervised Fuzzy Reinforcement Learning for Robot Navigation

: استفاده از يادگيری باناظر در ناوبری ربات های متحرك، با چالش های جدی از قبيل ناسازگاری و اختلال در داده ها، مشكل جمع آوری نمودن داده آموزش و خطای زياد در داده های آموزشی مواجه می باشد. قابليت های يادگيری تقويتی همچون عدم نياز به داده آموزشی و آموزش تنها با استفاده از يك معيار اسكالر راندمان باعث كاربرد آن در ناوبری ربات شده است. از طرفی يادگيری تقويتی زمانبر بوده و دارای نرخ شكست های بالا در مرحله آموزش می باشد. در اين  مقاله، يك ايده جديد برای استفاده مؤثّر از هر دو الگوريتم يادگيری فوق ارائه می‌شود. يك كنترلگر فازی سوگنو مرتبه صفر با تعدادی عمل كانديد برای هر قاعده جهت توليد فرمان های كنترل ربات در نظر گرفته شده است. هدف از آموزش تعيين عمل مناسب برای هر قاعده است. روش تركيبی پيشنهاد شده دو مرحله دارد. در مرحله اول، داده آموزشی با حركت ربات توسط ناظر در محيط جمع آوری می شود. سپس با بهره گيری از روش جديد ارائه شده، پارامترهای ارزشِ هر عمل كانديد در قواعد فازی با كمك داده‌های آموزشی مقدار دهی اوليه می‌شوند. در مرحله دوم از الگوريتم سارسای فازی برای تنظيم دقيق‌تر پارامترهای تالی كنترلگر بصورت برخط استفاده می شود. نتايج شبيه سازی در شبيه‌ساز KiKS برای ربات خپرا حاكی از بهبود قابل توجه در زمان يادگيری، تعداد شكست ها، و كيفيت حركت ربات می‌باشد.

Applying supervised learning in robot navigation encounters serious challenges such as inconsistence and noisy data, difficulty to gathering training data, and high error in training data. Reinforcement Learning (RL) capabilities such as lack of need to training data, training using only a scalar evaluation of efficiency and high degree of exploration have encourage researcher to use it in robot navigation problem. However, RL algorithms are time consuming also have high failure rate in the training phase. Here, a novel idea for utilizing advantages of both above supervised and reinforcement learning algorithms is proposed. A zero order Takagi-Sugeno (T-S) fuzzy controller with some candidate actions for each rule is considered as robot controller. The aim of training is to find appropriate action for each rule. This structure is compatible with Fuzzy Sarsa Learning (FSL) which is used as a continuous RL algorithm. In the first step, the robot is moved in the environment by a supervisor and the training data is gathered. As a hard tuning, the training data is used for initializing the value of each candidate action in the fuzzy rules. Afterwards, FSL fine-tunes the parameters of conclusion parts of the fuzzy controller online. The simulation results in KiKS simulator show that the proposed approach significantly improves the learning time, the number of failures, and the quality of the robot motion.