تلفيق مباني فازي و يادگيري تقويتي در كنترل سيستم‌هاي ديناميكي

Combining the principles of fuzzy logic and reinforcement learning for control of dynamic systems

یادگیری تقویتی، روشی است كه در آن عامل یا عاملان باتوجه به یك‌سری پاداش‌های مثبت و یا منفی، یك عمل بهینه را انجام می‌دهند. این روش، زمانی كارایی بسیار بالایی خواهد داشت كه مدل سیستم به‌صورت طبیعی موجود نباشد و یا به‌دست آوردن آن موجب زحمت فراوان گردد. در این صورت می‌توان، آن را جایگزین مناسبی برای منطق‌های كنترلی دیگر دانست. یكی از معایب اساسی این روش، استفاده از عمل‌های گسسته در حین انجام آن می‌باشد. این در حالی است كه خیلی از سیستم‌های دینامیكی با چنین رویكردی، عملكرد بهینه‌ای نخواهند داشت. برای جبران این نقیصه، رویكردهای متفاوتی از جمله تقریب مقادیر ظهور پیدا می¬كنند. در این مقاله از منطق فازی برای پیوسته كردن عمل‌های بهینه استفاده شده است. در این حالت، سیستم یادگیری تقویتی، قوانین بین كنترل‌كنندۀ فازی را در جهت نیل به بهینه‌ترین عمل تنظیم می‌نماید و به این ترتیب می¬تواند عمل‌های پیوسته‌ای را تولید نماید. به این منظور مدل یك آونگ معكوس در سیم مكانیكس در نظر گرفته شده است كه توسط كنترل‌كننده طراحی شده است و حركت آن در دو حالت كنترل زاویۀ آونگ و كنترل كامل آونگ و ارابه مورد بررسی قرار می¬گیرد. نتایج به‌دست آمده نشان می¬دهند، هوش مصنوعی به‌كار گرفته شده به‌جای انتخاب قوانین موجود، می¬تواند كارایی بالاتری در كنترل سیستم¬های دینامیكی داشته باشد.

Reinforcement learning is a method in which agent/agents obtain a positive or negative reward to do an efficient operation. In this way, the performance will be very suitable for the systems which are naturally complicated for deriving the differential equations. This can be a good alternative to other control areas. One of the main disadvantages of this method is considering the discrete actions during it. However, many of dynamical systems couldn 't be optimized by this approach. To remedy this deficiency, different approaches have emerged, including approximate methods. In this paper, fuzzy logic is used to continually optimize the operations. In this case, the reinforcement learning method sets the fuzzy control rules which are the principles of optimal control. Two approaches, stabilizing the pendulum and both of pendulum and cart are considered to control the pole- cart problem in this paper. The results show that the applied artificial intelligence can be used as a proper solution for the taken policy.