Author/Authors :
A. Mousavi، A. Mousavi نويسنده Control and Intelligent Processing Center of Excellence, School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran , , M. Nili Ahmadabadi، M. Nili Ahmadabadi نويسنده Control and Intelligent Processing Center of Excellence, School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran and School of Cognitive Science, Institute for Research in Fundamental Sciences (IPM), Tehran, Iran , , H. Vosoughpour، H. Vosoughpour نويسنده Control and Intelligent Processing Center of Excellence, School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran , , B. N. Araabi، B. N. Araabi نويسنده Control and Intelligent Processing Center of Excellence, School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran and School of Cognitive Science, Institute for Research in Fundamental Sciences (IPM), Tehran, Iran , , N. Zaare، N. Zaare نويسنده Control and Intelligent Processing Center of Excellence, School of Electrical and Computer Engineering, University of Tehran, Tehran, Iran ,
Abstract :
در اين مقاله، ايده فضاي كاركردي و مفاهيم كاركردي به عنوان روشي براي بازنمايي و تجريد دانش در يادگيري تقويتي ارايه شده اند. از اين مفاهيم به عنوان ابزاري براي انتقال دانش در يادگيري تقويتي استفاده شده است. عامل هاي مورد بحث در اين مقاله ناهمسان هستند: به بيان دقيق تر، عامل ها داراي فضاي حسي متفاوت هستند در حالي كه ديناميك، تابع پاداش و فضاي كنش آنها يكسان است. به عبارت ديگر، عامل ها در محيطي يكسان با مجموعه كنش هاي يكسان قرار دارند در حالي كه بازنمايي آنها از محيط متفاوت است. چارچوب يادگيري مورد استفاده يادگيري Q است. هر بُعد فضاي كاركردي با مقدار نرماليزه شده اميد پاداش دريافتي با انجام يك كنش تعريف شده است. مفاهيم كاركردي به شكل نواحي فازي از فضاي كاركردي با استفاده از روشي خوشه بندي تعريف شده اند. اين مفاهيم با اعمال مجدد الگوريتم خوشه بندي در سطح بالاتري تجريد شده و به شكل ساختاري سلسله مراتبي در آمده است. از اين مفاهيم سلسله مراتبي براي انتقال دانش بين عامل ها استفاده شده است. روش پيشنهادي در چند مساله نمونه مورد مطالعه و شبيه سازي قرار گرفته است. نتايج شبيه سازي نشان دهنده موثر بودن رويكرد پيشنهادي براي انتقال دانش، خصوصا در مراحل آغازين يادگيري است.
Abstract :
This article introduces the notions of functional space and concept as a way of knowledge representation and abstraction for Reinforcement Learning agents. These definitions are used as a tool of knowledge transfer among agents. The agents are assumedto be heterogeneous; they have different state spaces but share a same dynamic, reward and action space. In other words, the agents are assumed to have different representations of an environment while having similar actions. The learning framework is $Q$-learning. Each dimension of the functional space is the normalized expected value of an action. An unsupervised clustering approach is used to form the functional concepts as some fuzzy areas in the functional space. The functional concepts are abstracted further in a hierarchy using the clustering approach. The hierarchical concepts are employed for knowledge transfer among agents. Properties of the proposed approach are tested in a set of case studies. The results show that the approach is very effective in transfer learning among heterogeneous agents especially in the beginning episodes of the learning.
