ارائه الگوريتم‌ يادگيري انتقالي براي بهبود سرعت و صحت همگرايي در اتوماتاي يادگير سلولي

A Transfer Learning Algorithm to Improve the Convergence Rate and Accuracy in Cellular Learning Automata

اتوماتاي يادگير سلولي، يك مدل هوشمند به صورت آميزه‌اي از اتوماتاي سلولي و اتوماتاي يادگير است. پايين‌بودن سرعت همگرايي در اتوماتاي يادگير سلولي يكي از چالش‌هاي اساسي به شمار مي‌رود. در اين مطالعه، الگوريتم گسترش‌يافته‌اي از اتوماتاي يادگير سلولي مبتني بر يادگيري انتقالي به نام TL-CLA پيشنهاد مي‌گردد كه از يادگيري انتقالي به عنوان راهكاري براي كاهش محاسبات و كمينه‌سازي چرخه يادگيري بهره مي‌‌گيرد. مدل گسترش‌يافته پيشنهادي بر اساس تابع شايستگي و بردار نگرش براي انتقال يادگيري طراحي شده است. در الگوريتم TL-CLA، ابتدا مقدار تابع شايستگي بر اساس محيط محلي و مقدار بردار نگرش بر مبناي محيط سراسري اتوماتا محاسبه مي‌شود. زماني كه اين دو معيار حد آستانه مقرر را كسب كنند، انتقال بردار احتمالات اقدام¬ها سبب انتقال يادگيري از اتوماتاي يادگير سلولي منبع به اتوماتاي يادگير سلولي مقصد مي‌شود. نتايج آزمايش‌ها نشان مي‌دهند كه مدل پيشنهادي TL-CLA در محيط‌هاي عملياتي استاندارد با دو اقدام و چند اقدام، به طور ميانگين، به ترتيب به اندازه 2/7% و 2/2% از نظر صحت همگرايي افزايش يافته است. نرخ همگرايي نيز به طور ميانگين، به ترتيب 8% و 2% بهبود داشته است. اتوماتاي يادگير سلولي TL-CLA پيشنهادي در انتقال دانش حاصل از يادگيري يك وظيفه براي وظيفه‌اي مشابه كاربرد دارد.

Cellular learning automaton is an intelligent model as a composition of cellular automaton and learning automaton. In this study, an extended algorithm of cellular learning automata is proposed based on transfer learning as the TL-CLA algorithm. In this algorithm, transfer learning is used as an approach for computation deduction and minimizing the learning cycle. The proposed algorithm is an extended model based on merit function and attitude vector for transfer learning. In the TL-CLA algorithm, the value of the merit function is computed based on the local environment, and the value of the attitude vector is calculated based on the global environment. When these two measures get the threshold values, the transfer of action probabilities causes the transfer learning from the source CLA to the destination CLA. The experimental results show that the proposed TL-CLA model leads to increment the convergence accuracy as 2.7% and 2.2% in two actions and multi-action standard environments, respectively. The improvements in convergence rate are also 8% and 2% in these two environments. The TL-CLA could be applied in knowledge transfer from learning one task to learning another similar task