بهبود يادگيري تقويتي عميق با برنامه درسي در فضاي بازي

Improvement of Deep Reinforcement Learning Using Curriculum in Game Environment

مقدمه: يادگيري تقويتي عميق با برنامه درسي (Curriculum learning)، شيوه‌اي از آموزش عامل هوشمند است كه ابتدا عمل‌هاي ساده و سپس عمل‌هاي سخت به عامل آموزش داده مي‌شود تا عامل هوشمند بتواند عمل‌هاي پيچيده در فضاي گسترده بازي را بهتر آموزش ببيند. مواد و روش‌ها: در مطالعه حاضر، از يادگيري تقويتي عميق با برنامه درسي براي آموزش عامل هوشمند در فضاي بازي غار اژدها استفاده گرديد. آموزش برنامه درسي از فعاليت‌هاي ساده شروع شد و به تدريج به فعاليت‌هاي سخت‌تر رسيد. به كمك بهينه‌سازي نزديك خط‌مشي، عوامل هوشمند در محيط‌هاي متفاوت يكي در محيطي با برنامه درسي و ديگري در محيط بدون برنامه درسي آموزش داده شد. سپس هر دو در محيطي يكسان شروع به بازي كردند. نتايج: يافته‌ها حاكي از بهبود كيفيت عامل هوشمند با برنامه درسي نسبت به عامل هوشمند يادگيري تقويتي عميق بدون برنامه درسي بود. نتيجه‌گيري: استفاده از يادگيري تقويتي با برنامه درسي، باعث افزايش سرعت و كيفيت آموزش عامل هوشمند در محيط‌هاي بازي پيچيده بازي‌هاي استراتژيك مي‌شود.

Introduction: Training deep curriculum learning is a kind of smart agent training in which, first the simple acts, and then, the difficult acts are trained to smart agent. In this study, we proposed a new framework for training deep curriculum learning to defense-based game in particular Dragon Cave. Materials and Methods: Deep reinforcement learning approach with curriculum learning was used to train an intelligent agent in the game Dragon Cave. Curriculum learning paradigm started from simple tasks, and then gradually tried harder ones. Using Proximal Policy Optimization, the intelligent agents were trained in various environments, once in a curriculum-learning environment, and once in an environment without curriculum learning. Then, they started the game in the same environment. Results: The improvement of the agent was observed with deep curriculum reinforcement learning. Conclusion: It seems that the deep curriculum reinforcement learning increases the rate and the quality of intelligent agent training in complex environment of strategic games.