زمان‌بندي آينده‌نگرانه وظايف در محاسبات ابري مبتني بر يادگيري تقويتي

Reinforcement-Learning-based Foresighted Task Scheduling in Cloud Computing

با پيدايش رايانش ابري، كاربران منابع محاسباتي را بر اساس قانون پرداخت در ازاي استفاده از ارائه‌دهندگان سرويس ابري دريافت مي‌كنند. با توجه به محدوديت و پويايي منابع ابري براي اجراي درخواست‌هاي متنوع و متغير با زمان كاربران، نيازمند يك مكانيزم زمان‌بندي مؤثر هستيم كه خود را با شرايط پوياي سيستم وفق داده و بهره‌وري منابع و رضايت كاربران را در بلندمدت تأمين نمايد. الگوريتم‌هاي زمان‌بندي موجود تلاش مي‌كنند با توجه به وضعيت فعلي سيستم، زمان‌بندي بهينه را بيابند كه با توجه به پويايي درخواست‌هاي كاربران و عدم درك صحيح زمان‌بند از محيط لزوماً منجر به دستيابي به نتيجه بهينه در بلند مدت نمي‌گردند و غالباً اين الگوريتم‌ها توانسته‌اند تنها يكي از پارامترهاي كيفيت سرويس را بهبود ببخشند. در ابن مقاله يك روش زمان‌بندي مبتني بر روش يادگيري تقويتي پيشنهاد مي‌شود كه به دليل قابليت تطبيق با محيط و ارائه پاسخ مناسب به درخواست‌هاي متغير با زمان، با تخصيص آينده‌نگرانه وظايف به منابع منجر به افزايش كارايي سيستم در بلندمدت مي‌گردد. نتايج اين مقاله نشان مي‌دهد كه روش پيشنهادي نه تنها منجر به كاهش زمان پاسخ، زمان انتظار و زمان تكميل كار مي‌گردد بلكه نرخ بهره‌وري منابع را هم به عنوان هدف فرعي افزايش مي‌دهد. روش پيشنهادي در محدوده تعداد وظايف بالا، زمان پاسخ را به طور ميانگين حدود 40/52 درصد نسبت به Random، 46/03 نسبت به Mix،43/99 نسبت به FIFO، 43/53 نسبت به Greedy و 68/38 درصد نسبت به Q-sch بهبود ببخشيده است.

With the apperance of cloud computing, users receive computing resources according to pay as you go of cloud service provider. An optimized scheduling approach for mapping all the tasks to the resources is an essential problem due to the limitations and dynamics of resources for requests which vary during the time. This solution may lead to improvement of system's efficiency. There are different methods for cloud computing scheduling with different parameters such as response time, makespan, waiting time, energy consumption, cost, utilization rate, and load balancing. But many of these methods are not suitable for improving scheduling performance in a condition that users requests change during the time. So in this thesis a scheduling method based on reinforcement learning is proposed. Adopting with environment conditions and responding to unsteady requests, reinforcement learning can cause a long-term increase in system's performance. The results show that this proposed method can not only reduce the response time and makespan but also increase resource efficiency as a minor goal. Our proposed illustrates improvements in response time for 49.52%, 46.03%, 43.99%, 43.53% and 38.68% over Random, Mix, FIFO, Greedy and Q-sch algorithms, respectively.