تنظيم خودكار سختي بازي‌هاي توان‌بخشي با استفاده از روش يادگيري تقويتي چندتناوبي (ياقوت)

Dynamic Difficulty Adjustment of Rehabilitation Games using Reinforcement Learning

تحقيقات نشان داده است كه طراحي فعاليت‌هاي توان‌بخشي در قالب بازي‌هاي جدي مي‌تواند منجر به انگيزش بيش‌تر در بيماران شود. درجه سختي چنين بازي‌هايي معمولاً به‌صورت دستي توسط درمانگر تنظيم مي‌شود. اين در حالي است كه بازي‌هاي توان‌بخشي خانگي نياز به تنظيم خودكار درجه سختي متناسب با مهارت‌هاي بيماران دارند. اين مقاله روشي براي تنظيم درجه سختي بازي‌هاي توان‌بخشي ارائه مي‌كند كه در آن سختي بازي به‌صورت خودكار و بر اساس مهارت‌هاي حركتي بيماران و در حين انجام بازي تعيين مي‌شود. اين تحقيق نشان مي‌دهد كه تنظيم سختي بازي يك مسئله چندهدفي است كه در آن اهداف مختلف ممكن است در دوره‌هاي تناوبي متفاوتي بررسي شوند. بدين منظور روشي تحت عنوان يادگيري تقويتي چند تناوبي (ياقوت) ارائه شده است كه امكان ارزيابي اهداف مختلف را در دوره‌هاي تناوبي متفاوت فراهم مي‌كند. نتايج آزمايش‌هاي انجام‌شده بر روي اين سامانه حاكي از موفقيت قابل‌توجه آن در برآورده كردن معيارهاي رضايت كاربران و همچنين بهبود مهارت‌هاي حركت دست در مقايسه با روش‌هاي معمول يادگيري تقويتي است.

Research has shown that the design of a rehabilitation task as a therapeutic game can result in a motivating rehabilitation environment. Generally, the difficulty level of a therapeutic game is regulated manually by a therapist. However, home-based rehabilitation games require a technique for automatic difficulty adjustment. This paper proposes a personalized difficulty adjustment technique for a rehabilitation game that automatically regulates difficulty settings based on a patient’s skills in real-time. To this end, ideas from reinforcement learning are used to dynamically adjust the difficulty of a game. We show that difficulty adjustment is a multiple-objective problem, in which some objectives might be evaluated at different periods. To address this problem, we propose and use Multiple-Periodic Reinforcement Learning that makes it possible to evaluate different objectives of difficulty adjustment in separate periods. The results of experiments show that this technique outperforms traditional Multiple-Objective Reinforcement Learning in terms of user satisfaction parameters.