كنترل هوشمند ميكروربات به منظور ناوبري روي سطح سيال و شبيه‌ سازي كاربرد آن براي از بين بردن ميكروپلاستيك‌ها

در سال‌هاي اخير ميكروپلاستيك‌هاي موجود در مواد غذايي و آشاميدني به يك معضل جهاني تبديل شده‌اند. ميكروربات‌هاي مغناطيسي به‌عنوان يك رويكرد نوين در حل اين مشكل، پتانسيل خوبي براي جداسازي و از بين بردن ميكروپلاستيك‌ها نشان داده‌اند. بااين‌حال، هدايت و ناوبري خودكار، هوشمند و دقيق ميكروربات‌ها براي اجراي چنين وظايفي، همچنان يك چالش اصلي محسوب مي‌شود. روش‌هاي مرسوم براي دستيابي به چنين سطحي از كنترل، اغلب به مدل‌سازي‌هاي پيچيده‌اي از ديناميك ميكروربات، محيط و سيستم تحريك نياز دارند. به‌عنوان يك رويكرد جايگزين، در اين پژوهش يك سيستم ‌كنترل مبتني بر الگوريتم‌ يادگيري تقويتي عميق بدون مدل براي كنترل ميكروربات مغناطيسي روي سطح سيال ارائه شد. هدف سيستم، آموزش ميكروربات براي هدايت آن از يك نقطه در محيط واقعي به سمت موقعيت هدف بود تا فرآيند ناوبري به سوي موقعيت ميكروپلاستيك شناور روي سطح سيال شبيه‌سازي شود. براي كنترل موقعيت ميكروربات، يك سيستم تحريك مغناطيسي شامل دو آهنرباي ثابت و يك سيم‌پيچ هلمهولتز تك‌محوره ساخته شد. نتايج آموزش ميكروربات نشان داد كه ميكروربات توانست با دقت و سرعت بالايي به موقعيت هدف برسد. نتايج ارزيابي مدل آموزش‌يافته نيز حاكي از موفقيت ميكروربات در رسيدن به نقطه هدف با ميانگين پاداش 39.02 از 40، و انحراف معيار 0.71 در تمام اپيزودها بود. اين نتايج نشان مي‌دهد كه سيستم كنترل مبتني بر الگوريتم يادگيري بدون داشتن هيچ‌گونه دانش قبلي از ديناميك محيط يا سيستم تحريك، يك سياست بهينه را با استفاده از تعامل با محيط براي هدايت ميكروربات كشف كرد.