قطعه‌بندي معنايي تصاوير خودروهاي خودران با بهره‌گيري از تكنيك معلم-دانش‌آموز

Semantic Segmentation of Autonomous Vehicles Images with Teacher-Student Technique

قطعه‌بندي معنايي يكي از رايج‌ترين خروجي‌هاي پردازش تصويري براي خودروهاي خودران مجهز به بينايي است. مدل‌هاي مبتني بر يادگيري عميق جهت ياد گرفتن ويژگي‌هاي محيطي جديد و با دامنه متفاوت نيازمند در اختيار داشتن انبوهي از داده هستند. اما فرآيند برچسب‌گذاري دستي اين حجم از داده توسط انسان بسيار زمان‌بر خواهد بود. در حالي كه رويكرد بسياري از مقالات مبتني بر آموزش مدل‌هاي يادگيري عميق با روش نظارتي است، در اين مقاله از روش نيمه نظارتي جهت اعمال قطعه‌بندي معنايي بهره گرفته مي‌شود. به‌طور دقيق‌تر در اين پژوهش، روش معلم- دانش‌آموز جهت برقراري تعامل ميان مدل‌هاي يادگيري عميق به‌ كار گرفته مي‌شود. در ابتدا مدل‌هاي DABNet و ContextNet در جايگاه معلم با استفاده از پايگاه داده BDD100K آموزش داده مي‌شوند. با توجه به اهميت قابليت تعميم پذيري و مقاوم بودن مدل‌هاي مورد استفاده در خودروهاي خودران، اين معيارهاي شبكه‌هاي معلم با شبيه‌سازي در نرم‌افزار CARLA مورد ارزيابي قرار گرفته‌اند. سپس شبكه‌هاي معلم، پايگاه داده Cityscapes را به‌طور كامل و بدون دخالت انسان در فرآيند آموزش با بهره‌گيري از يادگيري نيمه- نظارتي به مدل FastSCNN آموزش داده‌اند. برخلاف ساير رويكردهاي نيمه- نظارتي، وجود دو پايگاه داده با اختلاف دامنه قابل توجه، روش معلم- دانش‌آموز را بيشتر به چالش خواهد كشيد. نتايج نشان مي‌دهد عملكرد مدل دانش‌آموز در كلاس‌هايي نظير خودرو، انسان و جاده كه شناسايي آن‌ها از مهم‌ترين اولويت‌هاي خودرو خودران است به‌ترتيب به ميزان 1/2%، 3% و 3/8% با برچسب‌گذاري دستي اختلاف دارد. همچنين ميانگين دقت مدل دانش‌آموز نيز تنها 4/5% اختلاف عملكرد با مدلي دارد كه آماده‌سازي پايگاه داده آن نيازمند صرف زمان بسيار زياد است.

Semantic segmentation is one of the most common outputs for vision-based autonomous vehicles. Deep neural networks need massive amount of data in order to learn new environment features with different domain. However, mentioned data always take too much time for humans to manually annotate. In this paper, we use teacher-student technique for deep models interaction. First, we train DABNet and ContextNet as teachers with BDD100K database. Also, we seek to analyze the generalization and robustness of teacher networks by evaluation on CARLA simulator. Finally, teacher networks train FastSCNN model automatically using Cityscapes database without any human interference. Results show that student’s performance in classes like vehicles, people and road which are probably the highest priority classes to detect, has only 1.2%, 3% and 3.8% accuracy difference respectively. Also, there is 4.5% drop for model’s mean intersection over unio‎n accuracy between teacher’s performance in comparison to the similar model which is trained on manual annotations.