احتمالات آگاه به محتوا براي قطعه بندي معنايي تصوير

قطعه‌بندي معنايي تصوير مبتني بر شبكه‌هاي عصبي عميق، از رويكردهاي مهم محققان بينايي ماشين مي باشد. در روش هاي مبتني بر شبكه‌هاي عصبي عميق، بطور كلي از يك شبكهپايه كه براي كاربرد شناسايي تصوير، آموزش ديده است، بمنظور استخراج ويژگي از تصوير استفاده مي‌شود. از آنجا كه ابعاد ويژگي‌هاي خروجي از اين شبكه‌هايپايه، كوچكتر از تصوير ورودي‌ مي‌باشد، لذا با اضافه كردن چندين لايه پيچشي به انتهاي اين شبكه‌هايپايه، ابعاد ويژگي‌هاي خروجي از اين شبكه‌ها را به اندازه ابعاد تصوير وروي ميرسانند. استفاده از ويژگي‌هاي‌ محلي خروجي از شبكه‌هايپايه، بدون در نظر گرفتن ارتباط كلي بين اين ويژگي‌هاي محلي، منجر به قطعه‌بندي ضعيف و ناهموار مي‌شود. بر اين اساس، در اين تحقيق واحدي با نام واحد احتمالات آگاه به محتوا پيشنهاد مي‌شود. اين واحد با كمك ويژگي‌هاي محلي خروجي از شبكه‌هايپايه، بردار احتمال حضور كلاس‌هاي مختلف را در تصوير توليد مي‌كند. واحد پيشنهادي را مي‌توان در معماري‌هاي مختلف قطعه‌بندي معنايي تصوير قرار داد. در اين تحقيق، با اضافه كردن واحد پيشنهادي CAP به معماريهاي پايه FCN و DeepLabv3plus، به ترتيب معماريهاي FCNCAP و DeepLabv3plusCAP پيشنهاد شده است. بمنظور آموزش معماريهاي پيشنهادي از دادگان PASCAL VOC2012 استفاده شده است. نتايج آزمايش‌ها نشان مي دهد كه معماريهاي پيشنهادي نسبت به معماريهاي پايه مربوطه، به ترتيب 9/1درصد و 4/0درصد بهبود دقت (mIoU) دارد.