برچسب‌گذاري تصوير بر ‌مبناي نواحي مهم با استفاده از شبكه‌هاي كانوولوشن عميق

قابليت توليد برچسبِ متني براي تصاوير، كاري چالش‌برانگيز و درعين‌حال پر كاربرد است. از كاربردهاي برچسب‌گذاري خودكار مي‌توان به ساخت ابزارهايي براي بازيابي بهتر تصاوير با استفاده از فهم معنايي محتواي و كمك به افرادي كه در سيستم بينايي خود دچار معلوليت هستند اشاره كرد. در اين مقاله يك سيستم جامع و يكپارچه براي برچسب‌گذاري خودكار تصاوير معرفي شده است كه با استخراج ناحيه‌هاي مهم تصوير، به ازاي هر ناحيه برچسبي كه شامل يك كلمه، عبارت يا جمله است را به نواحي نسبت مي‌دهد. يك مدل Inception مانده‌اي براي استخراج ويژگي‌هاي تصوير معرفي‌شده است كه علاوه بر تعداد پارامتر كمتر، داراي عمق و دقت بيشتر نسبت به مدل‌هاي پيشين همچون VGG است. مدل پيشنهاد شده قابليت يادگيري در يك مرحله گذر رو به جلو را دارد. بانك داده استفاده شده جهت ارزيابي روش پيشنهادي Visual Genome مي باشد.