دسته‌بندي و حاشيه‌نويسي همزمان تصوير با استفاده از مدل‌هاي احتمالاتي موضوع و كدگذاري LLC كلمات بصري

تا‌كنون تلاش‌هاي زيادي به منظور استفاده از مدل‌هاي موضوعي نظير مدل احتمالاتي LDA جهت دسته‌بندي و حاشيه‌نويسي همزمان تصاوير صورت گرفته ‌است. اخيراً مدل‌هاي موضوع ديگري بر مبناي شبكه‌هاي عصبي احتمالاتي نظير SupDocNADE معرفي شده‌اند كه نتايج خوبي در مدل‌كردن داده‌هاي چند‌مقداري ارائه ‌داده‌اند. در اين مدل‌ها كلمات حاشيه‌نويسي نيز در كنار كلمات بصري تعبيه شده‌ و به عنوان بردار ويژگي براي شبكه در‌ نظر گرفته مي‌شود. عدم‌تعادل در تعداد كلمات بصري و حاشيه‌نويسي سبب مي‌شود تا سهم كلمات حاشيه‌نويسي براي بازنمايي در لايه پنهان شبكه‌عصبي مورد استفاده در اين مدل، بسيار كمتر از كلمات بصري باشد. براي حل اين مشكل در اين مقاله، كلمات حاشيه‌نويسي در هيستوگرام بردار ويژگي وزن‌دهي مي‌شوند. با افزودن قابليت وزن‌دهي ورودي‌ها مي‌توان از كدگذار LLC كه چندين كلمه مشابه در فرهنگ لغت را بصورت وزن‌دار در ساخت بردار ويژگي دخيل مي‌كند، براي توليد كلمات بصري استفاده نمود. با آزمايش مدل پيشنهادي بر روي پايگاه داده‌هاي UIUC_Sports و LabelMe، بهبود 5 درصدي در معيار F در كلمات حاشيه‌نويسي و بهبود 1 درصدي در دقت دسته‌بندي نسبت به مدل‌هاي موجود مشاهده مي‌شود.