ادغام تصاوير مادون قرمز و مرئي با استفاده از معماري چندمقياسي عميق

ادغام تصوير يك تكنيك مهم در پردازش تصوير با هدف توليد يك تصوير واحد حاوي ويژگي‌هاي برجسته و اطلاعات تكميلي از تصاوير منبع، با استفاده از روش‌هاي استخراج ويژگي مناسب و استراتژي‌هاي ادغام است. در سال‌هاي اخير، روش‌هاي مبتني‌بر يادگيري عميق، پتانسيل بسيار زيادي را در كاربردهاي ادغام تصوير نشان داده‌اند و پژوهشگران متعددي در تلاش هستند، با استفاده از روش‌هاي يادگيري عميق، كيفيت مطلوب‌تري از تصوير ادغام‌شده را ارائه كنند. در اين پژوهش، شبكه عصبي پيچشي چندمقياسي، جهت ادغام تصاوير مرئي و مادون‌قرمز به نام، MSCNN-VIF پيشنهاد شده است كه در آن، ويژگي‌ها و اطلاعات مختلف موجود در تصاوير، با استفاده بلوك‌هاي پيچشي ادغام مي‌شود. علاوه‌براين، مدل پيشنهادي، شامل معماري چندمقياسي(MS)، براي اسكن بهتر قسمت‌هاي مختلف تصوير است كه هدف اصلي آن‌ها بهبود عملكرد سامانه ادغام تصوير پيشنهادي است. به‌ طوركلي، مدل پيشنهادي، از يك رمزگذار و يك رمزگشا تشكيل شده است و شامل سه بخش اصلي: استخراج ويژگي، ادغام و بازسازي تصوير مرئي و تصوير مادون قرمز است. در اين روش، تصاوير مادون قرمز و مرئي به رمزگذار داده‌ مي‌شود و نگاشت‌هاي پس‌زمينه و جزئيات نگاشت‌هاي ويژگي توليد مي‌گردد. سپس، شبكه دو نوع لايه را در امتداد كانال‌ها به هم متصل مي-كند. در نهايت، نگاشت‌هاي ويژگي به هم پيوسته از رمزگشا عبور مي‌كنند تا تصوير اصلي بازيابي شود. متفاوت از مرحله آموزش، در مرحله آزمايش، يك لايه ادغام قرار مي‌گيرد كه نگاشت‌هاي پس‌زمينه و ويژگي‌هاي جزئيات را به طور جداگانه ادغام مي‌كند. همچنين، روش‌ پيشنهادي برروي سه پايگاه‌داده‌ شناخته شده و در دسترس، آزمايش شده است. نتايج به‌دست آمده نشان مي‌دهد كه روش‌ پيشنهادي عملكرد بهتري براساس معيارهاي ارزيابي مختلف، نسبت به روش‌هاي ديگر از خود نشان داده است.