تجزيه و تحليل احساسات چند وجهي با استفاده از تكنيك هاي يادگيري انتقال چندگانه تركيبي با به كارگيري شبكه هاي كانولوشني وزن دار تركيبي

تحليل نظرات كاربران شبكه‌هاي اجتماعي در رابطه با موضوعات مختلف مي‌تواند منجر به درك صحيح موقعيت، نگرش و نظر آنها نسبت به اين موضوعات گردد. تجزيه و تحليل احساسات يكي از مسائل در حوزه پردازش زبان طبيعي است و در حوزه‌هاي مختلفي كاربرد دارد. دسته‌اي از نظرات كاربران شبكه‌هاي اجتماعي به صورت چندوجهي و با استفاده از تركيبي از چند رسانه مانند متن، تصوير و صورتك به اشتراك گذاشته مي‌شود كه ساختار مفيدي براي استخراج و درك بهتر احساسات فراهم مي‌كند. در اين مقاله يك روش تركيبي يادگيري انتقال با استفاده از 5 مدل از پيش آموزش ديده شده و شبكه‌هاي كانولوشني تركيبي براي تجزيه و تحليل احساسات چند وجهي ارائه مي‌شود. در اين رويكرد براي استخراج ويژگي‌هاي تصاوير از دو مدل از پيش آموزش ديده مبتني بر شبكه‌هاي كانولوشني، و براي استخراج ويژگي‌هاي متون و تعبيه كلمات از سه مدل از پيش آموزش ديده ديگر استفاده مي‌شود. از ويژگي‌هاي استخراج شده در شبكه‌هاي كانولوشني تركيبي استفاده شده و مكانيزم توجه بصري براي تمركز بر روي مهمترين نواحي احساسي تصاوير و مكانيزم توجه چندراسي براي برجسته‌سازي كلمات داراي احساس به كار گرفته مي‌شود. نتايج حاصل از طبقه‌بندي تصاوير و متون با استفاده از تكنيك راي‌گيري تركيب شده و در نهايت براي تعيين قطبيت و برچسب نهايي از همجوشي ديرهنگام استفاده مي‌شود. نتايج حاصل از آزمايشات تجربي مدل پيشنهادي بر روي مجموعه داده استاندارد، دقت مطلوب 96% را نشان مي‌دهد.