شبكه عصبي عميق براي پيش‌بيني تعامل انسان در ويدئو با استفاده از روابط فازي و شار نوري

پيش‌بيني تعامل در ويدئو يكي از موضوعات فعال در بينايي كامپيوتر است، كه هدف آن پيش‌بيني تعامل قبل از انجام كامل آن است. اين موضوع به دليل چالش‌هاي موجود در اين زمينه هنوز مورد توجه است. در اين مقاله يك شبكه عصبي عميق براي پيش‌بيني تعامل با استفاده از روابط فازي و شار نوري ارائه‌شده است. نوآوري اين روش ايجاد دو تصوير فازي از يك ويدئو است. اين تصاوير فازي بر مبناي گراديان و شار نوري ايجاد مي‌شود. توابع عضويت فازي مناسب براي روابط مكاني بين افراد در حال تعامل در تصاوير گراديان و شار نوري ايجاد شده است. از طرفي يك تابع عضويت فاصله براي ارزش‌دهي به فريم‌ها و يك تابع عضويت فاصله براي ارزش‌دهي به ناحيه‌ي بين افراد در حال تعامل تعريف شده است. سپس ويژگي‌هاي مناسب مكانيزماني از اين تصاوير با استفاده از معماري شبكه عصبي كانولوشن استخراج‌شده است. نتايج اين روش بر روي دو مجموعه داده استاندارد تشخيص تعامل، BIT و UT ارزيابي شده است. نتايج نشان مي‌دهد ايجاد تصاوير فازي و استخراج ويژگي‌هاي عميق از آن تصاوير باعث افزايش دقت پيش‌بيني تعامل نسبت به روش‌هاي پيشين شده است.