بازشناسي كنش انسان از روي تصوير ايستا با استفاده از ژست انسان در شبكه چندشاخه

امروزه بازشناسي كنش انسان از روي تصوير ايستا به يكي از موضوعات فعال در زمينه بينايي ماشين و شناسايي الگو تبديل شده است. تمركز اين كار بر روي شناسايي كنش يا رفتار انسان از روي يك تصوير است. برخلاف روش‌هاي سنتي كه از ويدئوها يا دنباله‌اي از تصاوير براي بازشناسي كنش انسان استفاده مي‌كنند، يك تصوير ايستا فاقد اطلاعات زماني است. بنابراين بازشناسي كنش مبتني بر تصوير ايستا داراي چالش بيشتري نسبت به بازشناسي كنش مبتني بر ويدئو است. با توجه به اهميت اطلاعات حركتي در بازشناسي كنش از روش flow2Im براي تخمين اطلاعات حركتي از روي تصوير ايستا استفاده شده است. ساختار پيشنهادي در اين مقاله، حاصل تركيب سه شبكه عصبي عميق است كه تحت عنوان شبكه سه‌شاخه ياد شده است. شبكه اول بر روي تصوير خام رنگي و شبكه دوم بر روي شار نوري پيش‌بيني شده از روي تصوير و شبكه سوم بر روي ژست به دست آمده از انسان موجود در تصوير آموزش مي‌بيند. در نهايت تلفيق اين سه شبكه عصبي عميق سبب افزايش دقت بازشناسي كنش انسان شده است. به عبارت ديگر در اين مقاله علاوه بر اطلاعات مكاني و زماني پيش‌بيني شده از اطلاعات ژست انسان نيز براي بازشناسي كنش استفاده شده است زيرا ويژگي ژست براي بازشناسي كنش بسيار حائز اهميت است. روش پيشنهادي در اين مقاله توانسته است به دقت 80/91 درصد بر روي مجموعه داده action 7Willow، به دقت 02/91 درصد بر روي مجموعه داده 2012Pascal voc و به دقت 87/96 درصد بر روي مجموعه داده 10Stanford دست يابد. با توجه به مقايسه نتايج با روش‌هاي قبلي متوجه خواهيم شد كه روش پيشنهادي بالاترين دقت را بر روي هر سه مجموعه داده نسبت به كارهاي اخير به دست آورده است.