شناسايي حالت دست در ويدئو با يادگيري عميق

تشخيص حالت دست از روي تصاوير استخراج شده از دوربين نيازمند استفاده از انواع روش‌هاي پردازش تصوير مناسب است تا با بهترين كيفيت حالت دست را تشخيص داد. در اين مقاله مسئله به‌صورت يك مسئله طبقه‌بندي تعريف شده است كه تصاوير حالت دست به‌ عنوان نمونه‌هاي ورودي در سيستم است و شماره حالت‌هاي دست به‌ عنوان خروجي است. هدف اين است كه مدلي را بيابيم كه بتواند به بهترين شكل اين پيش‌بيني را انجام دهد. براي اين كار بايد با استفاده از چندين نمونه آموزشي مدل را آموزش داد و از آن‌ پس با استفاده از مدل به پيش‌بيني طبقه هر ويدئو پرداخت. با توجه به اينكه ابعاد ورودي اين ويدئوها بسيار زياد است بايد مدل ارائه‌ شده بتواند با ابعاد بسيار بالا داده كار كند. ازاين‌رو در اين مقاله از يادگيري عميق جهت خلاصه‌سازي تصاوير و طبقه‌بندي آن‌ها استفاده شده است. بهترين يادگيري عميقي كه براي استفاده در تصاوير و ويدئوها مورد استفاده قرار گرفته است يادگيري شبكه عميق كانولوشني است. نتايج تجربي به دست آمده نيز به‌خوبي اين موضوع كه يادگيري شبكه عميق كانولوشني بهترين روش استخراج ويژگي از تصاوير و طبقه‌بندي آن‌ها است را نشان مي‌دهد. در مجموعه داده كمبريج كه به همين منظور طراحي شده است روش پيشنهادي توانسته است به دقت 25/89 درصد و 50/88 درصد برسد كه تا 3 درصد از بهترين روشها بيشتر است.