بازشناسي كلمات پوياي مجزاي زبان اشارۀ فارسي با استفاده از حسگر كينكت

در اين مقاله روشي براي بازشناسي زبان اشارۀ فارسي با استفاده از اطلاعات اسكلتي و فريم‌هاي عمق بدست‌آمده از حسگر كينكت ارائه مي‌شود. ويژگي‌هاي استخراج‌شده شامل ويژگي‌هاي مربوط به نوع حركت دست و ويژگي‌هاي مربوط به شكل دست مي‌باشند. ابتدا با استفاده از مدل مخفي ماركوف (HMM)، اشاراتي كه ويژگي‌هاي حركتي مشابه با اشارۀ آزمون دارند انتخاب و سپس در مرحلۀ بعد ازميان اشارات انتخاب‌شده و با استفاده از طبقه‌بند ماشين بردار پشتيبان (SVM)، اشاره‌اي كه از لحاظ شكل دست به اشارۀ آزمون مشابه‌تر است انتخاب مي‏گردد. در روش ارائه شده محدوديت هاي ناشي از هم‌پوشاني دو دست و هم‌پوشاني دست و صورت برطرف شده، و نيازي به اعمال محدوديت-هايي نظير پوشيدن لباس آستين‌بلند ، پوشيدن لباس با رنگ متفاوت با پوست، پس‌زمينۀ ثابت و متفاوت با رنگ پوست و ثابت بودن روشنايي محيط نيست. استفاده از روش ارائه‌شده در شرايط طبيعي و بدون اعمال محدوديت نشان-مي‌دهد كه اين روش قادر است با دقت متوسط 97.25% ، كلمات پوياي مجزاي زبان اشارۀ فارسي را در پايگاه داده‏اي متشكل از سي كلمۀ پويا طبقه‏بندي نمايد.