مروري بر پژوهش‌هاي لب‌خواني خودكار:دادگان و روش‌ها

A review of researches on automatic lipreading: databases and methods

لب‌خواني يا فرآيند بازشناسي ديداري گفتار روش تشخيص گفتار از روي حركات لب گوينده است. در سال‌هاي اخير علاقه به لب‌خواني خودكار رو به افزايش بوده و تحقيقات بسياري در اين زمينه انجام شده است و همچنان به عنوان يك موضوع تحقيقي پيشرو مطرح است. در اين مقاله مروري بر تحقيقات انجام شده در زمينه لب‌خواني خودكار ارائه شده است. فهرستي از پايگاه داده‌هاي مورد استفاده با در نظر گرفتن خصوصياتي نظير تعداد گوينده، محتواي گفتار و كيفيت تصاوير ارائه شده است. در اين مقاله، تحقيقات متنوع لب‌خواني در زمينه تشخيص اعداد، حروف، كلمات و جملات و روش‌هاي سنتي استخراج ويژگي و دسته‌‌بندي تا روش‌هاي جديد مبتني بر يادگيري عميق مرور شده‌اند. بعلاوه فعاليت‌هاي لب‌خواني زبان فارسي شامل پايگاه داده‌هاي فراهم شده و تحقيقات مرتبط با جامعيت بيشتر معرفي شده است.

7Lip-reading or the process of visual recognition of speech is a way to distinguish speech from the movements of the speaker's lips. In recent years, the interest in automatic lip-reading has been increasing and a lot of researches have been done in this field and it is still a leading research topic. This paper provides an overview of researches in automatic lip-reading. A list of used databases in the researches is provided with specifications such as number of speakers, speech content and image quality. In this article, various lip-reading researches are reviewed from recognizing numbers, letters, words and sentences, and traditional methods of feature extraction and classification to the new methods based on deep learning. In addition, Persian lip-reading activities include provided databases and related researches are introduced more comprehensively.