تشخيص ديداري- شنيداري حروف صدا دار فارسي

در این مقاله به منظور بهبود سیستم های تشخیص گفتار بویژه در محیط های نویزی از اطلاعات سیگنال گفتار و تصویر لب بطور همزمان استفاده شده است. بدین منظور تصویر لب بوسیله ی الگوی دودویی محلی ناحیه بندی شده و ویژگی های مناسب از تصویر لب استخراج شده است. این ویژگی ها با ویژگی های استخراج شده از سیگنال گفتار تركیب شده و بردار ویژگی را تشكیل می دهند. سپس توسط یك الگوریتم انتخاب ویژگی دو مرحله ای ویژگی های نویزی حذف شده و بردار ویژگی نهایی شكل می گیرد. در انتها شش حرف صدادار فارسی بوسیله الگوریتم كلاسه بند از یكدیگر تفكیك می شوند. نتایج حاكی از كارآمد بودن روش پیشنهادی بویژه در محیط های نویزی می باشد. متوسط نرخ تشخیص برای سیگنال بدون نویز 94.2% و برای سیگنال به نویز چهار برابر %87.5 محاسبه شده است.