شباهت يابي بين زباني جملات فارسي-انگليسي با استفاده از يادگيري عميق

شباهت‌يابي معنايي متون يكي از زيرشاخه‌هاي پردازش زبان طبيعي محسوب مي‌شود كه در چند سال اخير تحقيقات گسترده‌اي را به خود معطوف كرده است. سنجش تشابه معنايي بين كلمات يا اصطلاحات، جملات، پاراگراف و اسناد، نقش مهمي در پردازش زبان طبيعي و زبان‌شناسي رايانشي ايفا مي‌كند. شباهت‌يابي معنايي متون در سامانه‌هاي پرسش و پاسخ، كشف تقلب، ترجمه ماشيني، بازيابي اطلاعات و نظير آن كاربرد دارد. منظور از شباهت‌يابي معنايي، محاسبه ميزان شباهت معنايي بين دو سند متني، پاراگراف يا جمله مي‌باشد كه به دو صورت تك‌زبانه و چندزبانه مطرح است. در اين مقاله با استفاد از پيكره موازي ميزان، براي اولين بار مدل بين زباني شباهت معنايي جملات فارسي-انگليسي را ارائه داده و در ادامه مدل خود را با مدل برت چندزبانه مورد آزمون و مقايسه قرار داديم. نتايج حاكي از آن است كه با استفاده از پيكره‌هاي موازي مي‌توان كيفيت تعبيه جملات را در دو زبان مختلف بهبود بخشيد. در روش پيشنهادي، معيار همبستگي پيرسون بر اساس شباهت كسينوسي بين بردارهاي معنايي حاصل از برت چندزبانه از 65 درصد به 73.77 درصد افزايش يافته است. روش پيشنهادي بر جفت زبان عربي-انگليسي نيز مورد آزمون قرار گرفت كه نتايج حاصله بيانگر برتري روش پيشنهادي نسبت به برت چند زبانه است.