تعيين مرز و نوع عبارات نحوي در متون فارسي

واحدسازي، از مهم‌ترين مسايل در پردازش زبان‌هاي طبيعي است كه عبارت از فرآيند تقسيم متن به واحدهاي معنادار نظير واژه، عبارت نحوي، جمله و غيره است. واحدسازي گروه‌هاي نحوي يك متن، از جمله وظايف واحدسازي متن محسوب مي‌شود كه در بسياري از كارهاي پردازش زبان طبيعي، نظير سامانه‌هاي ترجمه ماشيني، استخراج اطّلاعات، پرسش ‌و پاسخ و سامانه‌هاي تبديل متن به گفتار، به‌عنوان پيش‌پردازشي مهم، مي‌تواند حضور داشته باشد. واحدسازي عبارات نحوي، در هر زبان، متناسب با ويژگي‌هاي نوشتاري آن زبان مشكلات و پيچيدگي‌هايي دارد. زبان فارسي به‌دليل وجود رسم‌الخط‌هاي مختلف، جملات بدون ترتيب، افعال مركب، ابهامات معنايي و عدم نمايش مصوت‌ها مشكلاتي دارد. در اين مقاله روشي مبتني بر روش‌هاي آماري و يادگيري و اطلاعات و ويژگي‌هاي دستور زباني جهت تشخيص مرز و نوع گروه‌هاي نحوي در متون فارسيِ فاقد علايم سجاوندي، ارايه شده است كه در آن از روش‌هاي يادگيري ماشين بردار پشتيبان و ميدان تصادفي شرطي استفاده شده است. در روش ارايه‌شده ويژگي‌هاي مختلف زباني مرتبط با زبان فارسي استخراج و براي نخستين‌بار مورد بررسي و استفاده قرار گرفته‌اند. بهترين دقت به‌دست آمده توسط اين سامانه، 02/84% بر اساس معيار F و 45/87%، بر اساس تعداد برچسب‌هاي صحيح به كل در تعيين مرز، و 04/78%، در تعيين مرز و نوع به صورت توام، بوده است.