يادگيري نمايش ساختاريافته از طريق يادگيري تقويتي و شبكه‌هاي با حافظه بلندمدت-كوتاه مدت

Learning structured representation via reinforcement learning and long-short term memory networks

مدل‌هاي طبقه‌بندي متن براي دسته‌بندي متون در گروه‌هاي سازمان‌يافته استفاده مي‌شوند. محتواي اين متون توسط مدل‌هاي يادگيري ماشين آناليز شده و بر همين اساس برچسب‌گذاري مي‌شوند. يادگيري نمايش يكي از مسائل مهم در حوزه پردازش زبان طبيعي مي‌باشد كه تاثير زيادي در طبقه‌بندي متن دارد. برخلاف روش‌هاي قبلي كه ساختار خاصي استفاده نمي‌كنند، در اين مقاله به منظور يادگيري نمايش ساختاريافته، يك روش جديدي مبتني بر يادگيري تقويتي پيشنهاد مي‌شود كه هدف آن شناسايي ساختارهاي مناسب و مرتبط با تسك است. در روش پيشنهادي از مدل‎‌هاي ID-LSTM، HS-LSTM و تركيبي از اين دو مدل براي ايجاد نمايش ساختاريافته استفاده‌شده است. در مدل ID-LSTM فقط كلمات مهم و مرتبط با تسك در نمايش نهايي وجود دارند و كلمات غير مرتبط حذف مي‌شوند. در مدل HS-LSTM نيز، ساختارهاي به شكل عبارت در يك جمله شناسايي مي‌شوند. در تركيب اين دو مدل، خروجي مدل اول كه يك نمايش خلاصه‌تري مي‌باشد به عنوان ورودي به مدل دوم داده مي‌شود تا عبارت‌هاي بهينه‌تري براي طبقه‌بندي شناسايي شوند. به منظور ارزيابي روش پيشنهادي، آزمايشاتي بر روي دو دسته از ديتاست‌ها انجام‌شده و نتايج حاصل بيانگر اين هستند كه روش پيشنهادي توانايي يادگيري نمايش‌هاي مرتبط با تسك را از طريق مشخص كردن ساختارها و كلمات مهم دارد.

Text classification models are used to categorize texts in organized groups. The content of these texts is analyzed by machine learning models and is accordingly labeled. Representation learning is a fundamental problem in natural language processing, which has a great impact on the text classification. Unlike most existing representation models that either use no structure, in this paper, in order to learn a structured representation, a new method based on reinforcement learning is proposed, with the aim of identifying appropriate and task-relevant structures. The proposed method uses the ID-LSTM, HS-LSTM and a combination of these two models to build structured sentence representations. In the ID-LSTM, there are only important, task-relevant words in the final Representation, and irrelevant words are removed. Also, the HS-LSTM discovers phrase structures in a sentence. In the combination of these two models, the output of the first model, which is a purified and condensed representation, is given as input to the second model to identify more optimal phrases for classification. In order to evaluate the performance of our presented method, experiments are conducted on two categories of datasets and the results show that proposed method has the ability to learn sentence representation by discovering important words and structures.