ساخت توصيف به زبان فارسي براي تصاوير مجموعه داده Flickr8k

ساخت توصيف تصوير بصورت خودكار، يك زمينه پژوهشي كليدي در جامعه ي يادگيري ماشين است. با اين حال بسياري از پژوهش هاي اخير روي ساخت توصيف انگليسي انجام شده و زبان هاي ديگر مثل زبان فارسي، كمتر مورد توجه قرار گرفته است. در اين مقاله، يك شبكه عصبي بازگشتي مالتي مودال (MRNN)، برگرفته از Karpathy and Fei-Fei, 2015 [3] روي مجموعه داده Flickr8k باتوصيفات فارسي، آموزش داده شده است. مدل آموزش داده شده ي حاصل، با معيارهاي BLEU score، CIDEr و Perplexity مورد ارزيابي قرار گرفته و با مدل انگليسي ارائه شده در [3] و همچنين با ترجمه مدل[3] به فارسي، مقايسه شده است. مدل آموزش داده شده ، بسيار نزديك به مدل آموزش ديده توسط[3] روي توصيفات انگليسي است و همچنين از حالت ترجمه اي نيز بهتر عمل مي كند. لذا مي‌توان نتيجه گرفت كه مدل RNN بصورت عمومي خوب عمل مي‌كند و يا حداقل براي سيستم هاي توصيف تصوير براي زبان هاي مختلف بطور مشابه كار مي‌كند.