دراسة اداء انظمة وصف الصور المعتمدة على نماذج مختلفة للتعلم العميق

تم في البحث الحالي انجاز عملية وصف الصورة Image Description عبر وضع تسميات توضيحية لمكونات الصورة Image Captioning بثلاث نماذج مختلفة والمقارنة بينها. من اجل بناء نماذج الوصف، تم استخدام مكتبة Keras وهي مكتبة تستخدم كاطار عمل لتعلم الآلة Machine Learning Framework والتي تضم اهم المكاتب اللازمة لانشاء وتدريب شبكات التعلم العميق. تم استخدام ثلاثة نماذج مطبقة على مكتبة Keras وذلك لاستخدامها في استخلاص سمات الصور وهي نموذج شبكة ResNet50 ونموذج شبكة VGG16 بالاضافة الى نموذج شبكة VGG19. تتميز هذه النماذج باعتمادها على بنية الشبكة العصبونية الالتفافية Convolutional Neural Network (CNN) واكثر دقة في استخلاص سمات الصورة من النماذج السابقة. اما لعملية التدريب وربط الوصف مع السمات فقد تم استخدام شبكة عصبونية تكرارية Recurrent Neural Network (RNN). تم استخدام مجموعة بيانات MSCOCO العالمية حيث تم اخذ مجموعة جزئية منها مولفة من 10000 صورة، حيث تم اخذ 9000 صورة منها لمجموعة التدريب Training و1000 صورة لمجموعة التحقق Validation. اما لعملية الاختبار فقد تم استخدام صور من الحياة الطبيعية من خارج مجموعتي التدريب والتحقق. تمت مقارنة النماذج الثلاثة باستخدام معايير تقييم مختلفة وهي Top-1 وTop-5والعمق والدقة والتي تحدد مدى قرب الوصف الناتج من الوصف الفعلي للصورة. من النتائج تبين ان النموذج ResNet50 يتفوق على النموذجين VGG16 وVGG19 من ناحية دقة الوصف ومدى التشابه مع الوصف الصحيح للصور المدروسة. كما تم ملاحظة ان النماذج الثلاثة تعطي وصفاً ادق واكثر تشابهاً للصورة عند حساب القيمة المتوسطة لافضل ثالث توصيف من خرج النظام.