حاشيه‏نويسي خودكار تصوير با استفاده از ارتباط معنايي بين نواحي مبتني بر تيوري تصميم چندشرطي

Automatic Image Annotation Using the Semantic Relationship between the Regions Based on the Multi Criteria Decision Making

چكيده: امروزه به دليل وجود شكاف معنايي، حاشيه‏نويسي خودكار تصوير يك رويكرد مهم و چالش برانگيز مي‏باشد. در اين مقاله مدلي پيشنهاد مي‏شود كه بافتار ناحيه‏اي و موضوعات بصري را به منظور حاشيه‏نويسي خودكار تصاوير با هم ادغام مي‏كند. بافتار ناحيه‏اي، ارتباط بين نواحي موجود در تصوير را در نظر مي‏گيرد، در صورتي كه موضوعات بصري، يك توزيع سراسري از موضوعات را در كل تصوير فراهم مي‏كند. روش‏هاي حاشيه‏نويسي قبلي ارتباط بين نواحي تصوير را ناديده مي‏گرفتند، در صورتي كه اين نواحي دقيقاً بيانگر مفهوم يك تصوير هستند، بنابراين در نظر گرفتن ارتباط بين آنها براي حاشيه‏نويسي تصاوير مناسب است. مدل پيشنهادي، بافتار ناحيه‏اي و موضوعات بصري را از تصوير استخراج كرده و آنها را با استفاده از تيوري تصميم چندشرطي مبتني بر روش TOPSIS (Technique for Order Preference by Similarity to the Ideal Solution) ادغام مي‏كند. بافتار ناحيه‏اي و موضوعات بصري توسط رويكرد PLSA (Probability Latent Semantic Analysis) روي داده‏هاي آموزشي، آموزش داده شده‏اند. نتايج آزمايشات بر روي تصاوير Corel 5k گواه برتري كارايي ادغام اين 2 نوع اطلاعات براي حاشيه‏نويسي تصاوير مي‏باشد.

Abstract: In the present time, one of the significant thought-provoking approaches to digital images, which has been adopted because of the existence of the semantic gap, is the automatic image annotation. In this paper, we present a model, which combines regional contexts and visual topics to automatic image annotation. The difference of the regional contexts and visual topics is due to their function and application over an image. Regional contexts represent the associations of different regions with each other while visual topics are responsible for the global distribution of different topics. Regarding the associations of different regions with each other in an image is very useful for image annotation, since these regions form the exact explanation of the image semantics. An important fact, which was not considered in the former image annotation methods. The proposed model extracts regional contexts and visual topics from the image, and incorporates them by MCDM (Multi Criteria Decision Making) approach based on TOPSIS (Technique for Order Preference by Similarity to the Ideal Solution) method. Regional contexts and visual topics are learned by PLSA (Probability Latent Semantic Analysis) approach from the training data. The efficacy and importance of integrating these two kinds of information for the image annotation are apparently demonstrated in the experiments on 5k Corel images.