جست و جوگر تصويري هوشمند كالا مبتني بر يادگيري عميق

Intelligent Visual Product Search Based on Deep Learning

بازيابي تصوير يكي از كاربردهاي تجاري، چالش‌برانگيز و اساسي تكنيك‌هاي بينايي ماشين است. همچنين يافتن و خريدن كالا با استفاده از تصوير آن، يكي از كاربردهاي مهم بازيابي تصوير است. در اين مقاله يك موتور جستجوي تصوير كامل ارائه شده است، كه قادر است با دريافت تصوير محصول، آدرس محل خريد اينترنتي آن ارائه كند. روش مذكور از شبكه‌هاي عصبي كانولوشني با تابع هزينه سه‌تايي براي توليد ويژگي‌هاي كارا براي جستجوي تصاوير اجناس بهره مي‌برد. با توجه به كارايي روش استخراج ويژگي مورد استفاده، يك دسته‌بند ساده 1-NN براي يافتن نزديك‌ترين تصاوير به تصوير ورودي استفاده شده است. به منظور شروع كار، آموزش و تجاري‌سازي روش پيشنهادي مجموعه داده معروف Deep Fashion‌ مورد استفاده قرار گرفته است. اين مجموعه‌داده شامل بيش از ۸۰۰ هزار تصوير از طيف وسيعي از تصاوير مربوط به پوشاك با شرايط عكاسي طبيعي و آتليه‌اي است. نتايج پياده‌سازي روش پيشنهادي در ششمين نمايشگاه نوآوري و فناوري ربع رشيدي تبريز عرضه گرديد و با استقبال كاربران و فروشگاه هاي اينترنتي مواجه شد. تا جايي كه ما مطلع هستيم اين محصول، اولين موتور جستجوي اجناس تصويري در ايران است.

Image retrieval is one of the commercial and most fundamental challenging applications of the computer vision techniques. Photo shopping is one the interesting applications of the image retrieval. In this paper, we propose an integrated end-to-end image-based search engine. This search engine is able to search the online markets for shopping items based on an image of the item. The proposed method employs a convolutional neural network with triplet margin loss to extract effective features for finding shopping items. Since the proposed feature extraction method is very effective, our search engine employs a simple 1-NN classifier for its image retrieval task. For commercialization of the proposed method, the well-known DeepFashion dataset is used. DeepFashion contains over 800,000 diverse fashion images ranging from well-posed shop images to unconstrained consumer photos. The proposed method was commercialized and presented through an android application during RAB’E RASHIDI INNOVATION AND TECHNOLOGY EXHIBITION – RINOTEX and was very well received by the audience. To the best of our knowledge, this is the first commercialized Photo shopping engine in Iran.