ارائه يك بستر يادگيري عميق نيمه نظارتي براي بازسازي سه بعدي چهره از يك تصوير دوبعدي

Novel Semi-Supervised Deep Learning Framework for 3D reconstruction of human face from a single 2D image

در اين مقاله يك بستر يادگيري عميق نيمه نظارتي براي بازسازي سه بعدي از يك تصوير دوبعدي پيشنهاد شده است كه در آن به منظور كاهش نياز به برچسب سه بعدي و دوبعدي از دو بخشِ بدون نظارتِ از پيش آموزش داده شده استفاده شده است. بدين ترتيب با بهره گيري از بخش‌هاي آموزش ديده، به منظور آموزش كل شبكه، به داده برچسب دار كمتري نياز است، علاوه بر اينكه با توجه به استفاده از داده به عنوان تنها منبع دانش براي يادگيري، نيازي به استفاده از فرض‌هاي مختلف در مورد چگونگي شكل گيري تصوير نخواهد بود. ايده اصلي در بستر پيشنهادي، يافتن نگاشتي بين فضاي هاي بازنمايي با ابعاد پايين‌تر دوبعدي و سه بعدي مي-باشد. بنابراين بستر پيشنهادي در اين مقاله شامل بخش هاي بدون نظارتِ نگاشت از فضاهاي دوبعدي و سه بعدي به بازنمايي‌هاي بعد پايين، و بخش نظارتي نگاشت بين بازنمايي‌هاي بعدپايين مي‌باشد. نتايج ارزيابي و مقايسه بستر پيشنهادي با چند بستر مشابه موجود روي پايگاه هاي داده چهره‌ي انسان، نشان‌دهنده كارايي مطلوب بستر نيمه نظارتي پيشنهادي در بازسازي سه بعدي از يك تصوير دوبعدي است. اين بستر مي‌تواند قدمي مفيد در جهت هوشمندسازي فعاليت نيروي انتظامي براي تشخيص چهره باشد.

In this paper a semi supervised framework for 3D reconstruction from a single 2D image is proposed in which there are pre-trained components for reducing the need for label in training procedure. Therefore in order to train the whole framework, fewer labeled data is needed along with this fact that, using only the data for the learning procedure, there is no need to make different constraints for solving the problem. The main idea of the proposed method is fining a mapping between the 2D and 3D representation spaces by using pre-trained components for dimension reduction and a supervised mapping component. The results of performance comparison between the proposed method on different human face datasets including Besel Face Model (BFM), and the images in the wild,, and other deep learning frameworks form the literature indicates the promising performance of the proposed methods. This framework also could be useful toward making FAVA operations intelligent.