روش پيش‌تعليم سريع بر مبناي كمينه‌سازي خطا براي همگرايي يادگيري شبكه‌هاي‌ عصبي با ساختار عميق

A new fast pre training method for training of deep neural network

در اين مقاله با توسعه روش‌هاي موجود و بر مبناي كمينه‌سازي خطا و حفظ تمايز بيشينه بين نمونه‌ها، يك روش پيش‌تعليم لايه‌به‌لايه سريع و كارا جهت مقداردهي اوليه مناسب وزن‌ها در شبكه‌هاي عصبي با ساختارهاي عميق ارايه شده است. تعليم شبكه‌هاي عصبي عميق به‌دليل مواجهه با تعداد بالاي كمينه‌هاي موضعي اغلب همگرا نمي‌شود. درحالي‌كه با مقداردهي اوليه مناسب وزن‌هاي شبكه به‌جاي مقادير تصادفي در ابتداي مسير تعليم، مي‌توان از بسياري از كمينه‌هاي موضعي اجتناب كرد. در اين روش شبكه عصبي چندلايه به تعداد متناظري شبكه با يك لايه پنهان شكسته مي‌شود و ابتدا اين شبكه‌هاي يك لايه پنهان تعليم داده مي‌شوند. سپس مقادير وزن حاصل از تعليم اينها در شبكه عصبي اصلي قرار داده مي‌شود و براي تنظيم دقيق وزن‌ها، تعليم يك‌پارچه صورت مي‌گيرد. روش پيشنهادي براي پيش‌تعليم شبكه عصبي خودانجمني پنج لايه پنهان جهت استخراج مولّفه‌هاي اساسي غيرخطي چهره براي دادگان بسفروس مورد استفاده قرار گرفت. مقايسه ميانگين نتايج شبكه‌هاي‌ عصبي با مقداردهي اوليه تصادفي و مقداردهي با روش پيش‌تعليم لايه‌به‌لايه نشان مي‌دهد كه اين روش پيش‌تعليم، علاوه‌بر اينكه سرعت همگرايي تعليم را بهبود مي‌دهد، قدرت تعميم شبكه را نيز بالا مي‌برد. به‌گونه‌اي‌كه با وجود خطاي تعليم يكسان، با به‌كارگيري روش پيش‌تعليم لايه‌به‌لايه براي مقداردهي اوليه وزن‌ها، خطاي بازسازي هر پيكسل %69/13 كاهش و درصد صحت بازشناسي تصاوير با استفاده از مولّفه‌هاي استخراج شده حدود %10 بهبود داشته است. همچنين بررسي‌ها نشان داد كه روش پيش‌‌تعليم لايه‌به‌لايه در مقايسه با دو روش پيش‌تعليم مشرف به هدف و تجزيه به ماشين‌هاي بولتزمان كارايي بالاتري دارد.

In this paper, we propose efficient method for pre-training of deep bottleneck neural network (DBNN). Pre-training is used for initial value of network weights; convergence of DBNN is difficult because of different local minimums. While with efficient initial value for network weights can avoided some local minimums. This method divides DBNN to multi single hidden layer and adjusts them, then weighs of these networks is used for initial value of DBNN weights and then train network. Proposed network is used for extraction of face component. This Method is implemented on Bosphorus database. Comparing results shows that new method has more convergence speed and generalization than random initial value. By means of this new training method and with same training error rate pixel reconstruction error is decreased 13.69% and recognition rate is increased 10%. Besides, it has been shown that this method bears higher efficiency and convergence speed in comparison with some of the previous pre-training methods.