تحليل و مقايسه 21 قيد محدودسازي در الگوريتم گراديان نزولي اتفاقي به روش كرنل

مقيدسازي الگوريتم گراديان نزولي باهدف آموزش شبكه عصبي با وزن هايي محدودشده در كاربردهايي نظير شفاف‌سازي شبكه، كاهش حجم شبكه ازنظر ذخيره‌سازي و افزايش سطح عموميت پذيري آن مؤثر است. همچنين مي‌تواند در افزايش سرعت همگرايي، سرعت استنتاج و يافتن جوابي بهينه نيز مناسب باشد. در اين نوشتار با استفاده از ترفند كرنل به‌عنوان روشي براي تحميل انواع قيود بر الگوريتم آموزش، تعداد 21 قيد مختلف با يكديگر مقايسه شده است كه تعداد 16 قيد آن با الهام از عدم قطعيت موجود در شبكه‌هاي عصبي زيستي براي اولين بار در اين مقاله ارائه‌شده است. مقايسه قيد‌ها بدون هيچ‌گونه افزايش داده و منظم سازي، صورت گرفته است تا اثر قيد‌ها بر فرآيند بهينه‌سازي واضح باشد. به‌منظور ارزيابي، براي هر قيد در حل مسائل طبقه‌بندي MNIST، CIFAR10 و CIFAR100 با شبكه‌هاي عصبي عميق مختص آن، 63 آزمايش شبيه سازي شده است. نتايج نشان مي‌دهد هر قيد در هر مجموعه داده تأثير متفاوتي بر فرآيند آموزش دارد و به‌طور مشخص قيدهاي پيشنهادي كه از عدم قطعيت حاضر در شبكه‌هاي عصبي زيستي الهام گرفته شده است، مي تواند بهتر از قيدهاي ارائه‌شده در تحقيقات پيشين باشد و باعث بهبود عملكرد شبكه عصبي عميق ازنظر دقت طبقه‌بندي شود.