طراحي شبكه بهينه ‌ساز خودكار الهام گرفته از الگوريتم بهينه‌ سازي BFGS با حافظه محدود

امروزه برخلاف توسعه مدل هاي يادگيري ماشين براي استخراج ويژگي ها به صورت خودكار، هنوز الگوريتم هاي بهينه سازي به صورت دستي طراحي مي شوند. يكي از اهداف فرايادگيري (meta-learning)، خودكار كردن فرايند بهينه‌سازي است. الگوريتم‌هاي بهينه‌سازي دستي مبتني بر بردار گراديان تنها براساس عمليات ضرب داخلي، ضرب اسكالر و جمع برداري بر روي بردارهاي ورودي نوشته مي شوند. بنابراين مي توان گفت كه اين الگوريتمها در فضاي هيلبرت بعد مساله بهينه‌سازي اجرا مي شوند. ما نيز قصد داريم با ايده گرفتن از اين مطلب، فضايي براي يادگيري ورودي‌ها ايجاد كنيم كه مستقل از ابعاد ورودي باشد. بدين منظور با ايده گرفتن از الگوريتم BFGS با حافظه محدود (L-BFGS) و همچنين سلول LSTM يك ساختار جديد با نام Hilbert LSTM (HLSTM) معرفي مي‌كنيم كه فرايند يادگيري در آن مستقل از ابعاد ورودي انجام مي‌شود. به عبارتي الگوريتم يادگيري در فضاي هيلبرت مساله بهينه‌سازي اجرا مي‌شود. براي رسيدن به اين هدف از لايه ضرايب خطي استفاده مي‌كنيم كه تركيب خطي بردارهاي ورودي را محاسبه مي‌كند و ضرايب اين تركيب خطي، با كمك ضرب داخلي بردارهاي ورودي بدست مي‌آيد. آزمايش‌هاي ما نشان مي‌دهند كه نتايج به‌دست آمده توسط بهينه‌ساز ارائه شده، به مراتب بهتر از نتايج الگوريتم‌هاي بهينه‌سازي دستي است.