يك شبكۀ حافظۀ طولاني كوتاه‌مدت عميق مبتني بر توجه تكاملي براي پيش‌بيني سري‌هاي زماني

An evolutionary attention-based deep long short-term memory for time series prediction

پيش‌بيني طولاني ‌مدت سري‌هاي زماني يك مسئله، مهم و چالش‌برانگيز است. امروزه شبكه‌هاي عميق به‌خصوص شبكه‌هاي حافظۀ طولاني كوتاه‌مدت (LSTM)، با موفقيت در پيش‌بيني سري‌هاي زماني به كار گرفته‌ شده‌اند. شبكه‌هاي LSTM وابستگي‌هاي طولاني‌مدت را حفظ مي‌كنند؛ اما توانايي آنها در اختصاص درجه‌هاي مختلف توجه به ويژگي‌هاي زير پنجره در چند مرحلۀ زماني كافي نيست. همچنين، عملكرد اين شبكه‌ها به‌شدت به مقادير ابرپارامتر آنها بستگي دارد و اتخاذ يك روش كارآمد براي كسب مقادير مطلوب، مهم است. در اين پژوهش براي غلبه بر چالش‌هاي فوق، LSTM عميق مبتني بر توجه تكاملي براي پيش‌بيني سري‌هاي زماني چندمتغيره توصيه مي‌شود كه به‌طور خودكار، يكي از بهترين تركيب‌ها از مقادير پارامترهاي LSTM و وزن توجه به ويژگي‌ها را مي‌يابد. راه‌حل پيشنهادي از الگوريتم ژنتيك براي تنظيم مناسب معماري شبكه LSTM عميق بهره مي‌گيرد. به‌منظور ارزيابي عملكرد الگوريتم پيشنهادي، از سه مجموعه داده در زمينه‌هاي انرژي و محيط‌زيست بهره گرفته ‌شده است. نتايج آزمايشي نشان مي‌دهند الگوريتم پيشنهادي، در مقايسه با ساير مدل‌هاي پايه، بهتر عمل مي‌كند.

Long-term prediction of time series is an important but challenging issue. Today, deep networks, especially Long short Term Memory (LSTM) networks, have been successfully used to predict time series. The LSTM network is capable of maintaining long-term dependencies, but its ability to assign varying degrees of attention to sub window features over multiple time steps is not sufficient. Also, the performance of these networks depends heavily on their hyper-parameters and it is important to adopt an efficient method to ensure optimum values. In this study, to overcome the above challenges, an evolutionary attention-based deep LSTM for predicting multivariate time series is recommended that automatically finds one of the best combinations of LSTM parameter values and sub window features. The proposed algorithm uses a genetic algorithm to properly adjust the deep LSTM network architecture. In order to evaluate the performance of the proposed algorithm, three data sets in the fields of energy and environment have been used. The experimental results show that the proposed algorithm performs better than other basic models.