بهبود زمان پاسخ‌دهي پرس‌وجوهاي تحليلي در انباره داده‌اي برخط با استفاده از الحاق ديدهاي ذخيره‌شده

Improvement of the Analytical Queries Response Time in Real-Time Data Warehouse using Materialized Views Concatenation

يك انباره داده‌اي برخط مجموعه‌اي از داده‌هاي اخير و داده‌هاي سلسله‌مراتبي است كه براي اخذ تصميمات، توسط مديران از طريق ايجاد پرس‌و‌جوهاي تحليلي برخط مورد استفاده قرار مي‌گيرد. داده‌هايي كه از منابع داده‌اي واكشي مي‌شوند و به انباره داده‌اي برخط وارد مي‌شوند، روزبه‌روز در حال افزايش است و همچنين با افزايش حجم داده‌هاي ورودي به انباره داده‌اي برخط تداخل بين عمليات بارگيري و پردازش تحليلي برخط بيش ‌از پيش افزايش پيدا مي‌كند. اين دو چالش به مهم‌ترين مسائل در زمينه انبار داده‌اي برخط تبديل شده‌اند. در اين مقاله، روشي براي بهبود زمان پاسخ‌دهي پرس‌و‌جوهاي تحليلي در معماري انباره داده‌اي برخط با استفاده از الحاق ديدهاي ذخيره‌شده ارائه شده است. فرايند كار بدين صورت است كه نتايج پرس‌وجوهاي اجراشده در هر بخش برخط ذخيره مي‌گردند و در هنگام انتقال داده به بخش بعدي، اين نتايج از قبل محاسبه‌شده نيز منتقل مي‌شوند. در هنگام انتقال داده، هر بخش برخط حاوي مجموع داده بخش قبلي خود در چندين مرحله از انتقال است. در نتيجه با انتقال داده، نتايج محاسبه‌شده پرس‌و‌جوها نيز منتقل ميشوند و مي‌توان بدون نياز به اجراي دوباره پرس‌و‌جوها، نتايج محاسبه‌شده قبلي را با هم الحاق كرد و به نتيجه دلخواه رسيد. روش پيشنهادي منجر به كاهش زمان پاسخ‌دهي به پرس‌و‌جوهاي تحليلي و كاهش تداخل ورود داده با اجراي هم‌زمان و طولاني‌مدت پرس‌و‌جوها شده است. چالشي كه اين پژوهش با آن مواجه است، اين است كه روش پشنهادي بر روي حجم كمي از داده در بخش برخط، مورد استفاده قرار گيرد و همچنين چالش بعدي، شامل تغييرات مورد نياز براي استفاده در داده بزرگ است.

A real-time data warehouse is a collection of recent and hierarchical data that is used for managers’ decision-making by creating online analytical queries. The volume of data collected from data sources and entered into the real-time data warehouse is constantly increasing. Moreover, as the volume of input data to the real time data warehouse increases, the interference between online loading operations and online analytical processing increases. These two stated challenges have become the most important issues regarding real time data warehouse. In this article, a method is presented to improve the analytical queries response time in the real time data warehouse architecture using materialized views concatenation. This process takes place by: (1) storing the results of performed queries in each real time section, (2) transferring the results to the next section when transferring data to the section. Each real time section contains data of its previous section, which have been transferred in several stages. As a result, the calculated results of the queries are also transmitted by transferring data, and consequently, for achieving desired outcome, the previously calculated results can be combined without the need to run the queries again. The proposed method has reduced both analytical queries response time and data entry interference caused by the simultaneous and long-term execution of queries. This study faces two challenges: (1) applying the proposed method to a small amount of data in the real time section and (2) the changes in the proposed method for applying to big data.