پيشنهاد يك معماري مقياس پذير مبتني بر پروژه هاي متن باز براي پردازش جريان هاي داده

در سال هاي اخير به يمن گسترش اينترنت و شبكه هاي اجتماعي، تصاوير ماهواره اي و دوربين هاي نظارتي، رشد روزافزون استفاده از حسگرها بخصوص در حوزه اينترنت اشياء، افزايش حجم توليد فايل هاي ثبت تراكنش در سرورها، نفوذ وسايل ارتباطي همراه و نهايتاً هوشمند شدن وسايل زندگي و پزشكي، نيازمنديهاي جديدي در حوزه پردازش داده بوجود آمده است و مدل هاي سنتي پردازش كلان داده مانند روش توزيع و تجميع، پاسخگوي آنها نيست. امروزه در بسياري از كاربردها، نياز به سامانه هايي داريم كه بتوانند حجم عظيم داده هاي توليد شده را در همان لحظه دريافت، بررسي و پردازش كرده و سپس آنها را ذخيره كنند. اين سامانه ها كه به طور خاص براي كار با داده هاي نامحدود طراحي شده اند را سامانه هاي پردازش جريان مي ناميم و در اين مقاله به اين بخش نوين از اكوسيستم كلان داده خواهيم پرداخت . مروري بر مفاهيم و اصلاحات، بررسي چالشها و نهايتاً ابزارها و كتابخانه هاي موجود در اين حوزه و راهنمايي هايي براي انتخاب درست يك چارچوب جريان پردازي و نهايتاً پيشنهاد يك معماري مقياس پذير بر اساس پروژه هاي متن باز حوزه پردازش جريان، شاكله اصلي اين مقاله را تشكيل مي دهند.