مروري بر داده هاي بزرگ و فناوري پردازش هدوپ و آپاچي اسپارك

Review on big data and Headphone processing Technology and Apache Spark

امروزه حجم بالايي از اطلاعات توسط ابزارهاي مانند برنامه هاي كاربردي، اينترنت، وب سايتها، شبكه هاي اجتماعي و اينترنت اشياء ايجاد مي شود كه نوع آنها كلان داده است. كلان داده در واقع حجم بالايي از داده است كه داراي ارزش اطلاعاتي بالا و نهفته است از اين جهت تجزيه و تحليل آنها باعث مي شود كه اين دانش مفيد استخراج شود. پردازش اين حجم زياد از اطلاعات قاعدتاً با زمان زياد و البته فناوري خاص نياز دارد تا اطلاعات و الگوهاي مفيد دانش استخراج گردد. يكي از فناوري هاي پردازش كلان داده كه بر اساس سيستم هاي پردازش توزيع شده عمل مي نمايد استفاده از فناوري آپاچي اسپارك در پردازش كلان داده است. آپاچي اسپارك يك بستر پردازش كلان داده است و مي توان آن را نسخه پيشرفته فناوري هدوپ نيز در نظر گرفت. سيستم پردازش آپاچي اسپارك براي پردازش توزيع شده خود از فناوري پردازش مبتني بر نگاشت و كاهش استفاده مي نمايد و پردازش را بر روي مجموعه اي از خوشه ها يا كلاسترها اجراء مي-نمايد و مي توان زمان پردازش داده ها را كاهش دهد. در اين مقاله مروري خواهيم داشت بر فناوري محاسبات ابري، پردازش توزيع شده آپاچي اسپارك، هدوپ، نگاشت وكاهش كه در واقع در يك راستاء قرار دارند. نتايج مطالعاتي ما نشان مي دهد استفاده از فناوري آپاچي اسپارك به علت استفاده از حافظه اصلي در پردازش ها تا 10 برابر شتاب بيشتري نسبت به معماري هاي رقيب مانند هدوپ دارد.