خوشه بندي داده هاي ابعادبالا با استفاده از آنتروپي و مدل Hadoop-Mahout درMapReduce

خوشه‌بندي، يكي از روش‌هاي معمول كار با دنياي كلان‌داده‌ است. از الگوريتم‌هاي خوشه‌بندي كه به صورت گستره نيز به‌كار مي‌رود، الگوريتم K-means است اما در مواردي كه براي پردازش داده‌هاي ابعاد‌بالا استفاده مي‌شود، پيچيدگي زماني آن بيش از حد بالاست. الگوريتم‌هاي خوشه‌بندي بر اساس پلت‌فرم هدوپ، پيچيدگي زماني و فضايي كمتري دارند و همينطور داراي مقياس‌پذيري خوبي در پردازش داده‌هاي حجيم مي‌باشند. كتابخانه منبع‌بازِ ماهوت، كتابخانه‌ي الگوريتم‌هاي يادگيري ماشين است. در اين مقاله قصد داريم به منظور كاهش زمان پردازش خوشه‌بندي داده‌هاي ابعادبالا، الگويي تركيبي در چارچوب ماهوت بر اساس مدل MapReduce – Hadoopو با استفاده از آنتروپي ارائه دهيم. اين الگوي تركيبي جديد با افزودن آنتروپيِ وزن، الگوريتم K-means را گسترش داده و عملكرد آن‌را در خوشه‌بنديِ داده‌هاي ابعاد بالا در زير فضاها بهبود داده است. الگوي تركيبي با مدل پردازشي MapReduce طراحي شده، و بر روي اكو سيستم هدوپ با استفاده از ماهوت بر روي مجموعه‌داده Reuters-21578 پياده‌سازي و اجرا شده است.