شماره ركورد كنفرانس :
4726
عنوان مقاله :
توسعه يك الگوريتم جانمايي بلاكها در سيستم هادوپ ناهمگن با توجه به مشخصات نودها و نوع كارها
پديدآورندگان :
الهي قاسم gh.elahi@gmail.com دانشكده فني و حرفه اي شهيد چمران، كرمان،
كليدواژه :
پردازش داده , نگاشت كاهش , خوشه ناهمگن , هادوپ , جانمايي بلاك
عنوان كنفرانس :
چهارمين كنفرانس ملي محاسبات توزيعي و پردازش داده هاي بزرگ
چكيده فارسي :
پيشرفت در فنآوري شبكههاي رايانهاي و منابع محاسباتي در مقياس بزرگ منجر به ايجاد خوشه هاي محاسباتي و منابع ابري شده است كه مي توانند حجم زيادي از اطلاعات را در خود ذخيره و پردازش كنند. سيستم هادوپ ، اجرا و تسهيم بسياري از وظايف در يك مركز داده مشترك را فراهم ميكند. پردازش دادهها در قالب كارهايي كه به صورت دستهاي يا برخط به سيستم ارايه ميشوند - بسته به نوع پردازش و داده - از چند دقيقه تا چندين ساعت طول مي كشد. هادوپ با فرض اين مهم كه تمام منابع پردازشي يكسان و وظايف دادههاي محلي دارند، سياست خاصي در مورد انتخاب گره اعمال نميكند. در صورتي كه اگر گرهها نا همگن باشند، متوسط زمان اجرا از يك گره به گره ديگر متفاوت خواهد شد؛ به ويژه وقتي كه داده محلي نباشد. در اين تحقيق سعي شده است، تا هنگام تقسيم فايل ورودي به بلاكهاي دادهاي يكسان توسط هادوپ، بلاك ها براساس ميانگين وزني گرهها، توزيع شود. و همچنين با دسته بندي گره ها و انتقال يك رونوشت به هر يك از اين دسته ها علاوه بر متوسط زمان اجرا و محلي بودن، قابليت اعتماد و توازن فضاي خالي ذخيره سازي خوشه را در سيستم افزايش داد.