شماره ركورد كنفرانس :
4726
عنوان مقاله :
توسعه يك الگوريتم جانمايي بلاك‎‌ها در سيستم هادوپ ناهمگن با توجه به مشخصات نودها و نوع كارها
پديدآورندگان :
الهي قاسم gh.elahi@gmail.com دانشكده فني و حرفه اي شهيد چمران، كرمان،
تعداد صفحه :
7
كليدواژه :
پردازش داده , نگاشت كاهش , خوشه ناهمگن , هادوپ , جانمايي بلاك
سال انتشار :
1397
عنوان كنفرانس :
چهارمين كنفرانس ملي محاسبات توزيعي و پردازش داده هاي بزرگ
زبان مدرك :
فارسي
چكيده فارسي :
پيشرفت در فن‌آوري شبكه‏‌هاي رايانه‌اي و منابع محاسباتي در مقياس بزرگ منجر به ايجاد خوشه هاي محاسباتي و منابع ابري شده است كه مي توانند حجم زيادي از اطلاعات را در خود ذخيره و پردازش كنند. سيستم هادوپ ، اجرا و تسهيم بسياري از وظايف در يك مركز داده مشترك را فراهم مي‌كند. پردازش داده‌ها در قالب كارهايي كه به صورت دسته‌اي يا برخط به سيستم ارايه مي‌شوند - بسته به نوع پردازش و داده - از چند دقيقه تا چندين ساعت طول مي كشد. هادوپ با فرض اين مهم كه تمام منابع پردازشي يكسان و وظايف داده‌هاي محلي دارند، سياست خاصي در مورد انتخاب گره اعمال نمي‌كند. در صورتي كه اگر گره‌ها نا همگن باشند، متوسط زمان اجرا از يك گره به گره ديگر متفاوت خواهد شد؛ به ويژه وقتي كه داده محلي نباشد. در اين تحقيق سعي شده است، تا هنگام تقسيم فايل ورودي به بلاك‌هاي داده‌اي يكسان توسط هادوپ، بلاك ها براساس ميانگين وزني گره‌ها، توزيع شود. و همچنين با دسته بندي گره ها و انتقال يك رونوشت به هر يك از اين دسته ها علاوه بر متوسط زمان اجرا و محلي بودن، قابليت اعتماد و توازن فضاي خالي ذخيره سازي خوشه را در سيستم افزايش داد.
كشور :
ايران
لينک به اين مدرک :
بازگشت