نمايه سازي رسانه هاي توزيع شده مبتني بر MPI و MapReduce

امروزه حجم اطلاعات موجود در حال افزايش است نمايه‌سازي تخصيص واژه‌ها يا اصطلاحات به مدارك به منظور توصيف محتواي موضوعي آنها براي بازيابي در مراحل بعد مي باشد. هدف نمايه‌سازي اصولاً آماده كردن مدرك براي بازيابي است. نمايه بايد داراي زبان مناسب وشكل قابل درك باشد وبه سادگي بتوان از آن استفاده كرد،و همچنين بايد اطلاعات مرتبط را به درستي شناسايي كند ودر بازيابي اطلاعات موثر باشد.اگر نمايه سازي نباشد فراخواني كم، حجم اطلاعات براي پردازش زياد و دقت پايين مي آيد زيرا در آن حرف اضافه و قيود وجود دارد و قادر به بازيابي اطلاعات بدرستي نمي باشيم بنابراين نياز به بازيابي اطلاعات يك امر ضروري مي باشد. حل برخي از مسائل علمي به دليل نياز به منابع پردازشي بالا حتي با سريعترين كامپيوترها بسيار زمانگير و ناكارآمد است ،يك راه حل اين مشكل مي تواند استفاده از سيستم هاي توزيع شده و انجام كارها بصورت موازي باشد.براي اينكه اين مسائل بر روي يك سيستم توزيع شده انجام شود و كار هاي موازي سازي كنترل و مديريت خطاها بصورت خودكار انجام شود و برنامه نويسي به شكل ساده تري قابل انجام باشد بايد مسائل به يك چارچوب برنامه نويسي تبديل شود،چارچوبMapReduceيكي از معروف ترين چارچوب هاي موچود است كه قابليت بالا را داراست.رسانه هاي اجتماعي بخش حياتي در ارتباطات روزمره ما مي باشند و در حوادث بايد مشكلات آنها شناسايي شوند.بازيابي اطلاعات در مقياس بزرگ بعنوان مشكلي اساسي مطرح شده است و براي حل اين مشكل MapReduce بعنوان چارچوبي براي توزيع داده هاي فشرده ارائه شد كه مناسب براي نمايه سازي مقياس هاي بزرگ است. در اين مقاله ابتدا نمايه سازي سيستم هاي توزيع شده را تعريف كرده و به مقايسه روش هاي MPI و MapReduce مي پردازيم.