کنفرانس ملی رویکردهای نوین در آموزش و پژوهش

صفحه اصلی / چهارمین کنفرانس ملی رویکردهای نوین در آموزش و پژوهش

ارائه روشی جهت بهینه‌سازی عملکرد هدوپ با استفاده از الگوریتم ژنتیک

نویسندگان :

مرتضی غضنفری¹ اسماعیل ملک زاده سرایی² پویان صالحی³

1- دانشگاه ازاد 2- دانشکده فنی 3- دانشکده فنی و حرفه ای محمودآباد

کلمات کلیدی :

کلان داده، رایانش ابری، سیستم فایل توزیع شده، هدوپ.

چکیده :

بسیاری از سازمانها به طور مداوم جمع آوری مقادیر زیادی از مجموعه داده ها را از منابع مختلف از جمله شبکه جهانی وب، شبکه های حسگر و شبکه های اجتماعی جمع آوری می کنند. توانایی انجام تجزیه و تحلیل مقیاس پذیر و به موقع در این مجموعه داده های بدون ساختار، اولویت بسیار زیادی برای بسیاری از شرکت ها است. برای سیستم های پایگاه داده سنتی، این مجموعه داده ها را به صورت روزافزونی پردازش می کند. هدوپ به یک تکنیک محاسباتی عمده برای حمایت از تجزیه و تحلیل داده های بزرگ تبدیل شده است. یک هدوپ، چارچوب نرم افزاری متن باز است که با استفاده ازسیستم فایل توزیع شده پردازش موازی داده ها را روی تعداد زیادی گره موجود دریک خوشه جهت سرعت بخشیدن به محاسبات بزرگ و داده های کلان و نیز پنهان سازی تاخیر ورودی با افزایش تعداد ورودی همزمان انجام می دهد. سیستم فایل توزیع شده هدوپ، بصورت ارزان و قابل اعتمادی برای تکرار تکه های داده دریک خوشه بکارگرفته می شود و داده ها بصورت محلی روی ماشینی که عمل پردازش را انجام می دهد قابل دسترسی می باشند. به دلیل اینکه در بحث مربوط به کلان‌داده نیاز به رویکردهای قدرتمند پردازشی است تا در کسری از ثانیه اطلاعات انبوهی پردازش شوند، رویکردهای مختلفی مانند هدوپ شناخته شده که نیاز است تا بهینه شوند. با توجه به اینکه در پژوهش‌های گذشته تنها پارامترهای محدودی در این زمینه در نظر گرفته شده است. در این پژوهش به بررسی و آنالیز پارامترهای متعددی که زمان پیاده‌سازی را کاهش داده و عملکرد هدوپ را بهبود می‌بخشد پرداخته می شود. همچنین روش پیشنهادی با دیگر روش ها مقایسه شده و نتایج آن از لحاظ کارائی بررسی می شود.