دانلود ترجمه مقاله بررسی تکنولوژی های کلان داده

1. مقدمه 2. پیشینه 3. چالش های کلان داده ها 4. اکوسیستم هادوپ و کلان داده ها 5. توزیع هادوپ 6. نتیجه گیری

مقدمه: امروزه، به طور روزانه حجم کلانی از داده ها با نرخی بی سابقه از منابع ناهمگن (مانند بخش سلامت، دولت، شبکه های اجتماعی، بازاریابی و بخش مالی) ایجاد می شوند. این موضوع، به دلیل بسیاری از رویه های تکنولوژیکی شامل اینترنت اشیا، گسترش رایانش ابری (بوتا و همکاران، 2016) و نیز گسترش دستگاه های هوشمند می باشد. در پشت صحنه این وقایع، سیستم های قدرتمند و برنامه های پراکنده ای از چنین سیستم های ارتباطی چندگانه پشتیبانی می کنند (مانند سیستم های شبکه هوشمند (چن و همکاران، 2014a) سیستم های مراقبت از سلامت (کانکانهالی و همکاران، 2016)، سیستم های خرده فروشی مانند والمارت (اسمارزو، 2013)، سیستم های دولتی (استوانو و همکاران، 2013) و غیره). قبل از انقلاب کلان داده ها، شرکت ها قادر نبودند تا همه آرشیوهای اطلاعاتی خود را برای طولانی مدت ذخیره کرده و مجموعه های داده ای بزرگ را به طور کارآمد مدیریت نمایند. در واقع، تکنولوژی های سنتی دارای ظرفیت ذخیره سازی محدود، ابزارهای مدیریتی سخت و گران قیمت بودند. آنها فاقد مقیاس پذیری، انعطاف پذیری و عملکرد مورد نیاز در زمینه کلان داده ها بودند و در واقع، مدیریت کلان داده ها نیازمند منابعی چشم گیر، روش های نوین و فناوری های قدرتمند می باشد. به طور دقیق تر، کلان داده ها حجم عظیم مجموعه های اطلاعاتی را شفاف سازی، پردازش، آنالیز و ایمن سازی می کنند و این موضوع نیازمند دسترسی دقیق به داده ها است. شرکت ها و صنایع بیش از پیش به این موضوع واقف شده اند که تحلیل داده ها، فاکتوری حیاتی در راستای رقابت کارآمدتر بوده و می تواند چشم اندازهای جدیدی را در اختیار سازمان قرار داده و سرویس ها را بیش از پیش شخصی سازی نماید. به دلیل ارزش بالایی که می توان از کلان داده ها استخراج کرد، بسیاری از فعالان در کشورهای مختلف، پروژه های بسیار مهم و کلانی را در این زمینه آغاز کرده اند. ایالات متحده آمریکا یکی از رهبران دستیابی به فرصت های بیشمار کلان داده ها بود. در ماه مارس 2012، دولت اوباما، با طرح یک بودجه 200 میلیونی، پیشقدم در امر توسعه و پژوهش در زمینه کلان داده ها شد (ویز و زوگورسکی، 2012). در ژاپن، توسعه کلان داده ها در ماه ژوئیه 2012، به یکی از اهداف مهم استراتژی های تکنولوژیکی ملی تبدیل شد (چن و همکاران، 2014b). سازمان ملل، گزارشی را با عنوان "کلان داده ها برای توسعه: فرصت ها و چالش ها" منتشر نمود (لتوز، 2012). هدف از این گزارش، بررسی نگرانی های عمده در رابطه با چالش های کلان داده ها و پیشبرد گفتگوها در زمینه نحوه استفاده از کلان داده ها برای توسعه بین المللی بود. به عنوان نتیجه ای از پروژه های مختلف کلان داده ها در سراسر جهان، بسیاری از تکنولوژی های جدید، چارچوب ها و مدل های کلان داده برای ارائه فضای ذخیره سازی بیشتر، پردازش موازی و تحلیل آنی منابع ناهمگن مختلف ایجاد گردید. علاوه بر این، رویکردهای جدیدی برای تضمین امنیت و حریم خصوصی داده ها توسعه یافت. در مقایسه با تکنولوژی های سنتی، این رویکردها می توانند مقیاس پذیری، انعطاف پذیری و بهره وری بیشتری را ارائه دهند. علاوه بر این، هزینه بیشتر راه حل های پردازشی و ذخیره سخت افزاری به دلیل پیشرفت تکنولوژیکی پایدار به طور مداوم کاهش می یابد (پورسل، 2013).

Introduction: Nowadays, large data volumes are daily generated at unprecedented rate from heterogeneous sources (e.g., health, government, social networks, marketing, financial). This is due to many technological trends, including the Internet Of Things, the proliferation of the Cloud Computing (Botta et al., 2016) as well as the spread of smart devices. Behind the scene, powerful systems and distributed applications are supporting such multiple connections systems (e.g., smart grid systems (Chen et al., 2014a), healthcare systems (Kankanhalli et al., 2016), retailing systems like that of Walmart (Schmarzo, 2013), government systems (Stoianov et al., 2013), etc.). Previously to Big Data revolution, companies could not store all their archives for long periods nor efficiently manage huge data sets. Indeed, traditional technologies have limited storage capacity, rigid management tools and are expensive. They lack of scalability, flexibility and performance needed in Big Data context. In fact, Big Data management requires significant resources, new methods and powerful technologies. More precisely, Big Data require to clean, process, analyze, secure and provide a granular access to massive evolving data sets. Companies and industries are more aware that data analysis is increasingly becoming a vital factor to be competitive, to discover new insight, and to personalize services. Because of the interesting value that can be extracted from Big Data, many actors in different countries have launched important projects. USA was one of the leaders to catch Big Data opportunity. In March 2012, the Obama Administration launched Big Data Research and Development Initiative (Weiss and Zgorski, 2012) with a budget of 200 million. In Japan, Big Data development became one important axe of the national technological strategy in July 2012 (Chen et al., 2014b). The United Nations issued a report entitled Big Data for Development: Opportunities and Challenges (Letouzé, 2012). It aims to outline the main concerns about Big Data challenges and to foster the dialogue about how Big Data can serve the international development. As a result of the different Big Data projects across the world, many Big Data models, frameworks and new technologies were created to provide more storage capacity, parallel processing and realtime analysis of different heterogeneous sources. In addition, new solutions have been developed to ensure data privacy and security. Compared to traditional technologies, such solutions offer more flexibility, scalability and performance. Furthermore, the cost of most hardware storage and processing solutions is continuously dropping due to the sustainable technological advance (Purcell, 2013).