دانلود ترجمه مقاله رویکرد کلان داده برای گردآوری و آنالیز داده های ترافیکی

1. مقدمه 2. پژوهش اخیر 3. فناوری های مقیاس پذیر برای پردازش داده 4. جمع آوری ترافیک شبکه با زیرسیستم شبکه مبتنی بر گراف 5. طراحی سیستم 6. نتیجه گیری

مقدمه: اخیرا، فناوری کامپیوتر، در حال تکامل است. افزایش توان محاسباتی، منجر به یک تغییر محتوا می شود، برای مثال، پیشرفت های اخیر در فناوری نمایشی، به ویدیو با وضوح بسیار بالا، منجر شده است. توسعه فعالانه اینترنت اشیا (IoT)، به معنای دستگاه های بیشتریست که از یک شبکه داده، استفاده می کنند. بیشتر این تغییرات به افزایش حجم اطلاعات جا به جا شده در سراسر شبکه ها منجر می شود. توان عملیاتی، به منظور تامین یک سرویس موثر، دائما افزایش می یابد. در حال حاضر، در کامپیوترهای شخصی، اترنت گیگابیتی (ا گیگابیت بر ثانیه) کاملا جایگزین اترنت سریع (100 مگابیت بر ثانیه) شده است. در شبکه های ISP که به طور گسترده ای، 10 گیگابیت بر ثانیه، استفاده می شد، به 40 گیگابیت بر ثانیه و بیشتر هم رسیده است. امنیت اطلاعات، در این فضا همچنان مطرح است. نرم افزارهای شرور و حملاتی که به سیستم های اطلاعاتی می شود، می توانند ضربات اساسی، نه تنها به شرکت های تجاری، بلکه سرویس های عمومی هم وارد کنند. و با افزایش اثرگذاری اطلاعات، این ضربات، بیشتر هم خواهندشد. ابزار زیادی برای امنیت اطلاعات وجود دارند : نرم افزار آنتی ویروس، فایروال (دیوار آتش)، سیستم شناسایی نفوذ (IDS) و دیگر سیستم ها. و اگر این ابزار، به خصوص سیستم شناسایی نفوذ به شبکه، که در زمان واقعی، عمل می کنند، به موازات تهدیدات امنیت اطلاعات به تکامل خود ادامه دهند، نیاز به از قبل بررسی کردن داده های اندوخته شده دارند، پس باید به طور مستقل مدنظر قرارگیرند. همانطور که اشاره شد، چنین سرمایه گذاری هایی، نیازمند از پیش ذخیره کردن یک بسته داده هستند. اگر شما IDS شبکه را در یک کانال با یک پهنای باند ا گیگابیت بر ثانیه، نصب کنید، معلوم می شود که لازم است هر دقیقه تا 15 گیگابایت داده را بررسی کند. در مورد کانال 10 گیگابیت بر ثانیه، این مقدار تا 150 گیگابایت داده هم می رسد. و اگر نیاز به بررسی یک ساعته ترافیک باشد، این مقدار به ترتیب به 900 تا 9000 گیگابایت هم می رسد. ذخیره و پردازش این حجم، چالش برانگیز است. زمان بررسی این حجم از داده، تشخیص سریع یک حمله یا دسترسی به نقض یک قانون، را دشوار می سازد. این مشکلات را می توان با استفاده از روش های جدید ذخیره و پردازش داده مربوط به رده محاسباتی "داده کلان"، حل کرد. مشهورترین روش، استفاده از سیستم های فایل توزیع شده برای نگهداری مقادیر زیادی از داده و استفاده از مدل های محاسباتی مثل نگاشت-کاهش یا BSP برای بررسی است. به این منظور، پایگاه های نرم افزاری و سخت افزاری آماده وجود دارند. هرچند، این ابزار، مناسب جمع آوری و بررسی ترافیک شبکه نیستند.

Introduction: Currently, computer technology continues to evolve. The increase of computational power leads to a change of content, for example, recent progress in display technology has resulted in the ultra high-definition video. Actively developing the internet of things (IoT) means more devices utilizing a data networks. Most of these changes lead to an increase in the volume of information transmitted over networks. Throughput is constantly increasing in order to provide an effective service. Currently, the technology GigabitEthernet (1 Gbit/s) has almost completely replaced FastEthernet (100Mbit/s) on personal computers. In ISP networks is widely used 10 Gbit/s, is the transition to 40 Gbit/s and more. The task of information security is still relevant. Malicious software and attacks on information systems can have a major impact not only on the commercial companies but also for public service. And with the growth of information influence will continue to increase. There are many tools for information security: antivirus software, firewalls, intrusion detection system (IDS), and others. And if the tools are working in real-time continue to evolve along with the threats to information security, needing to analyze previously accumulated data, in particular, network intrusion detection system, should be considered separately. As already noted, such funds shall require the prior accumulation of a data packet. If you install network IDS in a channel with a bandwidth of 1Gbps it turns out that every minute it is necessary to analyze up to 15 GB of data. In the case of channel 10Gbps, this amount rises up to 150 GB of data. And if there is a need to analyze the traffic for an hour, then the volume is 900 and 9000 Gigabytes respectively. Storing and processing it becomes challenging. The analysis time of such a volume of data makes it difficult to quickly identify an attack or a policy violation access. These problems can be solved using new approaches for data storing and processing relating to the “big data" computing task class. The most famous approach is the use of distributed filesystems to store very large amounts of data and use computation models such as MapReduce or BSP for analysis. There are ready software and hardware platforms for these purposes. However, these tools are not suited for collecting and analyzing network traffic.