دانلود ترجمه مقاله شناسایی وظیفه غیر نرمال مبتنی بر لاگ و تحلیل علل ریشه ای

1. مقدمه 2. معماری اسپارک 3. شناسایی وظایف غیرطبیعی و تحلیل علل ریشه ای 4. آزمایشات 5. مطالعات مربوطه 6. نتیجه گیری

چکیده – تأخیرهای کاربرد که اغلب، توسط وظایف غیرطبیعی ایجاد می شوند، مسائلی مرسوم، در چارچوب های رایانش کلان داده به شمار می رود. یک وظیفه غیر طبیعی، در اسپارک که ممکن است بدون خطای یا لوگ های اخطاردهنده، روند اجرای بسیار کندی داشته باشد، نه تنها عملکرد گره ای که در آن، ساکن است را کاهش می دهد بلکه بر بهره وری سایر گره ها نیز تاثیرگذار خواهد بود. فایل های لوگ اسپارک نمی توانند علل ریشه ای وظایف غیرطبیعی،مکان و زمان رویداد سناریوهای غیرطبیعی را گزارش کنند، با این وجود اسپارک، یک مکانیزم حدس و گمان را به منظور شناسایی وظایف اِستِرَگلِر (وظایفی که به نسبت سایر وظایف، زمان بیشتری انجام آن ها لازم بوده و باعث کندشدن پردازشگر می شوند) ارائه می دهد. تنها می تواند استرگلرهای پیگیری شده در هر مرحله را شناسایی کند. از آن جایی که علل ریشه ای رویدادهای ناهنجار، پیچیده هستند، هیچگونه روش موثری، برای شناسایی این علت ها وجود ندارد. این مقاله، رویکردی برای شناسایی نابه هنجاری و تحلیل علل ریشه ای، با استفاده از فایل های لوگ اسپارک را ارائه می دهد. برخلاف ابزارهای تحلیل یا نظارت مرسوم آنلاین، رویکرد ما یک روش کاملا آفلاین بوده که با دقت بالا، نابه هنجاری ها را تحلیل می کند. رویکرد ما متشکل از 4 گام می باشد. در وهله اول، یک پارسِر، فایل های لوگ خام را به منظور تولید داده های لوگ ساختاریافته، پیش پردازش می کند. در وهله دوم، از هر گام از کاربرد اسپارک، ویژگی های مرتبط با زمان اجرا و محلیت داده ،از هر وظیفه را انتخاب می کنیم و هم چنین استفاده از حافظه و جمع آوری زباله هر گره را نیز مشاهده می نماییم. در وهله سوم، بر پایه ویژگی های انتخاب شده، شناسایی می کنیم که در چه زمان و مکانی، نابه هنجاری ها رخ داده اند. در نهایت، مسائل را با استفاده از فاکتورهای وزنی، به منظور تصمیم گیری، درباره احتمال علل ریشه ای، تحلیل می نماییم. در این مقاله، 4 علت ریشه ای بالقوه، در ناهنجاری ها را بررسی می کنیم که شامل CPU، حافظه، شبکه و دیسک می شود. روش پیشنهادی، در بنچ مارک های اسپارک جهان حقیقی، مورد آزمایش قرار گرفته است و به منظور شبیه سازی سناریوهای مختلف علت ریشه ای، تزریق تداخل مرتبط با CPU، حافظه، شبکه و دیسک را انجام دادیم. نتایج آزمایشی ما نشان می دهد که رویکرد پیشنهادی، در زمینه شناسایی وظایف غیرطبیعی و همچنین یافتن علل ریشه ای، دقت کافی دارد.

Application delays caused by abnormal tasks arecommon problems in big data computing frameworks. Anabnormal task in Spark, which may run slowly withouterror or warning logs, not only reduces its resident node'sperformance, but also affects other nodes' efficiency.Spark log files report neither root causes of abnormal tasks,nor where and when abnormal scenarios happen. AlthoughSpark provides a “speculation” mechanism to detect stragglertasks, it can only detect tailed stragglers in each stage. Sincethe root causes of abnormal happening are complicated, thereare no effective ways to detect root causes.This paper proposes an approach to detect abnormality andanalyzes root causes using Spark log files. Unlike commononline monitoring or analysis tools, our approach is a pureoff-line method that can analyze abnormality accurately. Ourapproach consists of four steps. First, a parser preprocessesraw log files to generate structured log data. Second, ineach stage of Spark application, we choose features relatedto execution time and data locality of each task, as well asmemory usage and garbage collection of each node. Third,based on the selected features, we detect where and whenabnormalities happen. Finally, we analyze the problems usingweighted factors to decide the probability of root causes. In thispaper, we consider four potential root causes of abnormalities,which include CPU, memory, network, and disk. The proposedmethod has been tested on real-world Spark benchmarks.To simulate various scenario of root causes, we conductedinterference injections related to CPU, memory, network,and Disk. Our experimental results show that the proposedapproach is accurate on detecting abnormal tasks as well asfinding the root causes.