دانلود ترجمه مقاله شناسایی وظیفه غیر نرمال مبتنی بر لاگ و تحلیل علل ریشه ای

عنوان فارسی :

شناسایی وظیفه غیر نرمال مبتنی بر لاگ و تحلیل علل ریشه ای، برای اِسپارک

عنوان انگلیسی :

Log-based Abnormal Task Detection and Root Cause Analysis for Spark

کلمات کلیدی :

  تحلیل لاگ؛ وظایف غیرطبیعی؛ علل ریشه ای

درسهای مرتبط : مهندسی کامپیوتر
تعداد صفحات مقاله انگلیسی : 8 نشریه : IEEE
سال انتشار : 2017 تعداد رفرنس مقاله : 19
فرمت مقاله انگلیسی : PDF نوع مقاله : ISI
شبیه سازی مقاله : انجام نشده است. وضعیت ترجمه مقاله : انجام نشده است.
فهرست مطالب

1. مقدمه 2. معماری اسپارک 3. شناسایی وظایف غیرطبیعی و تحلیل علل ریشه ای 4. آزمایشات 5. مطالعات مربوطه 6. نتیجه گیری

نمونه متن انگلیسی مقاله

Application delays caused by abnormal tasks arecommon problems in big data computing frameworks. Anabnormal task in Spark, which may run slowly withouterror or warning logs, not only reduces its resident node'sperformance, but also affects other nodes' efficiency.Spark log files report neither root causes of abnormal tasks,nor where and when abnormal scenarios happen. AlthoughSpark provides a “speculation” mechanism to detect stragglertasks, it can only detect tailed stragglers in each stage. Sincethe root causes of abnormal happening are complicated, thereare no effective ways to detect root causes.This paper proposes an approach to detect abnormality andanalyzes root causes using Spark log files. Unlike commononline monitoring or analysis tools, our approach is a pureoff-line method that can analyze abnormality accurately. Ourapproach consists of four steps. First, a parser preprocessesraw log files to generate structured log data. Second, ineach stage of Spark application, we choose features relatedto execution time and data locality of each task, as well asmemory usage and garbage collection of each node. Third,based on the selected features, we detect where and whenabnormalities happen. Finally, we analyze the problems usingweighted factors to decide the probability of root causes. In thispaper, we consider four potential root causes of abnormalities,which include CPU, memory, network, and disk. The proposedmethod has been tested on real-world Spark benchmarks.To simulate various scenario of root causes, we conductedinterference injections related to CPU, memory, network,and Disk. Our experimental results show that the proposedapproach is accurate on detecting abnormal tasks as well asfinding the root causes.

ترجمه نمونه متن انگلیسی

چکیده – تأخیرهای کاربرد که اغلب، توسط وظایف غیرطبیعی ایجاد می شوند، مسائلی مرسوم، در چارچوب های رایانش کلان داده به شمار می رود. یک وظیفه غیر طبیعی، در اسپارک که ممکن است بدون خطای یا لوگ های اخطاردهنده، روند اجرای بسیار کندی داشته باشد، نه تنها عملکرد گره ای که در آن، ساکن است را کاهش می دهد بلکه بر بهره وری سایر گره ها نیز تاثیرگذار خواهد بود. فایل های لوگ اسپارک نمی توانند علل ریشه ای وظایف غیرطبیعی،مکان و زمان رویداد سناریوهای غیرطبیعی را گزارش کنند، با این وجود اسپارک، یک مکانیزم حدس و گمان را به منظور شناسایی وظایف اِستِرَگلِر (وظایفی که به نسبت سایر وظایف، زمان بیشتری انجام آن ها لازم بوده و باعث کندشدن پردازشگر می شوند) ارائه می دهد. تنها می تواند استرگلرهای پیگیری شده در هر مرحله را شناسایی کند. از آن جایی که علل ریشه ای رویدادهای ناهنجار، پیچیده هستند، هیچگونه روش موثری، برای شناسایی این علت ها وجود ندارد. این مقاله، رویکردی برای شناسایی نابه هنجاری و تحلیل علل ریشه ای، با استفاده از فایل های لوگ اسپارک را ارائه می دهد. برخلاف ابزارهای تحلیل یا نظارت مرسوم آنلاین، رویکرد ما یک روش کاملا آفلاین بوده که با دقت بالا، نابه هنجاری ها را تحلیل می کند. رویکرد ما متشکل از 4 گام می باشد. در وهله اول، یک پارسِر، فایل های لوگ خام را به منظور تولید داده های لوگ ساختاریافته، پیش پردازش می کند. در وهله دوم، از هر گام از کاربرد اسپارک، ویژگی های مرتبط با زمان اجرا و محلیت داده ،از هر وظیفه را انتخاب می کنیم و هم چنین استفاده از حافظه و جمع آوری زباله هر گره را نیز مشاهده می نماییم. در وهله سوم، بر پایه ویژگی های انتخاب شده، شناسایی می کنیم که در چه زمان و مکانی، نابه هنجاری ها رخ داده اند. در نهایت، مسائل را با استفاده از فاکتورهای وزنی، به منظور تصمیم گیری، درباره احتمال علل ریشه ای، تحلیل می نماییم. در این مقاله، 4 علت ریشه ای بالقوه، در ناهنجاری ها را بررسی می کنیم که شامل CPU، حافظه، شبکه و دیسک می شود. روش پیشنهادی، در بنچ مارک های اسپارک جهان حقیقی، مورد آزمایش قرار گرفته است و به منظور شبیه سازی سناریوهای مختلف علت ریشه ای، تزریق تداخل مرتبط با CPU، حافظه، شبکه و دیسک را انجام دادیم. نتایج آزمایشی ما نشان می دهد که رویکرد پیشنهادی، در زمینه شناسایی وظایف غیرطبیعی و همچنین یافتن علل ریشه ای، دقت کافی دارد.

توضیحات و مشاهده مقاله انگلیسی

سفارش ترجمه تخصصی این مقاله

دیدگاهها

هیچ دیدگاهی برای این محصول نوشته نشده است.

اولین نفری باشید که دیدگاهی را ارسال می کنید برای “دانلود ترجمه مقاله شناسایی وظیفه غیر نرمال مبتنی بر لاگ و تحلیل علل ریشه ای”

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

5 × 1 =

مقالات ترجمه شده

آموزش برنامه نویسی

مجوز نماد اعتماد الکترونیکی

پشتیبانی ترجمه و شبیه سازی مقاله

تماس با پشتیبانی

قیمت ترجمه و شبیه سازی مقاله

با توجه به تجربه ی ما در امر شبیه سازی مقالات با نرم افزارهای متلب، پی اس کد، گمز و سایر نرم افزارهای علمی و همچنین تجربه ی چندین ساله در امر ترجمه  مقالات، تصمیم گرفتیم در این دو زمینه کمکی هر چند ناقابل برای دانشجویان به ارمغان آوریم. همه ی مقالات در سایت قرار داده شده که برخی از آنها ترجمه و شبیه سازی آماده دارند که قیمتی بین 20 تا 30 هزار تومان به فروش می رسند. برخی از مقالات نیز که ترجمه و شبیه سازی ندارند، می توانید سفارش دهید تا همکاران ما در اسرع وقت اقدام به تهیه آن کرده و در موعد مقرر تحویل شما دهند.