دانلود پایان نامه ارزیابی تاب آوری کاربردهای یادگیری ماشین تحت خطاهای سخت افزاری

1. مقدمه 2. پیشینه 3. کارهای مرتبط 4. LLTFI: پیاده سازی و ارزیابی 5. ارزیابی تاب آوری مدل های زبانی بزرگ 6. ارزیابی قابلیت اطمینان آرایه های سیستولیک در برابر خطاهای ماندگار 7. نتیجه گیری و کارهای آینده

چکیده – کاربردهای یادگیری ماشینی (ML) در حوزه های اساسی مانند خودروهای خودران (AV ها) و تشخیص پزشکی، بطور جامع مورد استفاده قرار گرفته اند. مدل های ML مبتنی بر بینایی ماشینی مانند ResNet برای دسته بندی شی و آشکارسازی خط مورد استفاده قرار می گیرند، درحالی که مدل های زبان بزرگ (LLM ها)، مانند ChatGPT در خودروها مورد استفاده قرار می گیرند تا فرامین صوتی هماهنگ و انعطاف پذیر در AV ها ممکن شود. استفاده از مدل های ML در سناریوهای ایمنی محور نیاز به مدل های ML مطمئن دارند. در قسمت اول این پایان نامه، عمدتاً بر درک تاب آوری مدل های ML در مقابل خطاهای سخت افزار گذرا در CPU ها، تمرکز می شود. برای رسیدن به این هدف، یک ابزار FI سطح LLVM IR، یعنی LLTFI را ارائه می دهیم که از آن برای ارزیابی اثر خطاهای گذرا بر شبکه های عصبی عمیق (DNN ها) و LLM ها، استفاده می کنیم. دریافتیم که LLTFI، نسبت به TensorFI، که یک ابزار FI سطح کاربردی پیشنهاد شده توسط یک کار قبلاً انجام شده است، دقیقتر می باشد. برخلاف LLTFI، TensofFI، عملکرد ضعیفی در برآورد تاب آوری DNN ها با این فرض ضمنی دارد که هر خطای تزریق شده، خروجی های لایه های میانی DNN را مختل می کند. همچنین با استفاده از LLTFI، کارایی «تکثیر انتخابی دستورالعمل» را ارزیابی کردیم تا DNN ها در برابر خطاهای گذرا، مقاوم تر شوند. درحالی که در مورد DNN ها، خطاهای گذرا باعث می شوند تا مدل به اشتباه شی را دسته بندی یا پیش بینی کنند، اما برای LLM ها، دریافتیم که خطاهای گذرا باعث می شوند که این مدل، خروجی های غیرصحیح از لحاظ معنایی و نحوی، تولید کنند. در قسمت دوم این پایان نامه، اثر خطاهای گیرافتاده دائم در آرایه های سیستولی بر DNN ها را ارزیابی می کنیم. یک ابزار FI سطح «انتقال رجیستر» (RTL) به نام SystoliFI را ارائه می دهیم تا بوسیله آن خطاهای گیر افتاده دائم در آرایه سیستولی تزریق کنیم و از آن استفاده می کنیم تا بوجود آمدن خطاهای گیرافتاده در آرایه های سیستولی در لایه های میانی DNN ها را درک کنیم. در می یابیم که بوجود آمدن خطاهای گیرافتاده، به میزان قابل توجهی براساس نوع بهره برداری (ضرب کانوالی در مقایسه با ماتریسی)، اندازه عملیات و اندازه آرایه سیستولی، متغیر است.

Machine learning (ML) applications have been ubiquitously deployed across critical domains such as autonomous vehicles (AVs), and medical diagnosis. Vision-based ML models like ResNet are used for object classification and lane detection, while Large Language Models (LLMs) like ChatGPT are used in cars to enable robust and flexible voice commands in AVs. The use of ML models in safety-critical scenarios requires reliable ML models. In the first part of this thesis, we primarily focus on understanding the resilience of ML models against transient hardware faults in CPUs. Towards this end, we present an LLVM IR-level FI tool, LLTFI, which we use to evaluate the effect of transient faults on Deep Neural Networks (DNNs) and LLMs. We found that LLTFI is more precise than TensorFI, an application-level FI tool proposed by prior work. Unlike LLTFI, TensorFI underestimates the resilience of DNNs by implicitly assuming that every injected fault corrupts the outputs of the intermediate layers of the DNN. Using LLTFI, we also evaluated the efficacy of Selective Instruction Duplication to make DNNs more resilient against transient faults. While in the case of DNNs, transient faults cause the model to misclassify or mispredict the object, for LLMs, we found transient faults to cause the model to produce semantically and syntactically incorrect outputs. In the second part of this thesis, we evaluate the effect of permanent stuck-at faults in systolic arrays on DNNs. We present a Register Transfer (RTL)-Level FI tool, called SystoliFI, to inject permanent stuck-at faults in the systolic array, which we use to understand the manifestation of stuck-at faults in systolic arrays in the intermediate layers of the DNNs. We found that the manifestation of the stuck-at faults varies significantly with the type of operation (Convolution vs. Matrix multiplication), the operation size, and the systolic array size.