دانلود ترجمه مقاله تقویت کارایی شتاب دهنده CNN پراکنده با تجزیه هسته

1. مقدمه 2. پیشینه و انگیزه 3. الگوریتم ESCALATE 4. معماری ESCALATE 5. ارزیابی 6. بحث و بررسی 7. مقالات مرتبط 8. نتیجه گیری

چکیده – یافته های بدست آمده حاکی از آن است که اندازه پارامتر و هزینه محاسباتی روزافزون مدل‌های شبکه عصبی پیچشی (CNN) موانعی را جهت استقرار آنها بر روی پلتفرم‌هایی با محدودیت منبع ایجاد می کند. در مطالعه حاضر، جهت حذف افزونگی در پارامترهای CNN و ایجاد یک مدل پراکنده، تکنیک‌های هرس شبکه مطرح شده‌ است. همچنین لازم به ذکر است که به منظور کاهش هزینه‌های محاسباتی و پهنای باند حافظه مورد نیاز استنتاج از طریق پراکندگی مدل، شتاب‌دهنده‌های پراکنده نیز مطرح شده‌اند. با این وجود، بی نظمی الگوهای پراکنده، سبب محدود شدن کارایی طرح های پیشنهادی می شود. شایان ذکر است که محققان درصدد هستند که با ایجاد یک الگوی پراکندگی منظم با استفاده از الگوریتم‌های هرس سخت‌افزاری، این موضوع را مورد بررسی قرار دهند. با این وجود، توسط الگوهای پراکندگی اجباری، نرخ هرس این راه حل ها غالبا محدود شده است. این محدودیت، ما را ترغیب می کند تا فراتر از هرس، سایر روش های فشرده سازی را مورد بررسی قرار دهیم. طی دو مرحله محاسباتی تفکیک شده، دریافتیم که به طور بالقوه تجزیه هسته می تواند به خروج پردازش الگوی پراکنده از مسیر بحرانی استنتاج و در نتیجه، دستیابی به نسبت فشرده سازی بالا بدون اعمال الگوهای پراکنده منجر شود. برای دستیابی به این مزایا، در این مطالعه، ESCALATE را که یک رویکرد طراحی مشترک الگوریتم-سخت‌افزار مبتنی بر تجزیه هسته می باشد را مطرح می‌کنیم. لازم به ذکر است که در سطح الگوریتم، ESCALATE دو مرحله محاسباتی پیچش تجزیه شده را با هدف فعال سازی پردازش جریان نگاشت ویژگی میانی مجددا مورد سازماندهی قرار می دهد. همچنین در مطالعه حاضر، به منظور بهره برداری از فرکانس استفاده مجدد متفاوت از هر بخش از وزن تجزیه شده، یک کوانتیزاسیون ترکیبی را مطرح نموده ایم. در سطح معماری، ESCALATE جهت بیشینه سازی مزایای حاصل از پیچیدگی تجزیه شده، یک جریان داده جدید "Basis-First" و طراحی ریزمعماری مربوطه آن را مطرح می کند. در مطالعه حاضر، از طریق چهار مدل CNN در هر دو مجموعه داده CIFAR-10 و ImageNet، ESCALATEرا مورد ارزیابی قرار داده و آنرا با شتاب‌دهنده‌های پراکنده قبلی و الگوریتم‌های هرس مورد مقایسه قرار می دهیم. نتایج بدست آمده حاکی از آن است که ESCALATE می‌تواند نسبت فشرده‌سازی را برای مدل‌های CIFAR-10 و ImageNet به ترتیب تا 325× و 11× به دست آورد. لازم به ذکر است که شتاب‌دهنده ESCALATE به طور میانگین بازده انرژی را به ترتیب 8.3 برابر و 3.77 برابر در مقایسه با شتاب‌دهنده‌های متراکم و پراکنده قبلی افزایش می دهد. همچنین در مقایسه با شتاب‌دهنده‌های متراکم و پراکنده قبلی، به ترتیب تأخیر را 17.9 برابر و 2.16 برابر کاهش می‌دهد.

The ever-growing parameter size and computation cost of Convolutional Neural Network (CNN) models hinder their deployment onto resource-constrained platforms. Network pruning techniques are proposed to remove the redundancy in CNN parameters and produce a sparse model. Sparse-aware accelerators are also proposed to reduce the computation cost and memory bandwidth requirements of inference by leveraging the model sparsity. The irregularity of sparse patterns, however, limits the efficiency of those designs. Researchers proposed to address this issue by creating a regular sparsity pattern through hardware-aware pruning algorithms. However, the pruning rate of these solutions is largely limited by the enforced sparsity patterns. This limitation motivates us to explore other compression methods beyond pruning. With two decoupled computation stages, we found that kernel decomposition could potentially take the processing of the sparse pattern off from the critical path of inference and achieve a high compression ratio without enforcing the sparse patterns. To exploit these advantages, we propose ESCALATE, an algorithm-hardware co-design approach based on kernel decomposition. At algorithm level, ESCALATE reorganizes the two computation stages of the decomposed convolution to enable a stream processing of the intermediate feature map. We proposed a hybrid quantization to exploit the different reuse frequency of each part of the decomposed weight. At architecture level, ESCALATE proposes a novel ‘Basis-First’ dataflow and its corresponding microarchitecture design to maximize the benefits brought by the decomposed convolution. We evaluate ESCALATE with four representative CNN models on both CIFAR-10 and ImageNet datasets and compare it against previous sparse accelerators and pruning algorithms. Results show that ESCALATE can achieve up to 325 × and 11 × compression ratio for models on CIFAR-10 and ImageNet, respectively. Comparing with previous dense and sparse accelerators, ESCALATE accelerator averagely boosts the energy efficiency by 8.3 × and 3.77 ×, and reduces the latency by 17.9 × and 2.16 ×, respectively.

ترجمه این مقاله در 33 صفحه آماده شده و در ادامه نیز صفحه 16 آن به عنوان نمونه قرار داده شده است که با خرید این محصول می توانید، فایل WORD و PDF آن را دریافت نمایید.