دانلود ترجمه مقاله یادگیری تقویتی سلسله مراتبی برای شوت کردن دقیق با روبات چهارپا

1. مقدمه 2. مهارت شوت کردن توپ فوتبال با استفاده از یک روبات چهار پا 3. چارچوب یادگیری سلسله مراتبی 4. یادگیری کنترل شوت کردن توپ فوتبال 5. یادگیری برنامه شوت کردن توپ فوتبال 6. آزمایشات 7. نتیجه گیری و کارهای آتی

چکیده – ما مشکل ایجاد امکان اجرای مهارت های شوت زنی دقیق در دنیای واقعی با استفاده از یادگیری تقویت شده برای روبات های چهارپا را مورد بررسی قرار می دهیم. توسعه الگوریتم ها برای قادر ساختن یک روبات دارای پا برای شوت کردن توپ فوتبال به یک هدف مشخص مسئله دشواری است که کنترل حرکت روبات و برنامه ریزی برای یک کار را ترکیب می کند. برای حال این مسئله با محدودیت های دینامیک و پایداری حرکتی در طول کنترل یک روبات دارای پای دینامیک را در نظر بگیریم. به علاوه باید برنامه ریزی حرکت را برای شوت کردن توپ قابل تغییر شکل دشوار برای مدل سازی را روی زمین با اصطکاک نامشخص به یک مکان مطلوب بررسی کنیم. در این مقاله یک چارچوب سلسله مراتبی پیشنهاد می کنیم که از یادگیری تقویت شده عمیق برای آموزش الف) یک سیاست کنترل حرکت توانتد که حرکات ارادی را می تواند دنبال کند و ب) یک سیاست برنامه ریزی برای تصمیم گیری حرکت شوت زدن مطلوب برای شوت کردن یک توپ فوتبال به یک هدف بهره می گیرد. ما چارچوب پیشنهاد شده را روی یک روبات چهارپا اعمال می کنیم و به آن امکان شوت زدن دقیق توپ فوتبال به یک هدف تصادفی در دنیای واقعی می دهیم. مقدمه: روبات های چهارپا توجه فراوان جامعه روباتیک را به خود جلب کرده و روش های مبتنی بر مدل کلاسیک [3-1] الگوهای کارآمدی برای طراحی کنترل کننده برای این روبات ها بوده است. با این حال روش های مبتنی بر مدل نیازمند مدل سازی دقیق سیستم هستند و مدل های پیچیده به دلیل محدودیت های محاسباتی، برای بکارگیری آنلاین چندان عملی نیستند. به علاوه بکارگیری روش های مبتنی بر مدل در زمینه هایی که در آن مدل سازی دینامیک ها دشوار است (مانند یک توپ فوتبال قابل تغییر شکل)، سخت و دشوار خواهد بود. برای شوت کردن یک توپ فوتبال به یک کنترل کننده نیاز است تا به روبات امکان دهد پای خود را به سرعت بچرخاند تا گشتاور کافی برای شوت کردن توپ در حال غلتیدن روی زمین به دست آورد و در عین حال در طول حرکت سریع شوت کردن، تعادل بدن خود را نیز حفظ کند. علاوه بر کنترل حرکت روبات، برنامه ریزی حرکت هم دشوار است و روبات باید موقعیت های زمان واقعی توپ و هدف را در نظر گیرد تا با توجه به محدودیت های فیزیکی خود، حرکت بدن مناسبی ایجاد کند. به علاوه برای شوت کردن دقیق توپ به هدف، برنامه ریزی حرکت باید با مدل سازی دشوار تماس میان روبات و توپ فوتبال قابل تغییر شکل و ابهامات مربوط به اصطکاک چرخشی میان توپ و زمین دست و پنجه نرم کند. اگرچه این کار می تواند برای روش های مبتنی بر مدل دشوار باشد، اما روش های جدید یادگیری تقویتی عمیق (RL) روش های بالقوه برای رفع نیاز به مدل های دقیق سیستم ارائه شده است. در این مقاله یک چارچوب یادگیری تقویت شده بدون مدل سلسله مراتبی توسعه می دهیم که دربرگیرنده یک خط مشی کنترل حرکت و یک خط مشی برنامه ریزی برای اجرای مهارت های دقیق شوت کردن روی روبات های چهار پا در دنیای واقعی است.

We address the problem of enabling quadrupedal robots to perform precise shooting skills in the real world using reinforcement learning. Developing algorithms to enable a legged robot to shoot a soccer ball to a given target is a challenging problem that combines robot motion control and planning into one task. To solve this problem, we need to consider the dynamics limitation and motion stability during the control of a dynamic legged robot. Moreover, we need to consider motion planning to shoot the hard-to-model deformable ball rolling on the ground with uncertain friction to a desired location. In this paper, we propose a hierarchical framework that leverages deep reinforcement learning to train (a) a robust motion control policy that can track arbitrary motions and (b) a planning policy to decide the desired kicking motion to shoot a soccer ball to a target. We deploy the proposed framework on an A1 quadrupedal robot and enable it to accurately shoot the ball to random targets in the real world. INTRODUCTION: Quadrupedal robots have attracted a great deal of interest in the robotics community, and classical model-based methods [1]–[3] have been effective paradigms for designing controllers for these robots. However, model-based methods need careful system modeling, with intricate models being less practical for online deployment due to computational limits. Furthermore, it can be difficult to apply model-based methods in settings where the dynamics are difficult to model, such as a deformable soccer ball. To shoot a ball, a controller is needed to enable the robot to swing its leg quickly to gain enough momentum to kick the ball to roll on the ground while also maintaining balance of its body during the fast kicking motion. Besides the motion control of the robot, motion planning is also challenging and requires the robot to consider the real-time ball and goal positions to generate a reasonable body motion while respecting the robot’s physical limits. Moreover, in order to precisely shoot the ball to the goal, the motion planner needs to also deal with the hard-to-model contact between the robot and the deformable soccer ball, as well as uncertainties associated with the rolling friction between the ball and the ground. Although this task can be challenging for model-based methods, recent deep reinforcement learning (RL) methods have presented potential techniques for tackling this without the need for explicit models of systems. In this paper, we develop a hierarchical model-free RL framework that includes a motion control policy and a planning policy to perform precise shooting skills on quadrupedal robots in the real world.

ترجمه این مقاله در 20 صفحه آماده شده و در ادامه نیز صفحه 17 آن به عنوان نمونه قرار داده شده است که با خرید این محصول می توانید، فایل WORD و PDF آن را دریافت نمایید.