دانلود ترجمه مقاله کلان داده ها برای پردازش زبان های طبیعی

1. مقدمه 2. چارچوب های کلان داده 3. خطوط NLP 4. پردازش کلان داده ها 5. آزمایشات 6. نتیجه گیری و کارهای آتی

چکیده – الزامات مرتبط با توان محاسباتی در سال های اخیر به شدت افزایش یافته است. این موضوع همچنین در بسیاری از وظایف پردازش زبان نیز صادق می باشد و این موضوع به دلیل افزایش شدید اطلاعات متنی است که باید در یک چارچوب زمانی معقول، پردازش شوند. این سناریو منجر به تغییر پارادیم در معماری های رایانشی و استراتژی های پردازش داده ای بزرگ مقیاس مورد استفاده در زمینه پردازش زبان های طبیعی شده است. در این مقاله، ما یک معماری توزیع شده جدید و فناوری تحلیل متنی در حال اجرا در زنجیره کاملی از پردازنده های زبانی در چندین ماشین مجازی را ارائه داده است. علاوه بر این، ما یک سری از آزمایشات انجام شده با هدف تحلیل قابلیت های پردازش زبان مورد استفاده در این محیط را تشریح کرده ایم. ما استفاده از طوفان در یک رویکرد جدید برای پردازش زبان توزیع شده مقیاس پذیر در ماشین های متعدد را تشریح کرده و اثربخشی آن را هنگام پردازش اسناد در مقیاسی متوسط و بزرگ را ارزیابی کرده ایم. این آزمایشات نشان می دهند که زمینه بزرگی برای بهبود عملکرد پردازش زبان در زمان اتخاذ معماری های موازی وجود دارد و در این راستا ما می توانیم نتایج بهتری را در استفاده از خوشه های بزرگ با تعداد زیادی از گره های پردازشی انتظار داشته باشیم. مقدمه: متخصصین در بخش های مختلف، نیاز به دسترسی به دانش و اطلاعاتی کامل و دقیق دارند تا بتوانند تصمیمات خوبی اتخاذ نمایند. این موضوع روز به روز به دلیل حجم گسترده اطلاعاتی که باید پردازش کنند، افزایش می یابد. این موضوع همچنین بدین معنی است که دانش و اطلاعات متخصصین به سرعت در حال منقضی شدن می باشد. با این حال، تصمیمات آنها، تاثیرات بسیاری روی دنیای ارتباطی امروزه می گذارد. بنابراین، تصمیم گیرندگان حرفه ای وارد رقابتی شده اند که باید همیشه اطلاعات کافی برای مواجهه با تغییرات را داشته باشند. با این حال، حجم اخبار و اسناد ارائه شده توسط کارگزاران عمده اطلاعاتی به سطحی رسیده که ابزارهای پیشرفته، برای ارائه راه حلی جامع، کافی نمی باشند.

Requirements in computational power have grown dramatically in recent years. This is also the case in many language processing tasks, due to the overwhelming and ever increasing amount of textual information that must be processed in a reasonable time frame. This scenario has led to a paradigm shift in the computing architectures and large-scale data processing strategies used in the Natural Language Processing field. In this paper we present a new distributed architecture and technology for scaling up text analysis running a complete chain of linguistic processors on several virtual machines. Furthermore, we also describe a series of experiments carried out with the goal of analyzing the scaling capabilities of the language processing pipeline used in this setting. We explore the use of Storm in a new approach for scalable distributed language processing across multiple machines and evaluate its effectiveness and efficiency when processing documents on a medium and large scale. The experiments have shown that there is a big room for improvement regarding language processing performance when adopting parallel architectures, and that we might expect even better results with the use of large clusters with many processing nodes. Introduction: Professionals in any sector need to have access to accurate and complete knowledge to be able to take well-informed decisions. This is getting more and more difficult due to the sheer size of data they need to process. This also means that the knowledge and information of professionals is quickly getting out of date. However, their decisions have an even bigger impact in today’s highly-interconnected world. Thus, professional decision-makers are involved in a constant race to stay informed and to respond adequately to any changes, developments and news. However, the volume of news and documents provided by major information brokers has reached a level where state-of-the-art tools are no longer adequate to provide a solution.