نتیجه گرفته شده است: به‌طور کلی کار ما چالش‌های من را برای پیشرفت در ترجمه ماشینی مجموعه ادبی می‌کند و ما امیدواریم که انتشار عمومی داده‌ها PAR3 نتایج را با آنها مقابله کند.
کاترین و همکارانش، از پژوهشگران این تحقیق، گفتند: ماشینی(MT) دارای قابلیت ترجمه مترجمان انسانی با بهبود روش‌های آموزشی و کارایی کلی آن‌هاست. ترجمه ادبی نسبت به سنتی ترجمه ماشینی مربوط به کمتری است زیرا مترجمان باید معادل سازی معنا، خوانایی و تفسیری انتقادی را در زبان مقصد هدف کنند. این ویژگی همراه با زمینه پیچیده در سطح گفتمان موجود در متون ادبی، ترجمه ماشینی ادبی را برای مدل‌سازی و ارزیابی محاسباتی نیز می‌تواند چالش برانگیزتر کند.
این گروه تحقیقاتی با استفاده از بازخورد متخصصان انسانی به عنوان یک راهنما در نهایت یک مدل خودکار پس از ویرایش بر اساس GPT-3، یک تحقیقات کاربردی که توسط یک گروه در شرکت هوش مصنوعی OpenAI معرفی شد، ایجاد می‌کند. آنها دریافتند که مترجمان انسانی متخصص ترجمه‌های ادبی تولید شده توسط این مدل را به میزان ۶۹ درصد می‌دهند.
در حال حاضر ابزار کنونی برای ترجمه جملات اساسی و همچنین متون کوتاه یا اسناد غیر رسمی استفاده می‌شود. متون ادبی مانند رمان یا داستان هنوز به طور کامل توسط مترجمان انسانی متخصص ترجمه می‌شود که در درک معانی انتزاعی و پیچیده و ترجمه آن به زبانی دیگر مجرب هستند. در حالی که چندین تحقیق مدل‌های محاسباتی را برای ترجمه متون ادبی بررسی کرده‌اند، اما در این زمینه هنوز محدود است.
دانشگاه ماساچوست آمهرست آمریکا به تازگی مطالعه‌ای انجام داد که کیفیت ترجمه‌های متون ادبی توسط ماشین‌ها را با مقایسه آنها با ترجمه‌های متنی مشابه ایجاد شده توسط انسان بررسی کرد و برخی از کاستی‌های مدل‌های محاسباتی ترجمه متون خارجی به انگلیسی را برجسته کرد.
مجموعه داده های سال خود که توسط افراد برای دامنه تحقیق گردآوری شده است، شامل ۱۲۱ هزار پاراگراف است که از ۱۱۸ رمانی که در اصل به زبان های مختلف به انگلیسی نوشته شده است. برای هر یک از این پاراگراف‌ها مجموعه‌ای شامل ترجمه‌های مختلف انسانی نیز می‌شود که توسط ترجمه گوگل(Google translate) تولید شد.
به نقل از تک‌اکسپلور، پیشرفت‌های بعدی در زمینه ماشینی(ML) کیفیت ابزارهای ترجمه خودکار را تا حد زیادی بهبود بخشیده است.
تای و همکارانش گفته اند: با استفاده از مجموعه (PAR3) متوجه شدیم که مترجمان ادبی خبر ترجمه منابع انسانی را به پاراگراف های ترجمه شده ماشینی به میزان 84 درصد می دهند. در حالی که کیفیتهای پیشرفته ترجمه ماشینی خودکار با این اولویتها مرتبط نیست. بررسی‌ها می‌توانند خروجی‌های ترجمه ماشینی نه تنها حاوی ترجمه‌های نادرست باشند، بلکه خطاهای مخل گفتمان و تناقضات سبکی است.
یافته‌های این تحقیق در مجله arXiv منتشر شده است.
قابل توجه است این بازخوردی است که آنها از مترجمان انسانی جمعآوری کنند، به این نتیجه می رسند که مواردی را با ترجمه های ایجاد شده توسط ترجمه گوگل شناسایی کنند.
به‌طور کلی یافته‌های جمع‌آوری‌شده توسط تای و همکارانش نشان می‌دهد ارزیابی‌های ترجمه ماشینی (به عنوان مثال BLEU، BLEURT و BLONDE) ممکن است نتیجه‌گیری شود زیرا مترجمان انسانی با پیش‌بینی‌های آنها موافق نبودند.
علاوه بر این در این مجموعه PAR3 که توسط تای و همکارانش گردآوری شده است، می‌توان توسط گروه‌های دیگر برای آموزش یا ارزیابی مدل‌های زبان خود استفاده کرد.
انتهای پیام
در آینده‌های این تحقیق می‌توان به تحقیقات جدید در مورد استفاده از ابزار ترجمه ماشینی برای ترجمه متون ادبی کمک کرد.
معیارها با استفاده از معیارهای رایج برای استفاده از ابزارهای ترجمه ماشینی، کیفیت ترجمه های انسانی این پاراگراف های ادبی را با ترجمه مترجم گوگل مقایسه کردند. همزمان از مترجمان انسانی متخصصان می پرسند که کدام ترجمه ها را می دهند. در حالی که آنها را ترغیب کردند تا مواردی را با کمترین درک خود شناسایی کنند.
هدف اصلی کار بعدی تای و همکارانش درک بهتر روش‌هایی بود که ابزارهای پیشرفته ترجمه ماشینی در مقایسه با ترجمه‌های انسانی هنوز در ترجمه متون ادبی شکست می‌خورند. امید آنها این بود که این کار به زمینه‌هایی که توسعه‌دهندگان باید روی بهبود عملکرد این مدل‌ها، کمک کند، شناسایی کنند.