RAGE منابع ChatGPT را شناسایی می کند

تیمی از محققان در دانشگاه واترلو ابزار جدیدی به نام RAGE ایجاد کرده‌اند که نشان می‌دهد مدل‌های زبان بزرگ (LLM) مانند ChatGPT از کجا اطلاعات خود را دریافت می‌کنند و آیا می‌توان به آن اطلاعات اعتماد کرد یا خیر.

LLM‌هایی مانند ChatGPT بر «یادگیری عمیق بدون نظارت» تکیه می‌کنند، اتصالات و دریافت اطلاعات از سراسر اینترنت به روش‌هایی که رمزگشایی برای برنامه‌نویسان و کاربران دشوار است. علاوه بر این، دارندگان LLM مستعد “توهم کردن” هستند – یعنی به طور متقاعدکننده ای در مورد مفاهیم و منابعی می نویسند که یا نادرست هستند یا وجود ندارند.

جوئل رورسث، دکترای علوم کامپیوتر از دانشگاه واترلو، می‌گوید: «لزوماً نمی‌توانید به یک LLM برای توضیح خود اعتماد کنید». دانشجو و نویسنده اصلی مطالعه. “او ممکن است توضیحات یا نقل قول هایی را که خودش ساخته است نیز ارائه دهد.”

ابزار جدید تیم Rorseth از یک استراتژی اخیرا توسعه یافته به نام Retrieval Augmented Generation (RAG) استفاده می کند تا زمینه پاسخ های MBA به یک درخواست داده شده را درک کند.

رورست گفت: “RAG به کاربران اجازه می دهد منابع خود را برای متن به LLM ارسال کنند. ابزار ما نشان می دهد که چگونه منابع مختلف هنگام استفاده از RAG به پاسخ های متفاوتی می رسند، که به ارزیابی قابل اعتماد بودن این اطلاعات کمک می کند.”

از آنجایی که ابزار آنها بر روی پتانسیل توضیح تولید پیشرفته بازیابی تمرکز دارد، آن را “RAGE در برابر ماشین” می نامند.

رورست گفت، درک اینکه MBAهایی مانند ChatGPT اطلاعات خود را از کجا دریافت می کنند – و اطمینان از اینکه آنها اطلاعات نادرست را تکرار نمی کنند – اهمیت بیشتری پیدا می کند زیرا صنایع بسیار حساس و انسان محور مانند بخش های پزشکی و حقوقی این ابزارها را اتخاذ می کنند.

او گفت: «ما اکنون در جایی هستیم که نوآوری از مقررات پیشی گرفته است. مردم از این فناوری‌ها بدون درک خطرات احتمالی آن‌ها استفاده می‌کنند، بنابراین ما باید مطمئن شویم که این محصولات ایمن، قابل اعتماد و قابل اعتماد هستند.»

تحقیق با عنوان “خشم در برابر ماشین: توضیح بازیابی پیشرفته برای LLM” در مجموعه مقالات چهلمین کنفرانس بین المللی IEEE در مهندسی داده منتشر خواهد شد. در حال حاضر در دسترس است arXiv سرور چاپ پیشرفته