مروری بر LM بدون MatMul. توالی عملیات برای خود توجهی وانیلی (بالا سمت چپ)، میکسر توکن بدون MatMul (بالا سمت راست)، و پشته های سه گانه نشان داده شده است. MatMul-free LM از یک میکسر نمادین بدون MatMul (MLGRU) و یک میکسر کانال بدون MatMul (MatMul-free GLU) برای حفظ ساختار ترانسفورماتور مانند و در عین حال کاهش هزینه محاسبات استفاده می کند. اعتبار: arXiv (2024). doi: 10.48550/arxiv.2406.02528
تیمی از مهندسان نرم افزار در UCLA با همکاری یکی از همکارانش از دانشگاه سوچو و دیگری از لوکسی تک، راهی برای اجرای مدل های زبان هوش مصنوعی بدون استفاده از ضرب ماتریس ایجاد کرده اند. این تیم یک مقاله تحقیقاتی در مورد این روش منتشر کرده است. arXiv Preprint Server رویکرد جدید خود و نحوه عملکرد آن در طول آزمایش را شرح می دهد.
با افزایش قدرت برنامه های LLM مانند ChatGPT، منابع محاسباتی مورد نیاز آنها نیز افزایش یافته است. بخشی از فرآیند اجرای یک LLM شامل انجام ضرب ماتریس (MatMul) است، که در آن داده‌ها با وزن‌ها در شبکه‌های عصبی ترکیب می‌شوند تا بهترین پاسخ‌های ممکن را به پرسش‌ها ارائه کنند.
در اوایل، محققان هوش مصنوعی کشف کردند که واحدهای پردازش گرافیکی (GPU) برای برنامه های کاربردی شبکه عصبی ایده آل هستند زیرا قادر به اجرای چندین فرآیند به طور همزمان هستند – در این مورد، چندین MatMul. اما در حال حاضر، حتی با وجود خوشه‌های گرافیکی عظیم، MatMuls در حال تبدیل شدن به گلوگاه هستند زیرا قدرت پردازنده‌های گرافیکی همراه با تعداد افرادی که از آنها استفاده می‌کنند، افزایش می‌یابد.
در این مطالعه جدید، تیم تحقیقاتی ادعا می‌کند که راهی برای اجرای مدل‌های زبان هوش مصنوعی بدون نیاز به پیاده‌سازی MatMuls ایجاد کرده است و این کار را به همان میزان کارآمد انجام می‌دهد.
برای دستیابی به این موفقیت، تیم تحقیقاتی رویکرد جدیدی را در مورد نحوه وزن‌دهی داده‌ها اتخاذ کرد و روش فعلی را که بر نقاط شناور 16 بیتی متکی است با روشی جایگزین کرد که تنها از سه مورد استفاده می‌کند: {-1، 0، 1} همراه با توابع جدید. که انواع عملیات مشابه روش قبلی را انجام می دهند.
آنها همچنین تکنیک های کمی جدید را توسعه دادند که به افزایش عملکرد کمک کرد. با وزن کمتر، پردازش کمتری مورد نیاز است و در نتیجه قدرت محاسباتی کمتری مورد نیاز است. اما آنها همچنین نحوه پردازش LLM ها را با استفاده از آنچه که به عنوان واحد بازگشتی خطی بدون MatMul (MLGRU) توصیف می کنند، به جای بلوک های ترانسفورماتور سنتی تغییر دادند.
محققان در آزمایش ایده‌های جدید خود دریافتند که سیستمی که از رویکرد جدید آنها استفاده می‌کند، عملکردی قابل مقایسه با سیستم‌های پیشرفته‌ای را که در حال حاضر مورد استفاده قرار می‌گیرند، به دست آورده است. در همان زمان، آنها دریافتند که سیستم آنها از قدرت محاسباتی و برق بسیار کمتری نسبت به سیستم های معمولی استفاده می کند.
اطلاعات بیشتر:
Rui J. Zhou و همکاران، مدل‌سازی زبان بدون مواد مقیاس‌پذیر، arXiv (2024). doi: 10.48550/arxiv.2406.02528
arXiv
© 2024 Web of Science
نقل قول:مهندسین نرم افزار راهی برای اجرای مدل های زبان هوش مصنوعی بدون ضرب ماتریس ایجاد می کنند (2024، 26 ژوئن) در 27 ژوئن 2024 از https://techxplore.com/news/2024-06-software-ai-language-matrix-multiplication بازیابی شده است. html
این برگه یا سند یا نوشته تحت پوشش قانون کپی رایت است. علیرغم هرگونه معامله منصفانه به منظور مطالعه یا تحقیق خصوصی، هیچ بخشی از آن بدون اجازه کتبی قابل تکثیر نیست. محتوا فقط برای مقاصد اطلاعاتی ارائه شده است.