یک ابزار نرم افزاری می تواند به رفع این مشکل کمک کند

بر اساس مطالعه جدیدی که در دانشگاه میشیگان انجام شده است، روشی کم‌هزینه برای آموزش مدل‌های زبانی بزرگ، مانند رشته GPT، در همان زمان با 30 درصد انرژی کمتر به پایان می‌رسد.

این رویکرد بر اساس پیش‌بینی‌های ولز فارگو از تقاضای انرژی با استفاده از هوش مصنوعی، می‌تواند انرژی کافی برای تامین انرژی ۱.۱ میلیون خانه آمریکایی در سال ۲۰۲۶ فراهم کند. همچنین می‌تواند پیش‌بینی صندوق بین‌المللی پول مبنی بر اینکه مراکز داده می‌توانند 1.2 درصد از انتشار کربن در جهان را تا سال 2027 تشکیل دهند – و تقاضای آب ناشی از مصرف انرژی را کاهش دهد.

برخی از کارشناسان می گویند که این هزینه ها می تواند بیشتر از مزایای زیست محیطی باشد. آنها استدلال می‌کنند که هوش مصنوعی می‌تواند با شناسایی راه‌هایی برای بهبود زنجیره‌های تامین و شبکه، مدیریت نیازهای انرژی ما و بهبود تحقیقات تغییرات آب و هوا، تغییر دهنده بازی در مبارزه با تغییرات آب و هوایی باشد. با این حال، این اتلاف انرژی را توجیه نمی کند و مقداری از انرژی استفاده شده برای آموزش هوش مصنوعی تاثیری بر زمان آموزش و دقت مدل ندارد.

“چرا چیزی را خرج کنیم در حالی که منفعتی ندارد؟” مشرف چاودری، دانشیار علوم و مهندسی کامپیوتر و نویسنده مسئول این مطالعه که در سی امین سمپوزیوم اصول سیستم های عامل دوشنبه گذشته ارائه شد، گفت.

چودری گفت: «ما نمی‌توانیم به ساخت مراکز داده بزرگ‌تر و بزرگ‌تر ادامه دهیم، زیرا ظرفیت عملیاتی کردن آنها را نخواهیم داشت. اگر بتوانیم توان مصرفی هوش مصنوعی را کاهش دهیم، می‌توانیم ردپای کربن و نیازهای خنک‌کننده هوش مصنوعی را کاهش دهیم و اجازه دهیم محاسبات بیشتری با محدودیت‌های انرژی فعلی ما مطابقت داشته باشد.»

اتلاف انرژی زمانی ایجاد می شود که آموزش هوش مصنوعی بین GPU ها که پردازنده های کامپیوتری هستند که در داده های بزرگ و برنامه های گرافیکی تخصص دارند، به طور نابرابر تقسیم شود. اگرچه این امر در را به روی اتلاف باز می کند، تقسیم کار برای پردازش مجموعه داده های بزرگ ضروری است.

Jae-Won Chung، دانشجوی دکترای علوم و مهندسی کامپیوتر و اولین نویسنده این مطالعه، می‌گوید: «مدل‌های هوش مصنوعی امروزی آنقدر بزرگ هستند که نمی‌توانند در یک پردازنده کامپیوتری جا شوند. “برای آموزش باید به ده ها هزار پردازنده تقسیم شود، اما تقسیم مدل ها به اندازه های دقیقاً مساوی در همه پردازنده ها عملا غیرممکن است.”

تقسیم مشاغل آموزشی به طور مساوی بسیار دشوار است زیرا برخی از کارها باید در یک پردازنده با هم گروه بندی شوند، مانند نحوه گروه بندی هر قسمت از مجموعه کتاب در یک قفسه سازمان یافته. بسته به نحوه گروه بندی ماموریت ها، برخی از جادوگران ممکن است با آموزش هوش مصنوعی دایره المعارف بریتانیکا گیر کنند در حالی که به برخی دیگر سه گانه فانتزی اختصاص داده شده است.

از آنجایی که روش‌های آموزشی فعلی هر پردازنده را با سرعت کامل اجرا می‌کنند، پردازنده‌هایی با بار سبک‌تر محاسبات خود را قبل از دیگران به پایان می‌رسانند. این نه تنها باعث افزایش سرعت آموزش می شود که فقط پس از اتمام کار هر پردازنده تکمیل می شود، بلکه هدر می رود زیرا محاسبات سریعتر به قدرت بیشتری نیاز دارد. علاوه بر این، مشکلاتی مانند نقص سخت افزار یا شبکه با کاهش سرعت محاسبات یک پردازنده، باعث هدر رفتن انرژی می شود.

برای صرفه جویی در انرژی، محققان یک ابزار نرم افزاری به نام Perseus توسعه دادند که مسیر حیاتی یا مجموعه ای از وظایف فرعی را شناسایی می کند که تکمیل آنها طولانی ترین زمان را می برد. سپس Perseus سرعت پردازنده‌هایی را که در مسیر بحرانی نیستند کاهش می‌دهد به طوری که همه آنها تقریباً در یک زمان وظایف خود را به پایان می‌رسانند و مصرف انرژی غیرضروری را حذف می‌کنند.

Choudhury گفت: کاهش هزینه انرژی هوش مصنوعی می تواند پیامدهای مهمی برای دسترسی عادلانه به هوش مصنوعی داشته باشد. اگر کشوری قدرت کافی برای اجرای یک مدل بزرگ را نداشته باشد، ممکن است نیاز به استفاده از خدمات از دورتر داشته باشد، یا مجبور باشد مدل‌های کوچک‌تر و کمتر دقیق‌تری را اجرا کند.

این تیم پرسئوس را با آموزش GPT-3، سه مدل زبان بزرگ دیگر و یک مدل بینایی کامپیوتری آزمایش کردند.

Perseus یک ابزار منبع باز است که به عنوان بخشی از Zeus، ابزاری برای اندازه‌گیری و بهینه‌سازی مصرف انرژی هوش مصنوعی در دسترس است.