بهینه سازی می تواند ردپای کربن آموزش هوش مصنوعی را تا 75 درصد کاهش دهد.

یک روش جدید برای بهینه‌سازی آموزش مدل‌های یادگیری عمیق، ابزاری که به سرعت در حال تکامل برای تقویت هوش مصنوعی است، می‌تواند تقاضای انرژی هوش مصنوعی را کاهش دهد.

چارچوب بهینه‌سازی منبع باز که در دانشگاه میشیگان توسعه یافته است، مدل‌های یادگیری عمیق را در طول آموزش مورد مطالعه قرار می‌دهد و بهترین موازنه بین مصرف انرژی و سرعت آموزش را مشخص می‌کند.

مشرف چاودوری، دانشیار مهندسی برق و علوم کامپیوتر گفت: «در مقیاس‌های شدید، آموزش مدل GPT-3 فقط یک بار 1287 مگاوات ساعت مصرف می‌کند که برای تأمین انرژی یک خانواده متوسط ​​آمریکایی برای 120 سال کافی است.

با زئوس، چارچوب جدید بهینه‌سازی انرژی که توسط Chowdhury و تیمش توسعه داده شده است، ارقامی مانند این می‌تواند تا ۷۵ درصد بدون هیچ سخت‌افزار جدیدی کاهش یابد – و تنها با تأثیرات جزئی بر زمان لازم برای آموزش یک مدل. این در سمپوزیوم 2023 USENIX در مورد طراحی و پیاده سازی سیستم های شبکه ای (NSDI) در بوستون ارائه شد.

استفاده‌های اصلی از مدل‌های یادگیری عمیق سنگین در سه سال گذشته افزایش یافته است، از مدل‌های تولید تصویر و ربات‌های گفتگوی رسا گرفته تا سیستم‌های توصیه‌کننده که TikTok و Amazon را تامین می‌کنند. با توجه به اینکه رایانش ابری هوانوردی تجاری را منتشر کرده است، افزایش بار آب و هوا ناشی از هوش مصنوعی یک نگرانی مهم است.

Jae-Won Chung، دانشجوی دکترای علوم و مهندسی کامپیوتر و نویسنده اول این مطالعه، می‌گوید: «کار موجود اساساً بر بهینه‌سازی آموزش یادگیری عمیق برای تکمیل سریع‌تر تمرکز می‌کند، اغلب بدون در نظر گرفتن تأثیر بر بهره‌وری انرژی». ما متوجه شدیم که انرژی که به پردازنده‌های گرافیکی می‌ریزیم، بازدهی کم‌تری به ما می‌دهد، که به ما امکان می‌دهد تا مصرف انرژی را با کاهش نسبتاً کمی کاهش دهیم.»

یادگیری عمیق خانواده ای از تکنیک ها است که از شبکه های عصبی مصنوعی چند لایه برای مقابله با طیف وسیعی از وظایف رایج یادگیری ماشین استفاده می کند. اینها همچنین به عنوان شبکه های عصبی عمیق (DNN) شناخته می شوند. خود مدل‌ها بسیار پیچیده هستند و از برخی از عظیم‌ترین مجموعه‌های داده‌ای که تاکنون در یادگیری ماشین استفاده شده‌اند، یاد می‌گیرند. به همین دلیل، آن‌ها از قابلیت‌های چندوظیفه‌ای واحدهای پردازش گرافیکی (GPU) بهره می‌برند که 70 درصد از توانی را که برای آموزش یکی از این مدل‌ها صرف می‌شود، مصرف می‌کنند.

زئوس از دو دستگیره نرم افزاری برای کاهش مصرف انرژی استفاده می کند. یکی محدودیت قدرت GPU است که مصرف انرژی GPU را کاهش می دهد و در عین حال سرعت آموزش مدل را تا تنظیم مجدد تنظیم می کند. دیگری پارامتر اندازه دسته ای مدل یادگیری عمیق است که کنترل می کند چند نمونه از داده های آموزشی مدل قبل از به روز رسانی روشی که مدل روابطی را که در داده ها پیدا می کند را نشان می دهد. اندازه های دسته ای بالاتر زمان تمرین را کاهش می دهد، اما با افزایش مصرف انرژی.

زئوس قادر است هر یک از این تنظیمات را در زمان واقعی تنظیم کند و به دنبال نقطه مبادله بهینه ای باشد که در آن مصرف انرژی با کمترین تأثیر ممکن بر زمان تمرین به حداقل برسد. در مثال‌هایی، تیم توانست با نمایش هر ترکیب ممکن از این دو پارامتر، این نقطه مبادله را به صورت بصری نشان دهد. در حالی که این سطح از دقت در عمل با یک کار آموزشی خاص اتفاق نمی افتد، زئوس از ماهیت تکراری یادگیری ماشین استفاده می کند تا بسیار نزدیک شود.

جی یو، یک فارغ‌التحصیل اخیر دکترا در علوم و مهندسی کامپیوتر، می‌گوید: “خوشبختانه، شرکت‌ها یک DNN را بارها و بارها بر روی داده‌های جدیدتر آموزش می‌دهند، اغلب هر ساعت. و نویسنده ارشد این مطالعه.

زئوس اولین چارچوبی است که برای اتصال به گردش‌های کاری موجود برای انواع وظایف یادگیری ماشین و پردازنده‌های گرافیکی طراحی شده و مصرف انرژی را بدون نیاز به تغییر در سخت‌افزار یا زیرساخت مرکز داده کاهش می‌دهد.

علاوه بر این، تیم نرم‌افزار مکملی را توسعه داده است که روی زئوس قرار می‌گیرد تا ردپای کربن را بیشتر کاهش دهد. این نرم‌افزار که Chase نام دارد، زمانی که انرژی کم کربن در دسترس باشد، سرعت را امتیاز می‌دهد و بازده را به قیمت سرعت در زمان‌های اوج مصرف انتخاب می‌کند، که احتمالاً به افزایش تولید انرژی با کربن فشرده مانند زغال‌سنگ نیاز دارد. چیس در هکاتون CarbonHack سال گذشته مقام دوم را کسب کرد و قرار است در 4 می در کنفرانس بین‌المللی در کارگاه آموزشی ارائه شود.

ژنینگ یانگ، دانشجوی کارشناسی ارشد در رشته علوم و مهندسی کامپیوتر، گفت: “به دلیل حجم بالای مجموعه داده ها یا قوانین داده، همیشه نمی توان به راحتی مشاغل آموزشی DNN را به مکان های دیگر منتقل کرد.” به تعویق انداختن مشاغل آموزشی به بازه‌های زمانی سبزتر نیز ممکن است گزینه‌ای نباشد، زیرا DNN‌ها باید با به‌روزترین داده‌ها آموزش داده شوند و به سرعت در تولید مستقر شوند تا به بالاترین دقت دست یابند.

هدف ما طراحی و پیاده‌سازی راه‌حل‌هایی است که با این محدودیت‌های واقع‌بینانه در تضاد نباشد و در عین حال ردپای کربن آموزش DNN را کاهش دهیم.»