زمانی که یادگیری عمیق با یادگیری فعال در عصر مدل های بنیادی روبرو می شود

یک تیم تحقیقاتی چینی یک مقاله مروری در مورد یادگیری فعال عمیق نوشت، روشی که به طور فزاینده ای محبوب برای ترکیب یادگیری فعال با یادگیری عمیق برای انتخاب نمونه در آموزش شبکه های عصبی برای وظایف هوش مصنوعی است. منتشر شد در محاسبات هوشمند.

با توجه به اینکه تحقیق در مورد تکنیک های یادگیری فعال عمیق در زمینه مدل های پایه محدود است، این بررسی بینش هایی را در مورد این موضوع ارائه می دهد. رویکردهای یادگیری فعال عمیق، کاربردها و به ویژه چالش‌های موجود «در عصر مدل‌های پایه» را بررسی می‌کند و به این نتیجه می‌رسد که لازم است تکنیک‌های یادگیری عمیق فعال سفارشی برای مدل‌های پایه توسعه یابد.

اخیراً، موفقیت مدل های بنیادی توجه را به ماهیت داده فشرده هوش مصنوعی جلب کرده است. مدل‌های پایه معمولاً با فناوری‌های یادگیری عمیق ساخته می‌شوند و بر روی مجموعه داده‌های برچسب‌گذاری شده عظیم آموزش داده می‌شوند. تنها با برچسب گذاری یا حاشیه نویسی دقیق داده ها، مدل ها می توانند پیش بینی های دقیقی داشته باشند و با وظایف مختلف پایین دستی سازگار شوند. با این حال، تولید چنین داده‌هایی پر زحمت، دشوار و پرهزینه است.

اینجاست که یادگیری فعال عمیق وارد می‌شود. استفاده از یادگیری فعال برای آموزش مدل‌های یادگیری عمیق می‌تواند به طور موثری کار سنگین برچسب‌گذاری را کاهش دهد، زیرا یادگیری فعال تنها با ارزش‌ترین نمونه‌ها را انتخاب و برچسب‌گذاری می‌کند. در نتیجه، یادگیری فعال عمیق می‌تواند فرآیند یادگیری را هموار کند و هزینه‌ها را کاهش دهد و به «داده‌های کارآمد از نظر منابع که به طور قوی برچسب‌گذاری شده‌اند» کمک کند.

در راستای ساختار یک چارچوب یادگیری فعال معمولی، که شامل داده های پرس و جو، استراتژی پرس و جو، حاشیه نویسی انسانی، و آموزش مدل در یک چرخه است، رویکردهای یادگیری فعال عمیق به استراتژی های پرس و جو، ویژگی های مجموعه داده پرس و جو و آموزش مدل مربوط می شود.

استراتژی های پرس و جو موثر کلید انتخاب با ارزش ترین نمونه ها برای حاشیه نویسی داده ها هستند. استراتژی های پرس و جو یادگیری فعال عموماً در سه دسته قرار می گیرند: ترکیب پرس و جو عضویت، نمونه گیری مبتنی بر جریان، و نمونه گیری مبتنی بر استخر. این دسته بندی بر اساس جریان نمونه های بدون برچسب به حاشیه نویس داده ها است.

از سوی دیگر، برای الگوریتم‌های یادگیری عمیق فعال، چهار نوع استراتژی وجود دارد: مبتنی بر عدم قطعیت، مبتنی بر توزیع، ترکیبی و طراحی خودکار.

استراتژی‌های مبتنی بر عدم قطعیت، نمونه‌هایی را با بالاترین عدم قطعیت شناسایی می‌کنند، استراتژی‌های مبتنی بر توزیع بر ساختار زیربنایی داده‌ها برای شناسایی نمونه‌های نماینده تمرکز می‌کنند، و استراتژی‌های ترکیبی از ترکیبی از معیارهای انتخاب مبتنی بر عدم قطعیت و مبتنی بر توزیع استفاده می‌کنند. هر سه نوع به صورت دستی طراحی شده اند و بنابراین به راحتی برای مدل های یادگیری عمیق سازگار نیستند و بیش از حد به تخصص انسان وابسته هستند. این مشکلات را می توان با استراتژی های طراحی شده به طور خودکار که از فرایادگیری یا یادگیری تقویتی استفاده می کند، برطرف کرد.

استراتژی های پرس و جو باید با ویژگی های مختلف مجموعه داده، مانند اندازه، بودجه، و توزیع مجموعه داده پرس و جو، که زیرمجموعه ای است که به دقت از یک مجموعه داده بزرگتر برای برچسب گذاری انتخاب شده است، تنظیم شود. به طور خاص، تقویت داده ها اغلب برای بهبود تنوع و کمیت داده های آموزشی برچسب گذاری شده استفاده می شود. استراتژی‌های متفاوتی باید اتخاذ شود تا متناسب با اندازه‌های مختلف بودجه باشد و با عدم تطابق بین توزیع داده‌های برچسب‌گذاری‌شده و بدون برچسب – یعنی به اصطلاح مشکل تغییر دامنه – مقابله شود.

برای آموزش مدل، نویسندگان درباره چگونگی ترکیب یادگیری فعال عمیق با روش‌های جریان اصلی با داده‌های سنگین فعلی، از جمله آموزش نظارت شده، یادگیری نیمه نظارتی، یادگیری انتقالی، و یادگیری بدون نظارت، برای دستیابی به عملکرد مطلوب مدل بحث کردند.

سپس کاربردهای یادگیری عمیق فعال در سناریوهای مختلف، به ویژه آنهایی که شامل جمع‌آوری داده‌ها و حاشیه‌نویسی پرهزینه و وقت‌گیر هستند، معرفی شدند. همانطور که نویسندگان مشاهده کردند، یادگیری فعال عمیق نه تنها برای پردازش داده‌های تک وجهی مانند داده‌های بصری، زبان طبیعی، و سیگنال‌های صوتی، بلکه برای پردازش داده‌های چندوجهی فراوان نیز استفاده شده است.

با این حال، نویسندگان همچنین خاطرنشان کردند که اکثر روش‌های یادگیری عمیق فعال کنونی به جای مدل‌های بنیادی جامع و فشرده بر روی مدل‌های تکلیفی متمرکز هستند.

برای ادغام بهتر یادگیری فعال عمیق در مدل‌های پایه و به حداکثر رساندن عملکرد مشترک، چندین چالش کلیدی در آموزش و اصلاح مدل‌های پایه باید مورد توجه قرار گیرد، از جمله ارزیابی کیفیت داده‌ها، تنظیم دقیق فعال، تعامل کارآمد بین انتخاب داده‌ها و حاشیه‌نویسی، و توسعه یک روش کارآمد. سیستم عملیات یادگیری ماشین

ارائه شده توسط محاسبات هوشمند