گروهی از محققان در Adobe اخیراً مقاله ای را در مورد یک مدل هوش مصنوعی جدید به نام VideoGigaGAN منتشر کرده اند که معتقدیم ممکن است در یک محصول آینده منتشر شود. کاری که انجام می دهد این است که ویدیوهای با کیفیت پایین تا هشت برابر وضوح اصلی خود بدون به خطر انداختن ثبات یا جنبه های مهم منبع منبع، سطح بالا است. چندین کلیپ نمایشی در وب سایت پروژه یافت می شود که قابلیت های آن را نشان می دهد. این می تواند یک ویدیوی تار 128 در 128 پیکسلی از یک آبشار را به فیلمی با وضوح 1024 در 1024 پیکسل تبدیل کند.
ارسال شده توسط @luokai
مشاهده موضوعات
چیزی که در مورد هوش مصنوعی قابل توجه است این است که در جزئیات دقیق کوتاهی نمی کند. بافت پوست، چین و چروک، تارهای مو و موارد دیگر در صورت انسان ظاهر می شود. سایر دموها نیز دارای سطح کیفیت مشابهی هستند. به لطف این تکنیک می توانید شنای قو در برکه و گل روی درخت را بهتر ببینید. شاید عجیب به نظر برسد که روی چین و چروک های پوست یا پرها تمرکز کنید. با این حال، این سطح از جزئیات همان چیزی است که شرکت‌هایی مانند Adobe باید تعیین کنند که آیا قصد دارند از هوش مصنوعی تقویت‌شده تصویر در مقیاس استفاده کنند.
بهبود هوش مصنوعی
شاید در مورد آخرین پروژه پلتفرم سؤالاتی مانند نحوه کارکرد آن داشته باشید؟ خب، پیچیده است.
GAN در VideoGigaGAN مخفف عبارت Generative Adversarial Network، نوعی هوش مصنوعی است که قادر به ایجاد تصاویر واقعی عکس است. نسخه Adobe به ویژه بر GigaGAN متکی است که در ارتقاء محتوای تولید شده و همچنین تصاویر واقعی تخصص دارد. مشکل این فناوری، همانطور که TheVerge اشاره می کند، این است که نمی تواند کیفیت ویدیوها را بدون بروز مسائل مختلف مانند مصنوعات عجیب و غریب بهبود بخشد. برای حل این مشکل، محققان Adobe از تکنیک های مختلفی استفاده کردند.
مقاله تحقیقاتی کل فرآیند را توضیح می دهد. شما می توانید خودتان آن را بخوانید تا تصویر کامل را دریافت کنید، اگرچه این ماده متراکم است. اساساً، آنها یک “واحد انتشار هدایت جریان” را برای اطمینان از سازگاری بین فریم‌های ویدئو، ضد aliasing برای کاهش مصنوعات، و “شاتل ویژگی فرکانس بالا” برای جبران افت ناگهانی جزئیات معرفی کردند. در VideoGigaGAN چیزهای بیشتری از آنچه که ما توضیح دادیم وجود دارد، اما این اصل ماجراست.
فهرست بندی بالقوه
آیا ما این را در یک محصول آینده Adobe خواهیم دید یا آن را به عنوان یک برنامه مستقل منتشر خواهیم کرد؟ به احتمال زیاد – حداقل ما اینطور فکر می کنیم.
در سال گذشته، این شرکت به شدت بر روی پیاده سازی هوش مصنوعی در نرم افزار خود از زمان راه اندازی Firefly تا دستیار جدید آکروبات تمرکز کرده است. چند ماه پیش در طول Adobe MAX 2023، یک ابزار ارتقاء مقیاس ویدیو به نام Project Res Up در این رویداد پیش نمایش شد و عملکرد آن مشابه آنچه در دموهای VideoGigaGAN می بینیم بود. یک فیلم قدیمی از دهه 1940 از نمایش با وضوح تصویر 480 x 360 به وضوح واضح 1280 x 960 می رسد. نماهای مبهم از یک فیل در رودخانه شفاف می شوند. مجری حتی اشاره می کند که چگونه این برنامه می تواند کلیپ را به چهار برابر کیفیت اصلی ارتقا دهد.
مسلماً، این فقط حدس و گمان است، اما کاملاً ممکن است که VideoGigaGAN موتور پشت Res-Up باشد. محصول آینده ادوبی می‌تواند راهی را به مردم بدهد تا فیلم‌های خانوادگی قدیمی یا فیلم‌های با کیفیت پایین را به فیلمی که در ذهنمان تصور می‌کنیم تبدیل کنند. شاید آخرین پیش نمایش نشانه ای از انتشار قریب الوقوع باشد.
VideoGigaGAN هنوز در حال توسعه است، بنابراین مشخص نیست که چه زمانی منتشر خواهد شد یا خیر. موانع متعددی بر سر راه وجود دارد. هوش مصنوعی نمی تواند به درستی ویدیوهای بیش از 200 فریم را کنترل کند یا اشیاء کوچک را نمایش دهد، اما ما قطعاً مراقب آن خواهیم بود.
در همین حال، فهرست TechRadar از بهترین ابزارهای ارتقاء مقیاس عکس هوش مصنوعی در سال 2024 را بررسی کنید.