کد جدید تصاویر میکروسکوپی را در مقالات علمی استخراج می کند

یادگیری عمیق نوعی هوش مصنوعی است که جامعه را با آموزش کامپیوترها برای پردازش اطلاعات با استفاده از شبکه‌های عصبی مصنوعی که مغز انسان را تقلید می‌کنند، متحول می‌کند. اکنون در تشخیص چهره، اتومبیل های خودران و حتی در انجام بازی های پیچیده مانند Go استفاده می شود. به طور کلی، موفقیت یادگیری عمیق به استفاده از مجموعه داده های بزرگ از تصاویر برچسب گذاری شده برای اهداف آموزشی بستگی دارد.

یک معدن طلای بالقوه از تصاویر برچسب‌گذاری شده در متون علمی وجود دارد که هر سال بیش از یک میلیون مقاله منتشر می‌شود. بسیاری از آنها فیگورهای زیادی در متن دارند. تا به امروز، این ارقام برای مدل های یادگیری عمیق قابل قبول نبوده اند. این تا حدی به دلیل چیدمان پیچیده آنهاست. هر شکل معمولاً شامل چندین تصویر جاسازی شده، نمودارها و تصاویر است. همچنین کمبود ابزار کافی برای جستجوی ادبیات برای تصاویری که با محتوای خاص مطابقت دارند، بوده است.

برای رسیدگی به این چالش، محققان آزمایشگاه ملی آرگون در وزارت انرژی ایالات متحده (DOE) و دانشگاه نورث وسترن، EXSCLAIM را ایجاد کرده اند! ابزار نرم افزاری این نام مخفف استخراج، جداسازی و حاشیه نویسی به زبان طبیعی تصاویر است.

یافته ها در مجله منتشر شده است الگوها.

ماریا چان، دانشمند در مرکز مواد نانومقیاس Argonne، که یکی از تأسیسات کاربری دفتر علوم DOE است، گفت: «تصاویر تولید شده توسط میکروسکوپ‌های الکترونی تا یک میلیاردم متر یکی از مهم‌ترین اشکال در ادبیات علم مواد است. “این تصاویر برای درک و توسعه مواد جدید در بسیاری از زمینه های مختلف ضروری هستند. هدف ما با EXSCLAIM! این است که پتانسیل استفاده نشده این داده های تصویربرداری را باز کنیم.”

آنچه EXSCLAIM را تعیین می کند! جدای از تمرکز منحصر به فرد آن بر روی یک رویکرد query-to-dataset است، مشابه نحوه استفاده از یک اعلان با ابزارهای مولد هوش مصنوعی مانند ChatGPT و DALL-E. بنابراین می تواند تصاویر فردی با محتوای بسیار خاص را از شکل ها استخراج کند، زیرا هم محتوای تصویر را طبقه بندی می کند و هم درجه بزرگنمایی را تشخیص می دهد. سپس می تواند برچسب های توصیفی برای هر تصویر ایجاد کند. انتظار می رود این ابزار نرم افزاری نوآورانه به یک دارایی ارزشمند برای دانشمندانی که در حال تحقیق در مورد مواد جدید در مقیاس نانو هستند تبدیل شود.

اریک شونکر، نویسنده ارشد این مقاله، دانشجوی سابق فارغ التحصیل آرگون، گفت: «در حالی که روش‌های موجود اغلب با مشکل چیدمان ترکیبی دست و پنجه نرم می‌کنند، EXSCLAIM! از رویکرد جدیدی برای غلبه بر این مشکل استفاده می‌کند. “نرم افزار ما در شناسایی مرزهای واضح تصویر موثر است و در ثبت ترتیبات نامنظم تصویر عالی است.”

فریاد زدن! قبلاً کارایی خود را با ساخت مجموعه داده میکروسکوپ الکترونی خود برچسب‌گذاری شده از بیش از 280000 تصویر نانوساختار نشان داده است. در حالی که در ابتدا حول تصاویر میکروسکوپ مواد ساخته شد، EXSCLAIM! قابل انطباق با هر رشته علمی است که حجم بالایی از مقالات با تصویر تولید می کند. بنابراین این نرم افزار نوید انقلابی در استفاده از تصاویر علمی منتشر شده در رشته های مختلف را می دهد.

چان گفت: «محققان اکنون یک ابزار قدرتمند استخراج تصویر برای پیشبرد درک خود از اطلاعات بصری پیچیده دارند.