محققان اولین نتایج را از ارزیابی نرم افزار تخمین سن گزارش می کنند

مطالعه جدیدی که توسط موسسه ملی استاندارد و فناوری (NIST) انجام شد، عملکرد نرم‌افزاری را ارزیابی کرد که سن افراد را بر اساس ویژگی‌های فیزیکی مشخص در عکس چهره‌شان تخمین می‌زند.

نرم افزار تخمین و تأیید سن (AEV) می تواند به عنوان محافظ برای فعالیت هایی که دارای محدودیت سنی هستند، مانند خرید الکل یا دسترسی به محتوای بزرگسالان آنلاین استفاده شود.

تخمین سن به یک فناوری توانمند در برنامه های تضمین سن تبدیل شده است که اخیراً در قوانین و مقررات در ایالات متحده و خارج از کشور گنجانده شده است. هدف این برنامه‌ها این است که فقط افراد در گروه‌های سنی خاص به اتاق‌های گفتگوی رسانه‌های اجتماعی دسترسی داشته باشند یا محصولات خاصی را به صورت آنلاین و در دنیای فیزیکی خریداری کنند و می‌توانند بخش مهمی از تلاش‌ها برای محافظت از کودکان آنلاین باشند.

مطالعه جدید، “ارزیابی فناوری تجزیه و تحلیل چهره: تخمین سن و تایید (NIST IR 8525)،” عملکرد شش الگوریتمی را که توسعه‌دهندگان به‌طور داوطلبانه در پاسخ به فراخوانی در سپتامبر 2023 برای درخواست ارسال کردند، ارزیابی می‌کند. به گفته Kaiei Hanaoka، یکی از نویسندگان این مطالعه، نتایج الگوریتم هایی با قابلیت های متفاوت را نشان می دهد.

هانائوکا، دانشمند کامپیوتر در موسسه ملی استانداردها و فناوری، گفت: «محدوده وسیعی در عملکرد بین این الگوریتم‌ها وجود دارد که فضایی برای بهبود در کل وجود دارد. این تصویری جزئی از حوزه تخمین سنی است که در اواخر سال 2023 وجود داشت، اما از آنجایی که عملکرد خودروهای الکتریکی خودکار با پیشرفت‌های هوش مصنوعی ارتباط نزدیکی دارد، انتظار داریم این حوزه به سرعت تغییر کند.

این مطالعه جدید اولین اقدام NIST در ارزیابی AEV در یک دهه است و یک تلاش جدید و بلندمدت توسط آژانس برای انجام آزمایش‌های مکرر و منظم این فناوری را آغاز می‌کند. NIST آخرین بار برنامه AEV را در سال 2014 ارزیابی کرد.

هانائوکا گفت که در آن زمان علاقه بسیار کمتری به این فناوری وجود داشت و ارزیابی یک تلاش یکباره بود. این آزمایش از یک پایگاه داده منفرد شامل تقریباً 6 میلیون عکس گرفته شده از برنامه های ویزا و الگوریتم های مورد نیاز برای ارائه تنها تخمین سنی برای هر عکس استفاده کرد.

زمان در دهه بعد تغییر کرد. نرم افزار تجزیه و تحلیل چهره به اندازه ای مهم شده است که NIST برنامه تشخیص چهره خود را به دو مسیر تقسیم کرده است، یکی که توانایی الگوریتم ها برای تشخیص افراد را ارزیابی می کند (ارزیابی فناوری تشخیص چهره یا FRTE) و دیگری که توانایی اندازه گیری جنبه های آن را ارزیابی می کند. چهره (ارزیابی فناوری تحلیل چهره یا FATE). تست جدید بخشی از مسیر FATE است که شامل ارزیابی‌های اختصاصی برای تشخیص تصاویر جعلی و اندازه‌گیری کیفیت تصویر است.

آزمایش جدید NIST مجموعه تصاویر خود را به حدود 11.5 میلیون تصویر از چهار پایگاه داده متنوع، همه از منابع دولتی ایالات متحده، گسترش می دهد: مجموعه ای از ویزاهای مورد استفاده در سال 2014، افزوده شده توسط مجموعه ای از فیلم های FBI، و مجموعه ای از تصاویر وب کم به دست آمده در گذرگاه ها. مرز، و مجموعه ای از تصاویر برنامه های مهاجرتی برای افرادی که در بیش از 100 کشور متولد شده اند.

تصاویر موجود در پایگاه‌های داده از نظر کیفیت تصویر متفاوت هستند و سن، جنسیت و مناطق مبدا را منعکس می‌کنند. همه داده‌ها ناشناس شده‌اند، و این تحقیق برای محافظت از حقوق و حریم خصوصی افرادی که از آنها عکس گرفته شده است، بررسی شده است.

این آزمایش مجدداً الگوریتم‌ها را از نظر دقت آنها در تخمین سن ارزیابی کرد، اما در پاسخ به درخواست‌های توسعه‌دهندگان نرم‌افزار، این آزمایش همچنین از الگوریتم‌ها خواست تا تعیین کنند که آیا فرد در عکس بیش از 21 سال سن دارد یا خیر. این آزمایش یک مطالعه “جعبه بسته” بود که در آن محققان NIST فقط عملکرد نهایی الگوریتم ها را تجزیه و تحلیل کردند، نه عملکرد درونی آنها یا نحوه رسیدن آنها به نتایج را. NIST هیچ توصیه ای مبنی بر مناسب بودن این نرم افزار برای موارد استفاده خاص ارائه نمی کند.

هانائوکا گفت که این گزارش برخی از یافته های اولیه را ارائه می دهد:

• هیچ الگوریتم مجزایی وجود ندارد و دقت یک الگوریتم معین تحت تأثیر کیفیت تصویر، جنسیت، منطقه تولد، سن فرد در تصویر و تعامل بین این عوامل است. همه الگوریتم‌ها حساسیت‌های خاص خود را نسبت به گروه‌های جمعیتی خاص دارند. الگوریتمی که در مجموعه های خاص به خوبی عمل می کند ممکن است در مجموعه های دیگر ضعیف عمل کند.
• جای تعجب نیست که برنامه های AEV در دهه پس از گزارش قبلی بهبود یافته است. هنگامی که تخمین های سنی بر روی پایگاه داده تصویر مشترک ویزا (که در سال 2014 و همچنین در مطالعه فعلی مورد استفاده قرار گرفت) انجام شد، میانگین خطای مطلق الگوریتم ها از 4.3 به 3.1 سال کاهش یافت. پنج الگوریتم از شش الگوریتم از دقیق ترین الگوریتم معرفی شده در سال 2014 عملکرد بهتری دارند.
• نرخ خطا همیشه برای چهره های زن بیشتر از چهره های مرد بود. این موضوع برای الگوریتم‌های ارزیابی‌شده در سال 2014 نیز صادق بود، اما دلایل اصلی آن ناشناخته است.

برنامه آزمایشی به گونه‌ای طراحی شده است که ادامه داشته باشد و نویسندگان مطالعه، موارد ارسالی را برای الگوریتم‌های جدید به صورت متوالی می‌پذیرند. هانائوکا گفت که تیم قصد دارد هر چهار تا شش هفته یکبار به‌روزرسانی‌های این دور اول نتایج را در وب‌سایت خود منتشر کند.

او گفت: “ما تغییرات سریع در زمینه نرم افزار خودروهای الکتریکی خودکار را پیش بینی می کنیم و قصد داریم روش های آزمایش خود را در آینده نزدیک به روز کرده و گسترش دهیم.” ما قصد داریم از الگوریتم‌ها بخواهیم به سؤالات اضافی پاسخ دهند، مانند اینکه آیا در صورت وجود عکس قبلی از همان شخص، عملکرد بهتری ممکن است یا خیر. همچنین قصد داریم پایگاه‌های داده عکس را گسترش داده و متنوع کنیم تا برنامه‌هایی مانند اینترنت را بهتر پوشش دهیم. . امنیت.”

همه به‌روزرسانی‌ها در وب‌سایت پروژه AEV NIST در دسترس خواهند بود و علاقه‌مندان می‌توانند به‌روزرسانی‌های وضعیت را از طریق ایمیل [email protected] دریافت کنند.

این داستان با مجوز NIST بازنشر شده است. اصل داستان را اینجا بخوانید.