دانشگاه آلیکانته (UA) رباتیک و گروه بینایی سه بعدی (RoViT) اولین برنامه کاربردی را طراحی کرده است که قادر به تشخیص و تفسیر الفبای زبان اشاره اسپانیایی (معروف به مخفف LSE) در زمان واقعی است.
به گفته محقق UA، پس از آزمایش های فراوان، Sign4all موفق به تفسیر و تشخیص الفبای LSE با دقت 80 درصد می شود. اگرچه این نتیجه با الفبای داکتیلولوژی مطابقت دارد، اما آنها در حال کار بر روی نسخه ای با واژگان خاص مربوط به حوزه کارهای روزمره هستند که در آن می توانند جملات کامل را تفسیر کنند.
Sign4all پس از استخراج جزئیات اسکلت بازوها و دست‌ها، سمت چپ بدن را با رنگ آبی و سمت راست را با رنگ قرمز کدگذاری می‌کند و ناشناس بودن کاربر را همیشه حفظ می‌کند. از این لحظه به بعد، اپلیکیشن علامت استفاده شده توسط فرد ناشنوا را در زمان واقعی و در جهت مخالف ترجمه می کند. این می تواند از یک آواتار مجازی برای امضای کلمات اسپانیایی تایپ شده توسط شخص شنوا استفاده کند. ایده این است که کل این فرآیند را می توان با دانلود یک برنامه کاربردی و با استفاده از دوربین خود تلفن همراه یا تبلت انجام داد تا همانطور که مارتینز توضیح داد می توان از آن در هر جایی استفاده کرد.
این تحقیق در مجله منتشر شده است هوش محاسباتی و علوم اعصاب.
تیم UA ماه هاست که این سیستم جدید را آموزش می دهد و نشانه های بیشتری را معرفی می کند. از این نظر، همکاری با گروه تحقیقاتی زبان اسپانیایی و زبان های اشاره ای دانشگاه ویگو (GRILES)، تیمی با تجربه گسترده در مطالعه این زبان و استفاده از آن در مناطق مختلف، به وجود آمده است. دانشگاه ویگو در حال جمع آوری تصاویر با مترجمان است و UA در حال پردازش همه این داده ها است. به این ترتیب، واژگان سیستم تشخیص و تفسیر LSE را می توان با سرعت بیشتری بهبود بخشید و گسترش داد.
نقل قول: اولین برنامه با قابلیت تشخیص و تفسیر الفبای زبان اشاره اسپانیایی (2023، 16 فوریه) بازیابی شده در 16 فوریه 2023 از
نمونه مجموعه داده تصویر با عناصر علامت کدگذاری شده رنگی. اعتبار: هوش محاسباتی و علوم اعصاب (2021). DOI: 10.1155/2021/5532580
این اپلیکیشن Sign4all نام دارد و پیشرفتی است که به از بین بردن موانع ارتباطی بین افراد ناشنوا و شنوا در موقعیت‌های روزمره مانند رفتن به جراحی پزشک یا غذا خوردن در رستوران کمک می‌کند. بر اساس آخرین نظرسنجی در مورد ناتوانی، استقلال شخصی و موقعیت‌های وابستگی موسسه ملی آمار اسپانیا (INE)، 1230000 نفر در اسپانیا با انواع و درجات مختلف ناتوانی شنوایی وجود دارد. از این تعداد، 27300 نفر از زبان اشاره برای برقراری ارتباط استفاده می کنند.
این برگه یا سند یا نوشته تحت پوشش قانون کپی رایت است. به غیر از هرگونه معامله منصفانه به منظور مطالعه یا تحقیق خصوصی، هیچ بخشی بدون اجازه کتبی قابل تکثیر نیست. محتوای مذکور فقط به هدف اطلاع رسانی ایجاد شده است.
اطلاعات بیشتر:
استر مارتینز-مارتین و همکاران، تکنیک‌های یادگیری عمیق برای تفسیر زبان اشاره اسپانیایی، هوش محاسباتی و علوم اعصاب (2021). DOI: 10.1155/2021/5532580