NerfBridge، بسته ای که توسط یو و همکارانش معرفی شده است، از تصاویر گرفته شده توسط حسگرها و دوربین های ادغام شده در روبات های فیزیکی استفاده می کند. این تصاویر به طور مداوم در کتابخانه آموزشی قدرتمند NeRF Nerfstudio پخش می‌شوند و امکان ایجاد NeRFهایی را فراهم می‌کنند که دائماً خودشان را به‌روزرسانی می‌کنند و در حالی که ربات تصاویر جدیدی از محیط اطرافش می‌گیرد، بهبود می‌یابد.
تجسم نحوه ادغام NerfBridge با سیستم های ربات و NerfStudio. تصاویر از ربات پخش می‌شوند و ژست‌های دوربین در زمان واقعی تخمین زده می‌شوند. سپس تصاویر ارسال شده به NerfBridge ارسال می شود که به نوبه خود آنها را به مجموعه داده های آموزشی برای نمونه ای از NerfStudio وارد می کند. اعتبار: یو و همکاران
(سمت چپ) رندرهایی از یک NeRF که با استفاده از کوادروتور مجهز به دوربین و NerfBridge در زمان‌های مختلف ایجاد می‌شود. (راست) بازسازی عمق از همان NeRF که بازسازی دقیق هندسه صحنه را نشان می دهد. اعتبار: یو و همکاران
این برگه یا سند یا نوشته تحت پوشش قانون کپی رایت است. به غیر از هرگونه معامله منصفانه به منظور مطالعه یا تحقیق خصوصی، هیچ بخشی بدون اجازه کتبی قابل تکثیر نیست. محتوای مذکور فقط به هدف اطلاع رسانی ایجاد شده است.
اطلاعات بیشتر:
خاویر یو و همکاران، NerfBridge: آموزش میدانی درخشندگی عصبی آنلاین در زمان واقعی به رباتیک ارائه می شود، arXiv (2023). DOI: 10.48550/arxiv.2305.09761
اطلاعات مجله:
arXiv
میدان‌های تابشی عصبی (NeRFs) تکنیک‌های یادگیری ماشینی پیشرفته‌ای هستند که می‌توانند نمایش‌های سه‌بعدی (۳ بعدی) از اشیاء یا محیط‌ها را از تصاویر دو بعدی (۲ بعدی) ایجاد کنند. از آنجایی که این تکنیک‌ها می‌توانند محیط‌های پیچیده دنیای واقعی را به‌طور واقعی و با جزئیات مدل‌سازی کنند، می‌توانند تا حد زیادی از تحقیقات روباتیک حمایت کنند.
اخیراً اعضای آزمایشگاه من، آزمایشگاه سیستم‌های چند رباتی استنفورد، در مورد کاوش در کاربردهای میدان‌های تابشی عصبی (NeRFs) در رباتیک هیجان‌زده شده‌اند، اما ما دریافتیم که در حال حاضر راه آسانی برای استفاده از این روش‌ها وجود ندارد. خاویر یو، نویسنده اول مقاله، به Tech Xplore گفت. از آنجایی که ابزارها وجود نداشتند، تصمیم گرفتیم خودمان آنها را بسازیم، و از آن فشار مهندسی برای اینکه ببینیم NeRFs چگونه روی روبات‌ها کار می‌کند، ابزار خوبی به دست آوردیم که فکر می‌کنیم برای بسیاری از افراد جامعه روباتیک مفید خواهد بود. ”
یو افزود: «در نهایت، ما امیدواریم که NerfBridge مانع ورود سایر محققان شود تا شروع به بررسی کاربردهای NeRF در رباتیک کنند و الگوریتم‌های جدید خود را بر روی ربات‌ها در دنیای واقعی آزمایش کنند.» با حرکت رو به جلو از NerfBridge، ما به دنبال روش‌هایی برای بهبود آموزش NeRF زمانی هستیم که تصاویر از یک ربات پخش می‌شوند و مزایای عینی استفاده از نقشه‌های مبتنی بر NeRF را برای کارهای دیگر در رباتیک مانند محلی‌سازی و ناوبری نشان می‌دهند.
یک تیم تحقیقاتی در دانشگاه استنفورد اخیراً NerfBridge را معرفی کرده است، یک بسته نرم افزاری منبع باز جدید برای آموزش الگوریتم های NeRF که در نهایت می تواند استفاده از آنها را در آزمایش های رباتیک آنلاین فعال کند. arXiv، برای پل زدن موثر ROS (سیستم عامل ربات)، یک کتابخانه نرم افزاری معروف برای برنامه های کاربردی رباتیک، و Nerfstudio، یک کتابخانه منبع باز طراحی شده برای آموزش NeRF ها در زمان واقعی طراحی شده است.
برای نشان دادن پتانسیل روش خود، یو و همکارانش از آن برای آموزش یک NeRF بر اساس تصاویر گرفته شده توسط یک دوربین نصب شده بر روی یک کوادروتور، یک پهپاد با چهار روتور، استفاده کردند، در حالی که در محیط های داخلی و خارجی پرواز می کرد. نتایج آنها قابل توجه بود و ارزش NerfBridge را برای تسهیل استفاده از NeRFs در تحقیقات روباتیک برجسته می کرد.
NeRF ها تکنیک های پیچیده ای بر اساس شبکه های عصبی مصنوعی هستند که اولین بار توسط جامعه تحقیقاتی گرافیک کامپیوتری معرفی شدند. آنها اساسا با آموزش یک شبکه عصبی برای بازسازی هندسه سه بعدی و رنگ صحنه ثبت شده در یک عکس یا تصویر دو بعدی، نقشه های دقیقی از جهان ایجاد می کنند.
نقل قول: بسته نرم افزاری برای سهولت استفاده از میدان های تابشی عصبی در تحقیقات رباتیک (2023، 26 مه) بازیابی شده در 31 مه 2023 از
یو توضیح داد: «مشکل نقشه برداری از تصاویر یکی از مشکلاتی است که ما در جامعه رباتیک برای مدت طولانی روی آن کار کرده ایم و NeRF ها دیدگاه جدیدی در مورد نحوه نزدیک شدن به آن ارائه می دهند. “معمولا، NeRF ها به صورت آفلاین آموزش داده می شوند که در آن همه تصاویر قبل از زمان جمع آوری می شوند، و سپس NeRF صحنه به یکباره آموزش داده می شود. با این حال، در رباتیک، ما می خواهیم از NeRF به طور مستقیم برای کارهایی مانند ناوبری استفاده کنیم. بنابراین NeRF زمانی مفید نیست که ما آن را تنها زمانی که به مقصد خود می رسیم به دست آوریم. در عوض، می خواهیم NeRF را به صورت تدریجی (آنلاین) در حالی که ربات محیط خود را بررسی می کند، بسازیم. این دقیقاً مشکلی است که NerfBridge آن را حل می کند.”
بنابراین، این روش امیدوارکننده می‌تواند به زودی توسط سایر محققان برای آموزش NERF و آزمایش الگوریتم‌های آنها بر روی روبات‌های فیزیکی در حین حرکت در محیط اطراف خود مورد استفاده قرار گیرد. در همین حال، یو و همکارانش قصد دارند استراتژی‌های بیشتری را کشف کنند که می‌تواند استفاده از NeRFs در رباتیک را گسترش دهد.
با این حال، اکثر مجموعه داده‌ها و پلت‌فرم‌های موجود برای آموزش NeRFها برای استفاده آفلاین طراحی شده‌اند، زیرا نیاز به تکمیل مرحله بهینه‌سازی ژست دارند که به‌طور قابل‌توجهی ایجاد نمایش‌های واقعی عکس را به تأخیر می‌اندازد. این امر تاکنون باعث شده است که اکثر رباتیک‌ها نتوانند از این تکنیک‌ها برای آزمایش الگوریتم‌های خود بر روی ربات‌های فیزیکی در زمان واقعی استفاده کنند.
