با این حال، چیزی که پژوهشگران را شگفت زده کرد، عملکرد GPT-4 در سؤالات پایه است، جایی که به 12 سؤال پاسخ اشتباه داد، در حالی که GPT3.5 به آنها به درستی پاسخ داده بود.
با افزایش ChatGPT در بخش‌های مختلف، پژوهشگران دانشگاه پزشکی تصویربرداری تورنتو نیز به این فکر افتادند که زمان آن رسیده است که استفاده‌ها از این چت‌ها را در رادیولوژی نیز آزمایش می‌کنند.
راجش بایانا، رادیولوژیست و سرپرست فناوری در بیمارستان عمومی تورنتو می‌گوید: در ابتدا از پاسخ‌های دقیق و مطمئن ChatGPT به برخی از سؤالات چالش برانگیز حول رادیولوژی متعجب شدیم، اما سپس به همان اظهارات بسیار غیرمنطقی و نادرست آن را به برخی دیگر از سؤالات متعجب می‌کنیم. .
پاسخ ChatGPT به سوالات رادیولوژی
پژوهشگران یک آزمون 150 سوالی برای ChatGPT طراحی کردند، دقیقاً همان چیزی است که گروه‌های رادیولوژی در کانادا و ایالات متحده برای دانشجویان این رشته انجام می‌دهند. از آنجایی که این ربات هوش مصنوعی که نمی‌تواند تصاویر را به عنوان ورودی کند، پژوهشگران فقط متن در سوالات قرار دادند که سوالات پایه و مفهومی و سوالات تخصصی بود.
پس از انتشار GPT-4 در مارس 2023، محقق این نسخه بهبود یافته ChatGPT را دوباره آزمایش کرد و مشاهده کرد که با پاسخ صحیح به 151 سوال، امتیاز 81 درصد را به دست آورد.
سؤالات پایه، دانش و درک ChatGPT را در مورد موضوع آزمایش می‌سنجید، در حالی که سؤالات تخصصی، تجزیه و تحلیل و ترکیبی از تصاویر رادیولوژی لازم است، می‌آزمود.
از زمان راه‌اندازی ChatGPT، کاربران از آن در درک اطلاعات و استفاده از آن برای پاسخ به سؤالات شگفت زده شده استفاده می‌کنند. این ربات برای پاسخگویی به سوالات آزمون مجوز پزشکی ایالات متحده آمریکا(USMLE) و همچنین آزمون MBA در مدرسه بازرگانی وارتون نیز مورد آزمایش قرار گرفتن و عملکرد متوسطی است.
در حالی که ارائه اطلاعات نادرست در GPT-4 کاهش یافته است، اما هنوز به طور کامل از بین نرفه است. پژوهشگران می‌گویند، این موضوع می‌تواند در پزشکی خطرناک باشد، مخصوصاً که توسط افراد تازه کار می‌شود که ممکن است پاسخ‌های نادرست را تشخیص دهند.
این پژوهش به تازگی در مجله رادیولوژی منتشر شده است.
از آنجایی که دو نسخه از GPT در حال حاضر موجود است، پژوهشگران هر دوی آنها را روی یک مجموعه سوال آزمایش کردند تا ببینند آیا یکی از دیگری بهتر است یا خیر.
به گزارش ایسنا و به نقل از اس ای، پژوهشگران بیمارستان عمومی تورنتو در کانادا کاری را انجام دادند که اکثر مردم این روزها را انجام دادند: استفاده از ربات مصنوعی مصنوعی ChatGPT برای پاسخ به سؤالات آزمون یک استاندارد و مشاهده عملکرد آن.
پژوهشگران مدل مصنوعی مصنوعی ChatGPT را در یک آزمون رادیولوژی ارزیابی کردند و انجام دادند که خوب عمل کرد، اما با برخی اظهارات غیرمنطقی و نادرست به نظر می‌رسد هنوز آماده جایگزینی با رادیولوژیست‌ها نیست.
ChatGPT ساخته شده با نسخه قدیمی‌تر یعنی GPT 3.5، امتیاز کلی 69 درصد را در مجموعه سؤالات کسب کند، در حالی که سؤالات پایه نمره خوبی کسب کرد (84 درصد معادل 51 پاسخ صحیح به 61 سؤال) اما در پاسخ به سؤالات. تخصصی فقط ۶۰ درصد امتیاز گرفت(معادل ۵۳ پاسخ صحیح به ۸۹ سوال).
انتهای پیام
این چت‌بات (ربات گفتگوگر) در یک آزمون 150 سوالی که توسط گروه‌های رادیولوژی در کانادا و ایالات متحده آمریکا طراحی شده است، 81 درصد امتیاز کسب کرده است که بسیار بالاتر از یک درصد قبولی (7 درصد) بوده است.