ژائو گفت: «یافته‌های ما ادبیات قبلی را در مورد سیستم‌های بازنمایی چندگانه تأیید می‌کند، که توصیه می‌کند نگاشت بین چندین بازنمایی واضح باشد. بینش ما همچنین بر سایر زمینه‌های تحقیقاتی، مانند کمیک‌های داده‌ها و آمار، که می‌تواند از این رویکرد برای تولید خودکار کمیک برای یادگیری و آموزش مفاهیم در حوزه‌های خود استفاده کند، روشن می‌کند.»
شایان ذکر است که Suh، Zhao و Law روش جدیدی را برای نگاه کردن به کد معرفی کردند که می‌تواند پیامدهای جالبی داشته باشد. در آینده، شاید بتوان همین ایده را برای سایر زبان های محاسباتی و ریاضی به کار برد. به عنوان مثال، مطالعات آینده می تواند امکان تولید کمیک و داستان بر اساس معادلات ریاضی را بررسی کند.
CodeToon از نقشه برداری 1 به 1 برای شفاف سازی ارتباطات بین کد، داستان و کمیک استفاده می کند. به عنوان مثال، همانطور که با خط نقطه نشان داده شده است، خط 1 (کد) به خط 1 (داستان) و به ردیف 1 (طنز) نگاشت می شود. اعتبار: سو، ژائو و قانون.
سو افزود: «جهت‌های تحقیقاتی هیجان‌انگیزی وجود دارد که ما قصد داریم در مطالعات بعدی‌مان آن را بررسی کنیم». یکی بهبود بیشتر CodeToon، برای مثال، با اطمینان از پشتیبانی از زبان‌ها و ویژگی‌های برنامه‌نویسی دیگر است.
سیستمی که به طور خودکار کتاب های کمیک را از فیلم ها و ویدیوهای دیگر تولید می کند
Sangho Suh، Jian Zhao، Edith Law، CodeToon: ایده‌پردازی داستان، تولید کمیک خودکار و نقشه‌برداری ساختار برای داستان سرایی کد محور. arXiv:2208.12981v1 [cs.HC]، arxiv.org/abs/2208.12981
ابزار ایجاد شده توسط Suh، Zhao و Law می تواند به زودی در دانشگاه ها و کالج ها استفاده شود تا یادگیری کدنویسی جذاب تر شود. بنابراین، محققان در آینده می‌خواهند ابزار خود را در محیط‌های کلاس درس واقعی به کار گیرند تا سودمندی آن را بهتر ارزیابی کنند. علاوه بر این، آنها قصد دارند امکان استفاده از مدل‌های یادگیری عمیق مولد، مانند GPT-3 و Codex را برای پر کردن هر گونه شکاف در داستان‌ها و کدها بررسی کنند.
Sangho Suh، یکی از نویسندگان، ایده CodeToon را مطرح کرد و سپس با همکاری همکار خود Jian Zhao، زیر نظر پروفسور Edith Law، روی توسعه آن کار کرد. مقاله آنها که قرار است تا چند هفته دیگر در سمپوزیوم ACM در نرم افزار و فناوری رابط کاربری (UIST)، انجمن برتر برای نوآوری در رابط های انسان و کامپیوتر ارائه شود، بر اساس برخی از تلاش های قبلی تیم آنها، از جمله توسعه یک ابزار آموزشی به نام نوار کدگذاری و یک مطالعه دیگر استفاده از هوش مصنوعی محاوره ای مولد برای آموزش تفکر محاسباتی.
رابط CodeToon: (الف) محفظه کد، (B) دکمه ای که الگوی داستان را از کد تولید می کند، (C) الگوی داستان، (D) دکمه ای که از داستان کمیک تولید می کند، (E) بوم نقاشی برای کمیک ها. اعتبار: سو، ژائو و قانون.
CodeToon می تواند داستان سرایی کد محور را به دو روش مجزا تسهیل کند. در مرحله اول، می تواند به طور خودکار یک الگوی داستانی را با استفاده از کد ایجاد کند. متعاقبا، این ابزار می تواند کمیک هایی را بر اساس این قالب های داستانی مبتنی بر کد تولید کند.
این برگه یا سند یا نوشته تحت پوشش قانون کپی رایت است. به غیر از هرگونه معامله منصفانه به منظور مطالعه یا تحقیق خصوصی، هیچ بخشی بدون اجازه کتبی قابل تکثیر نیست. محتوای مذکور فقط به هدف اطلاع رسانی ایجاد شده است.
نقل قول: CodeToon: ابزاری برای ایجاد خودکار داستان ها و کمیک ها (2022، 13 اکتبر) بازیابی شده در 13 اکتبر 2022 از
edithlaw.ca/projects/codingstrip.html
© 2022 Science X Network
در بخش دوم ارزیابی، از 20 شرکت‌کننده که می‌توانستند کد پایتون را بخوانند و درک کنند، خواسته شد تا به 8 نوار کدنویسی که با استفاده از CodeToon یا با مجموعه‌ای از الگوها ایجاد شده‌اند، نگاه کنند و نظرات خود را در مورد چگونگی نگاشت کدنویسی مصور با کد به اشتراک بگذارند. مفاهیم، و اینکه آنها فکر می کردند چقدر ممکن است برای آموزش مفید باشند.
جیان ژائو، یکی از محققانی که این مطالعه را انجام داده است، به TechXplore گفت: «ما دریافتیم که استفاده از کمیک ابزاری مؤثر برای آموزش مفاهیم برنامه‌نویسی انتزاعی است، اما ساخت کمیک‌ها خسته‌کننده و زمان‌بر است. ما همچنین فرصت‌هایی را در فناوری‌های هوش مصنوعی پیشرفته برای خودکار کردن برخی از مراحل این کار شناسایی کردیم. بنابراین، CodeToon را ساختیم، یک ابزار کمیک نویسندگی که این فرآیند داستان‌گویی مبتنی بر کد را تسهیل می‌کند.»
ژائو توضیح داد: «برای مثال، بر اساس نقاشی‌های روی بوم، سیستم می‌تواند نقاشی‌های جدیدی را برای اضافه کردن به کمیک‌های موجود ایجاد کند و راهنمایی‌های طراحی را در زمان واقعی ارائه دهد. یکی دیگر از جهت‌گیری‌های احتمالی تحقیقاتی، بهبود فرآیند نگارش با مجموعه‌ای متنوع‌تر از طرح‌ها و منابع کمیک، سفارشی‌سازی و انعطاف‌پذیری بیشتر، و همچنین پشتیبانی از زبان‌های برنامه‌نویسی بیشتر است.
سمپوزیوم ACM در نرم افزار و فناوری رابط کاربری (UIST) 2022. uist.acm.org/uist2022/program.html
سه محقق در دانشگاه واترلو در کانادا اخیرا یک ابزار کمیک منحصر به فرد ایجاد کرده اند که می تواند به طور خودکار داستان ها و کمیک ها را بر اساس کد ایجاد کند. این سیستم که CodeToon نام دارد، می تواند فرصت های جالبی را برای داستان سرایی کد محور، فرآیند استفاده از کد محاسباتی برای ایجاد داستان های جدید باز کند.
Suh می گوید: «قابل توجه ترین دستاورد مطالعه ما، در ظاهر، ممکن است فرآیند کارآمد برای تولید کمیک از طریق کد باشد. داستان سرایی را هدایت می کند: ساختار انتزاعی کد که ایده های محاسباتی مانند ساختار منطقی اگر-دیگر را در بر می گیرد، به ساختار داستان و کمیک تبدیل می شود. به عبارت دیگر، کد توالی و طرح کلی داستان را تعیین می کند.
ژائو و سو گفتند: “CodeToon یک ابزار کمیک تعاملی و هوشمند است که از سازندگان برای تولید داستان از کد (کد → داستان) و طراحی کمیک از داستان ها (داستان → کمیک) پشتیبانی می کند. “از آنجایی که کمیک ها به طور دقیق معنایی کد و فرآیند اجرای آن را نشان می دهند، یادگیرندگان را قادر می سازد تا مفاهیم و رویه های محاسباتی را به شیوه ای جذاب و در عین حال موثر بیاموزند.”
بر اساس پاسخ‌های مصاحبه، اکثر شرکت‌کنندگان احساس کردند که نگاشت 1 به 1 کد بر روی داستان‌ها و کمیک‌ها می‌تواند یک استراتژی آموزشی موثر باشد، به‌ویژه زمانی که از کمیک برای نمایش کد جایگزین استفاده می‌شود. علاوه بر این، کسانی که از CodeToon برای تولید کمیک های خود استفاده کردند، بازخورد مثبتی در مورد عملکرد آن در ایجاد داستان ها و کمیک های مبتنی بر کد به اشتراک گذاشتند.
Coding Strip، ابزار آموزشی که قبلا توسط Sangho Suh و همکارانش در دانشگاه واترلو ایجاد شده بود، به طور خاص برای آموزش مفاهیم برنامه نویسی با استفاده از کمیک طراحی شده بود. CodeToon این ایده را یک گام جلوتر می برد، با ایجاد خودکار کمیک ها و داستان های مبتنی بر کد که می تواند برای آموزش دانشجویان علوم کامپیوتر مورد استفاده قرار گیرد.
Sangho Suh، یکی از محققانی که این مطالعه را انجام داده است، به TechXplore گفت: «نوار کدگذاری با الهام از نردبان انتزاع و رابطه آن با تفکر محاسباتی، به یادگیرندگان کمک می‌کند تا بین سطوح انتزاعی ملموس (کمیک) و انتزاعی (کد) حرکت کنند. با این حال، ایجاد نوارهای کدنویسی می‌تواند زمان‌بر و پر زحمت باشد، بنابراین هدف اولیه این پروژه کارآمدتر و بدون زحمت‌تر کردن فرآیند نوشتن بود.
سو در مطالعات آتی خود همچنین مایل است استفاده احتمالی از زبان های ریاضی برای پیشبرد داستان سرایی را بررسی کند. این در نهایت می تواند روشی را که در آن اساتید و دانشجویان مفاهیم انتزاعی، معادلات پیچیده و رویه ها را درک می کنند، بهبود بخشد.