نکته مهم این است که کنترل یک هوش مصنوعی فوق هوشمندِ بسیار دور از فهم انسان نیازمند شبیه‌سازی آن است به صورتی که بتوانیم آن را تجزیه‌وتحلیل و کنترل کنیم؛ اما اگر نتوانیم آن را درک کنیم، این شبیه‌سازی ناممکن است.
یافتن جایگزین برای آموزش برخی اصول اخلاقی به هوش مصنوعی از جمله اینکه دنیا را نابود نکند (چیزی که به گفته محققان نمی‌توان با هیچ الگوریتمی از انجام آن کاملاً مطمئن بود) محدودکردن قابلیت‌های فوق‌هوشمند است.
مانوئل سبریان (Manuel Cebrian)، دانشمند کامپیوتر از انجمن ماکس پلانک آلمان، در سال ۲۰۲۱، گفت: ماشین فوق‌هوشمندی که جهان را کنترل می‌کند، به موضوع داستان‌های علمی‌تخیلی شباهت دارد؛ اما همین الان هم دستگاه‌هایی وجود دارند که برخی از کار‌های مهم را به صورت مستقل انجام می‌دهند؛ بدون اینکه برنامه‌ریزان آن‌ها کاملاً بدانند آن‌ها چگونه این کار‌ها را یاد گرفتند.
ممکن است متوجه نشویم که چه زمانی یک هوش مصنوعی فوق‌هوشمند از گرد راه می‌رسد. این بدان معنی است که باید شروع به پرسیدن برخی از سؤالات جدی در مورد مسیر‌هایی کنیم که در آن قرار داریم.
مسئله‌ای که در اینجا مطرح می‌شود این است که اگر قرار نیست از هوش مصنوعی برای حل مشکلات فراتر از محدوده توانایی‌های انسان استفاده کنیم، پس چرا اصلاً باید آن را ایجاد کنیم؟
براساس اظهارات پژوهشگران یک هوش مصنوعی فوق‌هوشمند چندوجهی است؛ بنابراین به طور بالقوه قادر است منابع متنوعی را برای دستیابی به اهدافی که برای انسان به طور بالقوه درک‌نشدنی است گردآوری کند.
دانشمندان معتقدند اگر نتوانیم وضعیتی را که هوش مصنوعی قرار است ارائه کند، بفهمیم نمی‌توانیم قوانینی مانند «صدمه‌نزدن به انسان‌ها» را ایجاد کنیم. هنگامی که سیستم رایانه‌ای در سطحی بالاتر از قلمرو برنامه‌نویسان ما کار می‌کند، دیگر نمی‌توانیم حدودی قائل شویم.
این مقاله در مجله تحقیقات هوش مصنوعی به چاپ رسیده بود. نسخه قبلی این مقاله برای اولین‌بار در ژانویه ۲۰۲۱ منتشر شد.
دهه ها است که ایده هوش مصنوعی سرنگون‌کننده انسان‌ها موضوع بحث است و در سال ۲۰۲۱، دانشمندان در مقاله‌ای به این سؤال که «آیا قادر خواهیم بود یک رایانه سطح بالای فوق هوشمند را کنترل کنیم یا نه؟» پاسخ منفی دادند.