رشد پرشتاب هوش مصنوعی، هم‌زمان با ایجاد فرصت‌های بی‌شمار، نگرانی‌هایی جدی را نیز در مورد آینده‌ی بشریت برانگیخته است. برخی از متخصصان، از جمله رومن یامپولسکی، مدیر آزمایشگاه امنیت سایبری دانشگاه لوئیزویل، احتمال نابودی بشر به‌وسیله‌ی هوش مصنوعی را تا 99٫99 درصد تخمین می‌زنند.
به گزارش زومیت، درحالی‌که آمار دقیقی از میزان سرمایه‌گذاری جهانی در حوزه‌ی هوش مصنوعی در دسترس نیست، گزارش‌ها نشان می‌دهد که این رقم در سال‌های اخیر به‌طور چشمگیری افزایش یافته است و شرکت‌های بزرگی مانند گوگل، مایکروسافت و آمازون میلیاردها دلار در آن سرمایه‌گذاری کرده‌اند. حجم عظیم سرمایه‌گذاری، ضرورت بحث‌وبررسی جدی در مورد مسائل ایمنی و اخلاقی مرتبط با هوش مصنوعی را بیش‌ازپیش نمایان می‌سازد.
نگرانی‌های مورد بحث باعث شده است تا افراد صاحب‌نظر دنیای تکنولوژی مانند ویتالیک بوترین، هم‌بنیان‌گذار اتریوم، به‌دنبال راهکارهایی برای کنترل فناوری هوش مصنوعی باشند.
بوترین پیشنهاد «دکمه‌ی توقف نرم جهانی» را مطرح می‌کند؛ ایده‌ای که هدف آن کاهش 90 تا 99 درصدی توان محاسباتی جهانی در حوزه‌ی هوش مصنوعی به مدت 1 تا 2 سال است.
پیشنهاد دکمه‌ی توقف نرم جهانی ویتالیک بوترین، به‌منظور ایجاد فرصتی برای آمادگی بشر در برابر خطرات احتمالی هوش مصنوعی ارائه شده است. او باور دارد که یک سال تلاش متمرکز و جدی در شرایط فعلی، می‌تواند ارزشی برابر با صدها سال کار سخت بعد از رخ دادن فاجعه داشته باشد.
ویتالیک بوترین برای اجرای طرح خود، پیشنهاد استفاده از «ترفند رمزنگاری هوشمندانه» را مطرح می‌کند. بر اساس این ایده، سخت‌افزارهای هوش مصنوعی در مقیاس صنعتی باید به یک تراشه‌ی امن مجهز شوند که تنها در صورت دریافت امضای هفتگی از سه نهاد بین‌المللی که شامل یک نهاد غیرنظامی نیز می‌شود، به کار خود ادامه دهند. امضاهای مذکور مستقل از دستگاه خواهند بود و به‌صورت یکپارچه برای تمام دستگاه‌ها اعمال می‌شوند.
سیستم پیشنهادی بوترین با نیاز به اتصال هفتگی به اینترنت برای دریافت امضا، از گسترش آن به سخت‌افزارهای مصرفی جلوگیری می‌کند. او این رویکرد را به‌دلیل توانایی آن در کند کردن روند توسعه در صورت مشاهده‌ی نشانه‌های اولیه‌ی خطر و همچنین تأثیر ناچیز آن بر توسعه‌دهندگان، قابل قبول می‌داند.
سیستم پیشنهادی بوترین در حالی مطرح می‌شود که سم آلتمن، مدیرعامل OpenAI، معتقد است که هوش مصنوعی قادر به حل پیامدهای پیشرفت سریع خود، از جمله نابودی احتمالی بشر، خواهد بود. او ادعا می‌کند که نگرانی‌های ایمنی در زمان دستیابی به هوش مصنوعی عمومی (AGI) به شکلی که تصور می‌شود، رخ نخواهد داد و این مرحله با «تأثیر اجتماعی بسیار اندک» سپری خواهد شد. البته او نیز بر لزوم وضع مقررات بین‌المللی برای هوش مصنوعی، مشابه صنعت هواپیمایی، تأکید دارد.
اختلاف‌نظر مطرح‌شده بین بوترین و آلتمن، نشان‌دهنده‌ی دو رویکرد متفاوت در مواجهه با چالش‌های مبتنی‌بر هوش مصنوعی است. بوترین رویکردی پیشگیرانه و محتاطانه را پیشنهاد می‌دهد، درحالی‌که آلتمن به توانایی خودتنظیمی هوش مصنوعی و اهمیت وضع مقررات پس از توسعه‌ی آن باور دارد.
