AI研究者の間で、人工知能の急速な進歩と人間による制御を失う可能性について、警鐘を鳴らす者が増えています。この傾向は、AnthropicのJacob Coxon氏を含む著名な離職によって浮き彫りになっており、同氏はAI企業が超知能に向けて競争しており、「私たちの命を賭けてギャンブルをしている」と警告しています。AnthropicのチームリードであるEvan Hubinger氏もこの意見に同調しており、AIは今後10年以内に人類に存亡の危機をもたらす可能性があるという考えがあることを述べています。
この議論を激化させているのが、再帰的な自己改善に関する懸念です。これは、AIモデルが自身の能力を利用して反復的に自己を強化していくという理論上のプロセスです。MIRAのNate Soares氏などの専門家は、モデルの能力が向上するにつれて、人間による監視を維持することがますます困難になる可能性があると指摘しています。
しかし、こうした警告はシリコンバレーの一部セクターから強い懐疑的な目にさらされています。サンフランシスコで最近開催されたカンファレンスにおいて、一部のエグゼクティブや投資家は、このような過激な発言は、企業の巨大な企業価値を支えるためのハイプを生成するためのものである可能性を示唆しました。GrindrのCEOであるGeorge Arison氏は、これらの警告を「反文明的な世界観」と表現し、NvidiaのCEOであるJensen Huang氏は、AIが人類を滅ぼすという概念を「全くのナンセンス」として退けました。
この問題は、米国において政治的な注目も集めています。バーニー・サンダース上院議員は、壊滅的な影響を防ぐために高度なAI開発の一時的な停止を求める「人工超知能禁止法（Ban Artificial Superintelligence Act）」を提案しました。存亡のリスクに関する警告が強権的な政府規制を招くことを恐れる声がある一方で、開発速度と安全性、そして強固な監視とのバランスを取る必要性を強調する声もあります。
出典
- Dramatic insider warnings over AI fall flat with some in Silicon Valley （Hacker News Frontpage, 2026-09-13）
- Why So Many AI Researchers Think the Machines Could Kill Everyone （Hacker News Frontpage, 2026-09-13）