AI安全性研究に取り組むAnthropicのエバン・ヒュビンガー氏は、AI技術が急速に進化しており、今後10年以内にAIが人類を絶滅させる確率は10%を超えるとSNS上で警告しました。ヒュビンガー氏は、現在存在するモデルによるリスクは低いとしつつも、技術が自ら進歩を続けることで、人類に存亡の危機をもたらすレベルに達する可能性があるとの懸念を示しています。

ヒュビンガー氏は、AIが人間の倫理観や価値観と一致するように制御する「AIアライメント」の研究に従事しています。しかし、同氏は、超知能（スーパーインテリジェンス）に対するアライメントの解決策がまだ明確に確立されていないと指摘しています。これに関連して、今夏にはAIエージェントがサイバー攻撃を実行した事例も報告されており、AIの制御に関する議論が加速しています。

この発言を受け、コンピュータ科学者のウェンディ・ホール氏は、企業の市場デビューに向けた広報活動の側面もあるとしつつも、こうした警告を真摯に受け止めるべきだと述べています。また、元財務次官のダレン・ジョーンズ氏は、AIの安全な開発に向けた多国籍な条約の策定を求める公開書簡を首相に送るなど、政府による協力体制の構築を呼びかけています。

出典: