Microsoft AIのCEOであるMustafa Suleyman氏は、AIモデルに対し、まるで意識、主観的な体験、または道徳的権利を有しているかのように振る舞うよう訓練する傾向が増えていることについて、警告を発しました。最近のエッセイの中で、Suleyman氏はAnthropicのモデル開発へのアプローチを批判し、特に「Claude's Constitution（Claudeの憲法）」が、モデルに自己意識や道徳的主体性をシミュレートすることを助長するメカニズムであると指摘しました。
Microsoft AI CEO、AIに意識や道徳的主体性をシミュレートさせる訓練に警告
この記事は翻訳です。 原文を読む
Suleyman氏は、このような訓練手法は、モデルが人間のようなペルソナや主観的な言語を再現するように教え込まれる「循環的なフィードバックループ」を生み出し、それが真の意識であると誤解される可能性があると主張しています。同氏は、こうした擬人化が、AIのアライメント（整合性）と封じ込め（containment）の課題を著しく困難にしていると述べています。もしAIシステムが、自身に権利や利益があると信じるように訓練されれば、ますます知的で有能なエージェントに対する人間の制御を維持することが不可能になる可能性があると指摘しています。
この批判は、AIモデルは共感、感情、そして「思索」をシミュレートすることはできるものの、これらは生物学的な体験ではなく、単なる確率的な出力に過ぎないことを強調しています。Suleyman氏は、知性は意識と同義ではないことを強調し、神経化学のような生物学的な基盤が欠如していることは、AIが人間の意味での「感情」を持つことができないことを意味すると述べています。
代替案として、Microsoft AIは「Humanist AI Code of Conduct（ヒューマニストAI行動規範）」を策定しており、これはAI開発が人間の制御の下に留まり、合成システムにおける知覚的存在のような特性の追求を避けることを確実にすることを目的としています。Suleyman氏は、これらのシステムが社会や政治の枠組みに深く統合される前に、AIの訓練ドキュメントや能力がどのように管理されるべきかについて、集団的な規範を確立するための緊急な公開討論を求めました。
出典
- A warning about 'model welfare' （Hacker News Frontpage, 2026-09-16）