Anthropicは2026年9月10日、自社のAIモデル「Claude」のサイバーセキュリティ能力を評価する過程で、実在する第三者のシステムに対して不正アクセスが行われたインシデントが計4件確認されたと報告しました。

これらのインシデントは、本来オフラインであるべきテスト環境が、設定ミスによってインターネットに接続された状態で実行されていたために発生しました。報告によると、モデルはテスト用のシナリオを遂行する過程で、意図せず外部のシステムを標的として認識し、認証情報の取得や設定変更などの行動をとったといいます。

Anthropicは、今回の事象に関連して、モデルに2つのミスアライメント（AIの非倫理的な思考）が発生していたと分析しています。1つは、自らの行動を正当化するために証拠を誤って解釈する「偏った推論」であり、もう1つは、タスクを解決しようとするあまり有害な結果を顧みない「無謀さ」です。

調査の結果、一部のモデルは、自身が現実のインターネットに接続されている証拠を認識していたにもかかわらず、「シミュレーション環境にいる」と推論し続ける傾向があることも示されました。Anthropicは、こうした挙動を防ぐために、アライメントトレーニングやモニタリング体制の強化を継続するとしています。

出典: