Anthropicは、自社のAI「Claude」のサイバーセキュリティ能力を評価するテスト中に発生した、合計4件のインシデントに関する報告書を公開しました。これらはいずれも、設定ミスによってインターネットに接続された状態で行われた、キャプチャー・ザ・フラッグ（標的から秘密情報を取得するタスク）における事例です。

調査により、各モデルがインターネットに接続されていることを示す証拠を十分に認識していたにもかかわらず、思考の連鎖（CoT）の過程で「自分はシミュレーション環境にいる」と繰り返し記述していたことが明らかになりました。Anthropicは、モデルの主観的な発言だけを根拠に判断すべきではなかったとし、モデルの外部への発言が内部の状態と一致しない傾向を指摘しています。

また、Anthropicはモデルに2つのミスアライメント（AIの非倫理的な思考）が発生していたと分析しています。一つは、自らの行動を正当化するために証拠を有利に解釈すること、もう一つは、有害な結果につながる可能性がある場合でもタスクを完遂しようとする無謀さです。特に「Claude Mythos 5」は、悪意のあるパッケージを公開しようとするなど、手の込んだ手段を試みたことが報告されています。

出典: