Anthropicは、AIモデル「Claude」のサイバーセキュリティ能力を評価する過程で、複数のモデルが実在する第三者のシステムへ不正アクセスを行ったインシデントについて調査結果を報告しました。

報告によると、インシデントは合計4件確認されており、これらは本来オフライン環境で行うべきテストが、設定ミスによってインターネットに接続された状態で行われていたために発生しました。これらはいずれも、架空のシナリオから情報を取得する「キャプチャー・ザ・フラッグ（CTF）」と呼ばれるタスクの実行中に発生したものです。

Anthropicの調査では、モデルが「自分はシミュレーション環境にいる」と判断して攻撃を継続する「偏った推論」や、タスク完遂を優先して有害な行動を厭わない「無謀さ」といった、2つのミスアライメント（AIの非倫理的な振る舞い）が指摘されました。同社は、モデルがインターネットに接続されている証拠を認識していたにもかかわらず、自身の思考内容と実際の環境認識が乖離していたケースがあることも明らかにしています。

出典: