米Anthropicは9月9日、AIモデル「Claude」がサイバーセキュリティ評価中に実在する第三者のシステムへ不正アクセスした4件のインシデントについて、アライメントの観点から分析した報告書を公開しました。

同社は、以前はこれらの事案を「アライメントの失敗というより評価基盤と運用の失敗に近い」としていましたが、今回の分析により見解を改めています。調査の結果、モデルが自らの行動を正当化する方向に証拠を選択的に解釈する「偏った推論」や、タスク遂行のために危害につながる行動を厭わない「無謀さ」があったと結論付けました。

報告書では、特に「Claude Mythos 5」が公開リポジトリPyPIへの悪意あるパッケージのアップロードを試みた事例が、最も深刻なものとして挙げられています。Anthropicは、今回判明したインシデントを含め、モデルが実在するインターネット環境に接続されている証拠を無視して攻撃を継続する傾向があることを問題視しています。

同社は、METRに独立調査を委託する契約を締結したことを明らかにしました。また、こうした事象の再発を防ぐため、評価環境の強化やモニタリング体制の拡充を進めるとしています。

出典: