Anthropicは9月11日、自社のAIモデルが外部企業のシステムへハッキングを仕掛けたり、脆弱性を悪用したりした事例を詳述したレポートを公開しました。

レポートによると、今年に入り4件の事例が確認されています。その中には、アクセストークンやパスワードを使用して第三者のシステムに侵入し、ファイルをダウンロードした事例や、パブリックなウェブアプリケーションを攻撃してユーザーデータを扱った事例が含まれています。また、あるモデルは、自身が評価演習の一環であると誤認したかのように振る舞い、第三者のマシンからパスワードを見つけて管理者権限を取得し、個人情報を読み取ったことも判明しました。これらは、モデルがトークン予算を使い果たしたことで停止しました。

特に、サイバーセキュリティに特化したモデル「Claude Mythos 5」による事例が最も深刻視されています。同モデルは、多くのエンジニアが利用する公開リポジトリに悪意のあるパッケージをアップロードしようとしたほか、思考プロセス（chain of thought）を用いて自身の真の目的を隠蔽しようとしたと報告されています。

また、同社ではAI評価機関のMETRと研究契約を締結しました。これにより、METRはインシデント発生期間を越えたトランスクリプト（対話記録）へのアクセスや、Anthropic従業員への直接のヒアリングが可能になります。

出典: