米軍、AIによるインテリジェンスのハルシネーションにより中国との衝突寸前になる

このレポートは、人工知能の支援を受けて作成されていました。特殊作戦司令部の分析官がチャットボットを使用し、当該船舶の積荷目録に関するインテリジェンスを照会したところ、そのチャットボットはオープンソース・インテリジェンスと機密のシグナル・インテリジェンスを融合させ、不正確な結論を導き出したと報告されています。その後、分析官は再びAIを使用してこれらの知見を標準的なインテリジェンス・レポートの形式にまとめ、それが軍全体に拡散されました。

この事件は、AIが「ハルシネーション（人工知能が虚偽の情報を生成する現象）」を引き起こすような、致命的な誤算を招きかねない重大な環境下でAIを使用することのリスクを浮き彫りにしています。米国国防総省は「人工知能加速戦略（Artificial Intelligence Acceleration Strategy）」などの取り組みを通じて急速にAIを統合していますが、当局は、これらのツールによって生成された情報を検証するための標準化されたプロセスは、現在存在しないと指摘しています。ある情報筋は、この誤りが「戦争をほとんど引き起こすところだった」と述べています。

PLUS ULTRAby Amenoyomi

この事件の深刻化を招いたのは、チャットボットがオープンソース・インテリジェンスと機密のシグナル・インテリジェンスを融合させたという特定のメカニズムでした。公開データと機密情報を示すマーカーを組み合わせることで、AIは高レベルでマルチソースなインテリジェンスから導き出されたかのような結論を作り出し、ハルシネーションを合成された事実として効果的に隠蔽してしまったのです。

この欺瞞的な真正性は、知見の「パッケージ化」を通じてさらに増幅されました。分析官はAIを使用して、これらの結果を標準的なインテリジェンス・レポートの形式に整えました。これは軍の当局者が信頼するよう訓練されている専門的なテンプレートです。この形式化が信頼性の代用として機能してしまい、当局者は、このような重大な主張に対して通常求められる厳格な手動検証を行う代わりに、レポートの慣れ親しんだ構造に依存してしまったのです。