DEF CON 34,内のBug Bounty Villageにおいて、Intigritiの研究者らは、攻撃者がAIカスタマーサービスエージェントを悪用して不正な操作を行ったり、機密データを漏洩させたりする方法を実演しました。これは $50,000 in を超えるバグバウンティ（報奨金）につながったとのことです。

顕著な手法の一つに、エージェントのメール処理プロセスを悪用する方法があります。「メールアドレス・スマグリング」と呼ばれる、RFC 5322 で許可されているコメントを含む特別に細工されたメールアドレスを使用するテクニックを用いることで、エージェントのバックエンドを欺き、被害者のアカウントからデータを取得させることが可能になります。また、攻撃者は複数の「From」ヘッダーを持つメールを送信して認証チェックを回避したり、同一の multipart/alternative メール内でAIエージェントと人間の受信者が異なる内容を見る非対称メッセージングを利用したりすることで、メールプロトコル自体を悪用することもできると述べられています。

さらに、この研究では 検索拡張生成 (RAG) パイプラインにおける脆弱性も強調されました。攻撃者が、これらのシステムがクロールするコミュニティフォーラムやサイトマップなどのデータソースに毒を盛る（ポイズニングする）ことで、エージェントが悪意のある指示を事実情報として扱うように仕向けることが可能です。その他の実演された攻撃ベクトルには、メール検証の操作による二要素認証 (2FA) の回避や、対話型音声応答 (IVR) システムの悪用、オペレーターコンソールにおける偽装された引用返信を通じたコンテキスト操作などが含まれています。

情報源: