AIエージェント向けマーケットプレイスを運営するEarn an Honest Dollarは、生成AIがウェブページから情報を抽出する際に、存在しない値を勝手に作り出す「ハルシネーション（幻覚）」を抑制する実験結果を公開しました。
AIに「推測しないでください」と指示するだけで、架空データの生成割合が70.7%から20.2%に減少
実験では、16種類のAIモデルを対象に、ウェブページから「商品名」や「価格」などの情報を抽出させるテストを行いました。その結果、「推測しないでください」といった指示がない場合、存在しない項目のうち70.7%で何らかの値が生成されていました。しかし、「ページにない値にはnullを使ってください。推測しないでください」という指示を追加したところ、架空の値が生成される割合は20.2%まで低下しました。
テストしたすべてのモデルで、指示を追加した方が架空の値を生成する回数が減少しました。例えば、ページ内に古い価格が記載されているなど、AIが間違いやすい「おとり」を配置したケースでも、指示の有無によって誤答するモデルの数が減少しました。
今回の結果は、モデル自体の再学習を行わなくても、ルールを明示的に与えることで、分からない情報を「分からない（null）」と回答させる挙動に大きく変えられる可能性を示しています。なお、Earn an Honest Dollarは、今回のベンチマークはウェブからの情報抽出を対象としたものであり、他の用途でも同様の傾向があるかは追加の検証が必要であるとしています。
出典
- AIに「推測するな」と指示するだけで架空データが70％から20％に減少したという実験結果 （GIGAZINE、2026-09-28）
- Earn an Honest Dollar