IBM Researchは、AIエージェントにおける「一貫性のギャップ」を埋めるために設計された、同社のALTK-Evolveシステムにおける新しいタイプのガイドラインである「一貫性ガイドライン（consistency guidelines）」を発表しました。標準的なベンチマークでは平均成功率（Mean@k）が報告されることが多い一方で、エージェントが複数の実行にわたって同じタスクを確実に実行できるか（Pass^k）については、見落とされることが頻繁にあります。
IBM Research、AIエージェントの性能を安定化させるALKT-Evolveによる一貫性ガイドラインを導入
この記事は翻訳です。 原文を読む
この研究は、GPT-4.1のような有能なモデルであっても、大きな変動を示す可能性があることを強調しています。例えば、AppWorldベンチマークにおいて、ReActエージェントはMean@5で77.4%を達成しましたが、Pass^5はわずか53.0%にとどまり、24.4ポイントの一貫性のギャップを示しました。この不一致は、モデルの特定のステップにおける意思決定がほぼコイン投げのような状態になり、軽微な摂動に対して脆弱になる「平坦な」確率分布に起因することが多々あります。
これに対処するため、新しいワークフローでは以下の2段階のパイプラインを採用しています：
- Detection（検出）: 「Consistency Analyzer」が制御されたリサンプリングを通じて意思決定ステップを再実行し、モデルの出力が不安定なステップを特定します。
- Generation（生成）: これらの特定の意思決定ポイントを安定させるために、ターゲットを絞ったガイドラインが自動的に生成されます。
AppWorldテストセットによる評価では、これらのガイドラインを適用することで一貫性のギャップが約半分に減少し、24.4ppから12.0ppへと縮小したことが示されました。特筆すべき点として、全体のMean@5精度を損なうことなく、集計されたPass^5成功率は53.0%から69.0%に上昇しました。新しいConsistency Analyzerを含むALTK-Evolveツールキットは、オープンソースプロジェクトとして公開されています。
出典
- Your Agent Aced the Task. Will It Do It Again? （Hugging Face Blog, 2026-09-15）
- altk-evolve