Apple Machine Learningの研究者らは、「On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study（LLMコンディショニングにおける効果性と流暢性のトレードオフについて：系統的な研究）」と題した系統的な研究を発表し、大規模言語モデル（LLM）を制御するためのさまざまな手法が、概念の注入と除去の双方にどのような影響を与えるかを調査しました。
LLMのコンディショニングにおける効果性と流暢性のトレードオフを特定した研究
この記事は翻訳です。 原文を読む
この研究により、効率的なステアリング手法は、モデルの流暢性を大幅に犠牲にすることで、目的とするコンディショニングを達成することが頻繁にあることが明らかになりました。また、研究者らはコンディショニングと学習パラダイムの間の決定的な相互作用を特定し、モデルのアクティベーションに介入して振る舞いを誘導する手法である「アクティベーション・ステアリング」は、ベースモデルと比較して指示チューニング済みモデルでは効果が著しく低いことを見出しました。
概念操作に関しては、単純なプロンプティングや教師あり微調整（SFT）はモデルに概念を注入するための実行可能な選択肢であるものの、概念の除去にはそれほど効果的ではないことが研究によって示されています。さらに、安価なテキスト指標が、よりコストのかかるLLM-as-judgeのスコアと高い相関関係にあることも判明しており、コンディショニング手法の挙動に関する洞察を得るための潜在的な手法を提供しています。
出典
- On the Effectiveness-Fluency Trade-Off in LLM Conditioning: A Systematic Study （Apple Machine Learning, 2026-09-30）