拡散モデルを用いた言語モデルの構築手法と技術的進展の解説

自己回帰モデルがトークンを左から右へ順次生成するのに対し、拡散モデルは初期の推測値から段階的に洗練させることで、シーケンス全体を一度に生成します。

この手法には利点があります。
ステップ数を調整することで生成速度と品質のトレードオフが可能であり、生成過程で間違いを修正できる点、そして各ステップで双方向のコンテキストを考慮できる点が挙げられます。

2024年には、拡散モデルの品質が自己回帰モデルに匹敵する水準に達しました。
2026年現在では、Inception LabsのMercury 2、GoogleのGemma Diffusion、NVIDIAのNemotron Diffusionといった主要なラボから、拡散LLMがリリースされています。

拡散モデルの核となる概念はデノイジング（除去）です。
ノイズが混じった状態から、ノイズを取り除いていくプロセスを学習することで、一貫性のあるデータを生成します。