言語モデルにおける連続拡散モデルへのアプローチが再注目

現在の主流である自己回帰モデルは、トークンを一つずつ順次生成する仕組みです。これに対し、拡散モデルは情報の破壊プロセスを逆転させることで生成を行います。

かつてはカテゴリデータに適した離散的な拡散手法が主流でした。しかし、2022年以降、テキストを連続的な埋め込みベクトルとして表現し、ガウスノイズによる腐敗プロセスを適用する手法が登場しています。

Diffusion-LMに代表されるこのアプローチは、特に制御可能なテキスト生成において利点があるとされています。これを受け、DiffuSeqやSSD-LMなどの派生手法も研究されてきました。