機械学習において、「log-sum-exp」関数の推定または最適化は、確率モデルの正規化、最大値の近似、およびエントロピー正則化を介した強化学習において用いられる一般的なタスクです。しかし、これらの推定値の分散、特にポテンシャル関数が大きな値をとる場合に、分散が爆発するという大きな課題が生じます。
研究者の Francis Bach は、この分散の爆発に対処する相対密度推定のための新しいフレームワークを導入しました。この手法は、安定した最小二乗問題の連続体を採用しており、単一の一般化固有値分解を通じて計算を可能にします。
変分法は観測数が大量にある場合には効果的ですが、新たなスペクトル手法は観測数が少ない場合に好ましいものとなります。このアプローチは、正規化された特徴量の必要性を排除することで、特徴量学習を簡素化します。さらに、このフレームワークは、和または積分が計算可能な場合、ソフトマックス回帰の閉じた形式の推定量を提供します。
出典
- Exploding variance of means of exponentials: least-squares to the rescue （Hacker News Frontpage, 2026-09-25）