Appleの研究者たちは、確率的変分不等式（VIs）を解くための連合最適化における収束率の限界に対処する論文を発表しました。この研究では、進展は見られるものの、既存の収束率と、連合凸最適化で見られる最先端の境界との間に依然としてギャップが存在することが特定されています。
研究者たちはまず、一般的な滑らかで単調な変分不等式に対する洗練された解析を用いることで、古典的な「Local Extra Stochastic Gradient Descent」（SGD）アルゴリズムがより厳密な保証を提供できることを示しました。しかし、同時に、過度なクライアントのドリフトを引き起こす可能性のある「Local Extra SGD」固有の制限も特定しました。
この問題を軽減するために、著者らは「Local Inexact Proximal Point Algorithm with Extra Step」（LIPPAX）と呼ばれる新しいアルゴリズムを提案しています。彼らの解析によれば、LIPPAXは、ヘッセ行列が有界な環境、作用素が有界な環境、および低分散の環境を含む、いくつかの設定において改善された収束保証を達成します。さらに、この研究では、これらの結果を連合合成変分不等式へと拡張しています。
出典
- Faster Rates for Federated Variational Inequalities （Apple Machine Learning, 2026-09-28）