ngrokのデベロッパー、アニー・セクストン氏は、データの圧縮と大規模言語モデル（LLM）は、根幹において「データの予測」という同じ課題を解決しようとしていると自身のブログで述べています。

どちらの技術もデータの冗長性を削減し、より効率的な表現を目指すもので、情報理論におけるエントロピーという数学的枠組みで結びついているとしています。

圧縮アルゴリズムにおいて、エントロピーコーダーはモデルが提示する確率に基づいてデータをエンコードします。特定のシンボルの出現確率が高いほど、圧縮率は向上します。

実際のデータでは、シンボルの確率は前後の文脈（コンテキスト）に大きく影響されます。直前のN個のシンボルを考慮する「オーダーNモデル」を用いることで、より強力な確率を得ることが可能です。

LLMは与えられたコンテキストに基づいて次にくるトークンの確率分布を予測します。この予測能力は、圧縮における「モデル」の性能に直結するとされています。

出典: 圧縮とLLMに共通する本質は「データの予測」（GIGAZINE、2026-09-06）