GziPTと呼ばれる新しいツールは、ニューラルネットワーク、学習、または学習済みパラメータを使用することなく、標準的なgzip圧縮アルゴリズムを用いて言語モデリングを実行できることを示しています。圧縮と予測は等価であるという情報理論の原理に基づき、このツールは最高の圧縮率を達成するバイトシーケンスを見つけ出すことでテキストを生成します。
開発者のNathan RS氏によってリリースされたこの実装は、Pythonのzlibライブラリを介してDEFLATEアルゴリズムを使用しています。テキストを生成するために、モデルはコーパスによって「プライミング（準備）」され、スライディングウィンドウをコンテキストで満たします。テキストプロンプトが与えられると、このツールはランダムなデータよりも効率的に圧縮できる継続部分を探索します。
1バイトの小さな変更が圧縮長に大きな影響を与えないというバイトレベルの量子化の限界を克服するため、GziPTはビームサーチを採用しています。選択を確定させる前に特定のバイト範囲を先読みすることで、ツールは最も確率の高い継続部分をより正確に特定できます。Tiny Shakespeareデータセットを用いた実験結果では、出力は完全に一貫しているわけではないものの、入力テキストのパターンを捉える予想外の能力を示しています。
出典
- Can gzip be a language model? （Hacker News Frontpage, 2026-09-22）
- GitHub