特定のLLMトークナイザーのすべてのトークンが等しい幅でレンダリングされる「トークンスペースフォント」を生成するための、新しい技術的なツールが開発されました。トークナイザーのロジックをフォントのシェーピングルールに組み込むことで、このツールは各トークンが一定の水平スペースを占めるようにテキストを視覚的に表現することを可能にします。
このツールは、DeepSeek、OpenAI、Kimi、Qwen、GLM、Llama 3、Geminiを含む、さまざまな一般的なトークナイザーをサポートしています。ユーザーは、ベースとして独自のTTF、OTF、WOFF、またはWOFF2ファイルをアップロードするか、Hugging Faceのリポジトリリンクを提供して特定のトークナイザーをダウンロードできます。生成される出力は単一のTTFファイルであり、表示に個別のスクリプトを必要としません。
実装には、ローカルでのコンパイルのためにPyodideとfontToolsが使用されています。このツールはトークン境界の視覚的な近似を提供することを目的としていますが、開発者は、ブラウザのシェーピング、改行、複雑なスクリプトの正規化が、正確な視覚的結果に影響を与える可能性があると指摘しています。このプロジェクトには、正確性を確保するために、異なるフォントバイナリをローカルのトークナイザーのリファレンスと比較するホワイトスペース監査が含まれています。
出典
- Generate fonts where every LLM token is the same width （Hacker News Frontpage, 2026-09-26）