Hugging Faceが大幅なパフォーマンス向上を実現したtokenizers v1のリリース候補を公開

このパフォーマンス向上は、いくつかの主要なアーキテクチャの変更によるものです。同ライブラリは、汎用的な正規表現エンジンではなく、SIMD（single instruction, multiple data）命令を使用して複数のバイトを一度に処理する手書きのスプリッターを使用するようになりました。さらに、v1ではスレッドローカルキャッシュが実装され、以前に処理されたプリトークンの結果を保存することで、繰り返される単語に対してコストのかかるマージプロセスをスキップできるようになりました。また、マージループもスクラッチバッファを再利用するように最適化され、頻繁なメモリ割り当てを排除しており、現在は単一のモデル呼び出しでプリトークンのバッチを処理できます。

Apple M4 Maxで実施されたベンチマークによると、v1のエンコードパスは、モデルファミリーに応じて、シングルスレッドモードでv0.23よりも3から30倍高速であることが示されています。このアップデートはマルチコア間でも効果的にスケールし、8つのワーカーにわたって約76%の線形スケーリングを達成しています。