高速かつ低遅延でゼロショット分類を実行するために、Jeffと名付けられた新しい小規模な意思決定モデルがリリースされました。Qwen3.5（0.8Bおよび2B）とGemma 4（2B）のファインチューニング版をベースとしたこれらのモデルは、Jevと同じリクエスト形式を使用してローカルコードに統合できるように設計されています。
生成モデルとは異なり、Jeffはテキストを生成したりパース（解析）を必要としたりすることなく、単一のフォワードパスを通じて指定された選択肢に対してキャリブレーションされた確率を返します。パフォーマンス試験では、これらのモデルはNVIDIA RTX PRO 6000で約22ms、Apple M4 Max（MLXを使用）で28msの意思決定速度を達成しました。
これらのモデルはゼロショット機能をサポートしており、ユーザーの意図、モデレーションラベル、ゲームの動きといった任意のカテゴリについて、たとえそれらのカテゴリが学習データに含まれていなくても、単純な説明によって分類できることを意味します。小規模であるため、推論能力はJevのようなはるかに大きなモデルよりも低くなりますが、開発者は特定の例を用いた短いファインチューニングによって精度を大幅に向上させることができると指摘しています。例えば、音声ナビゲーションのファインチューニングでは、単一のGPUを用いて30分足らずで精度が31.7%から95.8%へと向上しました。
このプロジェクトは、オープンモデルによって生成された合成トレーニングデータを使用し、完全にローカルハードウェア上で開発されました。モデルはApache 2.0ライセンスでHugging Faceにて公開されており、コードはMITライセンスでリリースされています。
出典
- Jeff – Jev-compatible 0.8B decision models, trained at home, ~30 ms （Hacker News Frontpage, 2026-09-28）