高速意思決定モデルの新たなエコシステム：OpenAIのDecisions APIのリリースに伴い、Jeeves、Jeff、Jevstillerが登場

PostHogは、Qwen3.5-9Bをベースとした推論型分類器であるJeevesをリリースしました。標準的なJev系モデルとは異なり、Jeevesは推論チェーンと拡散ドラフター（diffusion drafter）を使用して、ドメイン外のタスクにおけるパフォーマンスを向上させます。これは、最終的な分類に達する前に推論を行うことで、より高い意思決定精度を提供することを目指しています。

高速なローカル実装向けに、「Jeff」と題された独立したプロジェクトがリリースされました。Qwen3.5とGemma 4のファインチューニング版をベースにしたJeffは、TypeSafeのJevと同じリクエスト形式で既存のコードに組み込めるように設計されています。0.8Bパラメーターのモデルは、RTX PRO 6000で約22 ms、Apple M4 Maxで28 msの意思決定速度を達成できます。速度とゼロショット分類に最適化されている一方で、開発者はその推論能力が大型のJevモデルには及ばないと述べています。

大型モデルとローカル展開のギャップを埋めるために、Jevstillerが導入されました。このツールは、Jevモデルの性能をより小さなローカルモデルに蒸留するプロキシとして機能します。これには、厳密な有限サンプル境界（exact finite-sample bound）を用いて、ユーザーが定義した「不一致予算（disagreement budget）」内でローカルモデルの回答がJevと一致することを保証するメカニズムが含まれています。Banking77データセットを用いたベンチマークでは、JevstillerはCPU上で、教師モデルに対して99.50%の一致率で71.9%のカバー率を達成しました。