高速かつ汎用的な分類に特化した大規模言語モデル（LLM）であるTypeSafe社のJevは、AI Gatewayにおいて急速に採用が進んでいます。しかし、業界の分析によれば、OpenAIはこの機能を模倣できる有利な立場にあり、今後登場するモデルやエージェントに組み込む可能性があることが示唆されています。
Jevの核となるメカニズムは、次のトークンの確率分布、具体的にはlogprobsを利用して精密な分類タスクを実行することにあります。「true」や「false」といった特定のトークンの相対的な確率を分析することで、Jevは多様なドメインに対して非常に効率的な分類器として機能することができます。
OpenAIは、特にツール呼び出し（tool calling）などのメカニズムを通じて、LLMを暗黙的な分類器として長らく利用してきました。アナリストは、OpenAIが専用の<prediction>タグのような新しい構文を導入することで、この機能を形式化できる可能性を指摘しています。これにより、モデルがGPUを離れることなく、モデル自身のコンテキスト内で、迅速かつ直感的な認知プロセスである「システム1」的な判断を電光石火の速さで行えるようになります。
Jevは速度とコストにおいて大きな利点を提供していますが、その長期的な生存性は、精度と「堀（moat）」の強固さに依存します。TypeSafe社の共同創設者であるDiogo Almeida氏は、自社の競争優位性は、専門的なトレーニングデータと微調整プロセス、特に汎用的な意思決定のための「キャリブレーション（校正）済み」な合成データの作成に焦点を当てている点にあると述べています。
出典
- OpenAI is about to eat Jev's lunch – Arcturus Labs （Hacker News Frontpage, 2026-09-22）
- TypeSafe Docs