OpenJevがリリース、モデルのLogitsを介したローカルでのセマンティック意思決定を実現

このプロジェクトでは、「デコードせずにオプション確率を直接読み取る方法」と、「モデルにオプション確率をJSONテキストとして書き出させる方法」の2つを比較することが可能です。RTX 3090, 上でフリーズさせた Qwen3.5-4B モデルを用いた性能比較では、直接読み取り方式が大幅に高速であり、生成ベースラインよりも配列処理を 5.21 倍速く完了したとされています。

OpenJevはMITライセンスの下でリリースされており、RTX 3090, などのローカルハードウェアでの動作をサポートしているため、外部APIに依存せずに構造化された意思決定を実行できます。

PLUS ULTRAby Amenoyomi

リクエストのルーティングや、証拠が主張を裏付けているかの検証など、エージェントによる意思決定の多くは、小規模で構造化された選択です。標準的なチャットモデルでもこれらを処理できますが、通常はテキストを生成し、それをソフトウェアが論理文にパースし直す必要があるため、不必要なオーバーヘッドが発生します。「Jevパターン」は、これらの意思決定を、ランタイムで定義された事前定義オプション間でのセマンティックな選択として扱うことで、この課題に対処します。

モデルがトークンを一つずつ予測して書き出すデコードループの代わりに、OpenJevは許可されたオプションの確率（logits）をモデルの出力層から直接読み取ります。提供されたオプション間のみでこれらのスコアを正規化することで、システムは一度のフォワードパスでモデルの選択を決定できます。これにより、回答文の生成やJSONの修正、あるいは時間のかかるトークン生成プロセスが不要になります。

RTX 3090, 上でフリーズさせた Qwen3.5-4B モデルを使用したシステム比較において、この直接読み取りアプローチは大幅に効率的であることが証明されました。キーや説明を付けずに「yes」または「no」の値のみを出力するコンパクトな生成ベースラインと比較しても、直接読み取り方式はタスクを 5.21 倍速く完了しました。