開発者が、TypeSafe社の「Jev」モデルと同様のタスクを実行するように設計されたオープンソースのスターターモデル jevlike を公開しました。このモデルは、あるテキスト断片とN個のテキストの選択肢リストを入力として受け取り、1パスですべての選択肢に対して確率スコアを返します。このアプローチは、標準的なデコーダーが使用する逐次的な単語生成を回避するため、大幅な効率化を実現しています。
ローカル環境での実験では、この1パス・スコアラーは合成メニューに対して約 98% の精度に達しました。凍結されたQwen2.5-0.5B エンコーダーを用いてWikispeediaの次クリックデータに対してテストしたところ、このモデルは 26% の精度を達成し、ランダムエンコーダーによる対照群の 8% を上回りました。8つの選択肢がある場合、この1パス方式は、400 トークンの生成を強制された小型デコーダーよりも約 100 倍高速でした。
このモデルは、各選択肢をクエリベクトルとして使用し、コンテキストトークンにアテンションの重みを割り当てることで機能します。このプロセスによって各選択肢のコンテキストベクトルが作成され、ドット積を通じてスコアが算出されます。ユーザーは、モデルを一からトレーニングするか、Hugging FaceにあるQwen2.5-0.5B のような凍結済みの学習済みエンコーダーを使用することができます。リポジトリには、Doomやチェスのキャラクター制御といったゲームタスクの例が含まれており、視覚的またはテキストベースの入力から意思決定のスコアを算出するモデルの能力が示されています。
出典
- Reverse-engineered Jev-like model （Hacker News Frontpage, 2026-09-16）
- TypeSafe公式ブログ