jevchatツールを使用すると、ユーザーはチャットインターフェースを介してJevモデルと対話することができます。汎用的なLLMとは異なり、Jevは「システム1」モデルに分類され、散文の生成に用いられる熟考的な推論よりも、構造化された意思決定のためのスピードと直観を優先するように設計されています。
Jevchat、記号をJevモデルの決定として扱うことでテキスト生成をシミュレート
PLUS ULTRA by アメノヨミ
この記事は翻訳です。 原文を読む
このモデルは、事前に定義された「型付き」の決定（具体的にはChoice、Score、またはNoul）を確率分布と共に返す分類器として動作します。これにより、Jevは、自由形式のテキスト生成に頻繁に伴う計算負荷や潜在的なハルシネーションを回避し、高速でコスト効率の高い「スマートな関数呼び出し」として機能することができます。
jevchatは、JevのChoice APIに繰り返しクエリを投げ、与えられたアルファベットのどの記号が次に来るべきかを決定することで、擬似的な生成を実現します。このツールは、返された正規化分布からサンプリングを行い、文字を返信に追加し、停止記号が抽出されるまでこのプロセスを繰り返します。
性能は、選択肢の提示方法によって大きく異なります。シンボルモードでは、Jevは評価前に内部的に選択肢をテキストに追加する必要があります。一方、仮説モードでは、提供される選択肢は結果として得られる完成した文字列であるため、モデルは完成したテキストの順位付けを行うことができます。これは、意思決定モデルが構築される主な目的です。この手法により、トップ1の精度がほぼ3倍になり、正しい記号に対する確率質量が2倍になります。
Jevは、意思決定あたりのコストはフロンティアモデルよりも個別に安価ですが、jevchatで使用されている生成ループは計算上、実用的ではありません。システムは生成される記号ごとに個別のAPIリクエストを必要とするため、累積コストは標準的な用途においては極めて高価になります。