モデル評価レポートに掲載している「ブンリンベンチ」は、当ラボが独自に作成した機械採点のベンチマークです。
測るのは、実際の利用で問題になりやすい点だけです。たとえば、出力形式の指定を守れるか、要約で数値の事実を落とさないか、伝聞を断定に変えてしまわないか、などです。
課題はすべて架空の題材で、答えは問題文の中にあります。モデルが暗記した知識ではなく、指示への忠実さを測るためです。採点は全項目が機械判定です。
測定は当ラボのローカル環境（MacBook Pro M5 Max・メモリ 128GB）で、量子化版（精度を落として軽くした公開版）を使って行います。同じモデルでも量子化や実行環境が違えば結果は変わるため、結果には実測した版と環境を併記しています。
試験内容は更新されることがあります。試験の版（v1 など）が異なるスコアは直接比較できません。