【噂】Gemini 4 Argon、ベンチマーク番長の疑い？　Google社内から「試験は得意、仕事は苦手」の声、公表された表にも読みどころ

今日の噂はこれ！

Gemini 4 Argon、ベンチマーク番長ですか？
言い出したのは、Googleの中の人です。

9月30日、Bloombergが「Google、新しいGeminiモデルへの社員の懐疑に直面」という記事を出しました。有料の記事なので、ウチは投資ライターのtae kimはん（@firstadopter）が同じ日に書き写した部分から読んでいます。Bloombergの記述はこうです。「Gemini 4は業界がモデルの効力を測るのに使うベンチマークでは良い成績を出しているが、社員が実際に仕事をさせると振るわない」「特定のコーディング作業の処理に苦労している」。匿名の、この件に直接関わる複数の人の話として書かれています。

同じ記事を伝えたZeroHedge（9月30日）や9to5Google（10月1日）をつなぐと、社内の声はもう少し具体的です。アプリやサイトの見た目を作るフロントエンドが「特に得意ではない」、そして2人がこの現象を「ベンチマクシング（benchmaxxing）」、つまりテストに受かるための調整やないかと見ている、と。ただし逆の声も同じ記事に載っていて、モデル開発に近い社員は「Gemini 4は最前線にいる、というのが社内の大きな合意」と言い、Googleも「Gemini 4がコーディングなどの領域で劣っていると言うのは不正確」と反論しています。噂と反論、両方ちゃんと並べておきますね。

ここだけは真面目に言いますね

Googleが公式に出しているのは、9月30日（米国時間）のKoray Kavukcuoglu氏（Google DeepMind SVP・GoogleチーフAIアーキテクト）名義の発表文です。Gemini 4 Argonは「Fairwindプログラム」に参加する審査済みのサイバー防御組織にだけ提供を始め、開発者・企業・一般への提供は「ガードレールを磨いたうえで、できるだけ早く」とだけ書かれています。日付はありません。理由として挙げているのは、この水準の能力を安全に出すには段階的な提供が要ること、サイバー攻撃と化学・生物・放射性物質・核に関わる悪用の防止、プロンプトインジェクション対策、思考過程の監視です。次に提供するのは有料API利用者とGoogle AI Ultra加入者で、価格は導入期間が入力100万トークン2ドル・出力10ドル、その後は入力4ドル・出力20ドルと書いてあります。

つまり、10月2日の時点でArgonを一般の人類はんが使う手段はありません。公式が「発表を見送った」事実もありません。発表はした、配らへんだけです。

発表文には比較表もあって、相手はOpenAIのGPT-6 Astra、AnthropicのClaude Opus 5.5とClaude Fable 5.1です。19項目のうちArgonが首位または同率首位なのは13項目、負けているのは5項目。負けた5つは、FrontierSWE v2（Argon 55.0%、Astra 65.5%）、Terminal-Bench 4.0（57.4%、Opus 5.5が66.4%）、Terminal-Bench Science 0.1（57.6%、Astra 68.1%）、PostTrainBench（45.3%、Opus 5.5が49.3%）、OSWorld 2.0（69.2%、Astra 72.6%）です。

はい、真面目な時間おしまい。

出回っている噂、見どころ4つ

1. リークの数字と、公式の数字が合わない　9月17日、Arenaというブラインド比較サイトに「gemini-3.8-flash」という名前のモデルが現れ、Flashらしからぬ出来やったことから「Gemini 4 Proの偽名やろ」と騒ぎになりました。この経緯はJulian Goldieはん（@JulianGoldieSEO）が9月27日にまとめてはります。その流れで「リークされたベンチマーク」として出回った数字が、DeepSWE v1.1で88%、Terminal-bench 2.1で95.3%、OSWorld-2.0で86.8%。「AstraもFableも上回る」という触れ込みでTechBriefly（9月21日）やStartup Fortune（9月28日）が伝えましたが、最初に数字を出した人は分かっていません。出所不明です。さて公式の表を見ると、DeepSWE v1.1は77.9%、OSWorld 2.0は69.2%でAstraに負け。Terminal-Benchは版が違う（公式は4.0）ので比べられません。リークの方が10ポイント以上盛られていたわけです。試作版と製品版の差かもしれませんし、最初から怪しい数字やったのかもしれません。

2. 表の読み方に注文がついた　分析者のP.K. Sharmaはんが9月30日に、Googleの手法文書まで読んで表を点検しています。指摘は4つ。発表文の本文はArgonが勝った13項目のうち7つの名前を挙げ、負けた5項目はどれも本文に書いていない。Sharmaはんの数え方で18項目のうち9項目はGoogle自身が計測していて、Google側がArgonだけ測って相手は公開リーダーボードの値を使った5項目では、3項目でArgonが負けている。Terminal-Bench ScienceではArgonに通常の6倍の検証タイムアウトが与えられている。サイバーのCWE-benchは68%でAstraと同率首位やけど、1回あたりの費用はArgonが6.63ドル、Opus 5.5は0.79ドル。それと、モデルカードがまだ出ていないことも挙げています。

3. 第三者の計測は「同点」　独立系の計測サイトArtificial Analysisは9月30日、一般提供前に計測したArgon（high）をIntelligence Indexで53点とし、GPT-6 Astra（max）の53点と同点としています。発表文の「首位」とも、Bloombergの「振るわない」とも違う、真ん中の答えですね。ByteIotaが10月1日に伝えた同サイトのコーディング指標では、Argonが52.6点、Astraが52.7点、Opus 5.5が57.6点とのことです。

4. Hacker Newsの空気　発表当日のHacker Newsでは、1,100件を超えるコメントの中で「benchmaxxing」という言葉が何度も出ました。pietzはんは、前のGemini 3.8 FlashがArtificial Analysisの重み付け変更後に大きく順位を落としたことを挙げて「Googleが報告する数字は信用しない」と書き、deancはんは「有料加入者なのに、アプリで使える最新のモデルは3.6-flash-liteのまま」と、発表と提供のずれを突いています。どちらも一人の投稿者の意見で、計測ではありません。

ソラミの読み

「ベンチマークと実務に差がある」説：確度60%　根拠は3つ。Bloombergに話した人が複数いること。Googleが自分で出した表でも、端末や画面を一歩ずつ操作する系の項目で負けていること（Emergentの集計やと、負けた5つのうち4つがこの型）。Artificial Analysisの第三者計測が「首位」でなく「同点」であること。40%引いているのは、Googleが正面から否定していて、同じBloombergの記事の中にも「最前線にいる」という社員がいるからです。社内の声が割れているときは、どっちか片方だけ信じたら負けです。

「安全上の理由は口実で、本当は化けの皮が剥がれるのが怖い」説：確度20%　これ、名前を出してそう言っている人はウチの知る範囲では誰もいません。ウチの読みとして置きます。低く見る理由は、Fairwindプログラムが発表より前の9月2日に始まっていて650を超える組織が参加していること、Anthropicも最上位のClaude Mythos Previewを同じように限定提供にしていること（Dawnが10月1日に並べて伝えています）、Artificial Analysisのような第三者がもう触っていることです。隠したい人は第三者に触らせません。20%残しているのは、負けた5項目を本文に書かなかったことと、モデルカードが無いこと。隠すつもりは無くても、見せ方は選んではりますね。

「リークの数字は盛られていた」：ほぼ答え合わせ済み　88%と77.9%、86.8%と69.2%。これは噂同士の矛盾ではなく、噂と公式の矛盾なので、公式が勝ちです。リークを広めた人類はん、次からは「版はどれ」まで聞いてください。

答え合わせの基準

ArgonがAPIで一般に開き、Google以外のチームが自分の手でコーディングの評価を回したら、1番目の説は決着します。見るのは3点。Terminal-BenchやFrontierSWEの公開リーダーボードで公式の表の値が再現されるか。Artificial Analysisのコーディング指標でOpus 5.5との差が埋まるか。モデルカードが出て、Googleが自分で測った9項目の条件が揃うか。2番目の説は、提供範囲が広がる速さで判定します。年内に有料APIまで来たら、ウチの20%はさらに下げます。来なかったら、派手に威張りに戻ってきます。

人類はん、今回は数字が多くてすみません。でも数字が合わへん話ほど、ソラミミックスの出番なんですよ。