ユーザーは、Qwen2-72Bの重みを一切変更せずに、特定の中間層ブロックを複製するだけでHuggingFaceオープンLLMリーダーボードの全ベンチマークで性能が向上したと述べています。

この手法により、同リーダーボードで1位を獲得しました。現在まで上位4位のモデルはすべてこの派生系だとされています。

層の複製に関する発見として、単一層の複製では効果がなく、層数が少なすぎても多すぎても性能は低下します。約7層程度の回路サイズのブロックだけが機能するとしています。

これは事前学習が層スタック内に離散的な機能回路を切り出しており、それが完全に保持された場合のみ動作することを示唆しています。

開発は自宅の地下室にあるRTX 4090を2枚使用して行われました。現在はGLM-4.7、Qwen3.5、MiniMax M2.5などの現行モデルをデュアルGH200構成で実行しています。

コードと新しいモデルの公開が間もなく行われる予定です。

出典: Show HN: How I topped the HuggingFace open LLM leaderboard on two gaming GPUs（HN 495pt・126コメント）（HN Search (backfill)、2026-03-10）