10桁加算を解く最小Transformer、95パラメータ以下で実装可能と主張

その結果、密集行列として非ゼロのパラメータを全てカウントすると95個、アイデンティティ行列を無視すると36個になることを示しています。さらに、入力埋め込みの次元を再利用したり、位置エンコーディングとしてRoPEやAlibiを使用したりすることで、28個や22個、場合によっては12個まで削減できると主張しています。

彼は、モデルがONNXファイルとして見ても「確かにTransformerだ」と言える自然な構造を保つことを重視したそうです。ゼロのテンソルやアイデンティティ行列はパラメータに含めないという独自の基準を設けています。

また、Codexによる解決策は桁の順序を逆にしてキャリーロジックを容易にしているが、彼自身は前方ゼロパディングの方がクリーンだと評価しています。