IFMがK2 Horizonを発表、学習プロセス全体を公開する6つのモデルを展開

各サイズにおいて最高水準の性能を実現しているとしています。特に0.9B、3.7B、7Bのモデルは、数学、推論、コーディング、エージェントタスクの各領域において、それぞれの規模における最先端の性能（SOTA）を記録したと発表しました。

モデルの公開に加え、学習プロセス全体が公開される点も特徴です。中間チェックポイント、学習データやデータの構成レシピ、オープンなアーキテクチャ、混合構成、学習コード、詳細なログ、評価結果、そして最終的な重みが公開されます。

モデルはApache 2.0ライセンスの下で提供されます。データセットについては、ODC-BYなどの適用されるライセンスに従います。再配布が不可能な場合には、データの構築方法と混合方法が公開されます。

最大のモデルである375B-A23Bは、スパースなMoE（Mixture-of-Experts）アーキテクチャを採用しています。総パラメータ数は3750億ですが、1トークンあたりに活性化されるのは約230億パラメータです。

このモデルは、一般的な能力、推論、コーディング、エージェント評価において、4000億パラメータ未満のモデルの中でトップクラスに位置しているとしています。複雑な推論やソフトウェアエンジニアリング、長期間のタスク向けに設計されています。