Hugo Vergnes氏は、少額の予算で意味のあるモデルの学習が可能であることを示すため、3.8B（38億）パラメータの言語モデル「little-lm」の学習に成功したと発表しました。同氏は、レンタルしたNVIDIA B200 GPUと自前のRTX 5090を用い、合計998ドルという費用で650億トークンの学習を43時間で完了させたと述べています。

学習の結果、このモデルはCORE（モデルの能力を測定するベンチマーク）で0.384を記録し、2019年に大規模な研究機関が発表したGPT-2の1.5Bモデル（0.2565）を大幅に上回る性能を示しました。同氏は、学習プロセスにおいてMuon（行列パラメータ用オプティマイザ）やFP8（8ビット浮動小数点）による高速化、ClimbMixデータセットの採用などが、収束の向上に寄与したとしています。

また、同氏は実験プロセスをYAML形式の設定ファイルですべて管理できるフレームワークを構築しており、インフラの整備が開発効率に直結することを強調しました。大規模な計算資源を持つ研究所でなくても、適切なソフトウェアエンジニアリングの規律とインフラがあれば、個人でも高度なモデルの開発が可能であることを示す事例となりました。

出典: