TurboGPTは、CUDA C++を使用して極小のバイトレベルGPTモデルを学習させるために設計されたツールです。プロジェクトのドキュメントによると、22KiBのTransformerモデルを13秒で学習させることができます。
このプロジェクトはMITライセンスの下で公開されており、Linux上ではNix、Windows上ではVisual Studio 2022 C++ツール、およびCUDA 13.4でのビルドをサポートしています。ユーザーはPowerShellスクリプトを使用して学習を実行でき、--CudaArchフラグを介してGPUの演算能力を指定できます。学習プロセスには、結果のログ記録やチェックポイントの保存オプションが含まれており、これらは--loadフラグを使用して再開することが可能です。また、このアプリケーションは分析用にディレクトリ内に保存されるTensorBoard互換のログも生成します。
出典
- Show HN: TurboGPT: train 22KiB Transformer in 13s （Hacker News Frontpage, 2026-09-29）