OpenArchという名称の新しいオープンソースプロジェクトがGitHubで公開され、さまざまな最新の大規模言語モデル（LLM）アーキテクチャの手書きPyTorch実装が提供されています。このリポジトリは、パフォーマンスの最適化よりもコードの読みやすさと構造的な明快さを優先することで、学習リソースとして機能することを目指しています。

これらの実装は、オリジナルの研究論文、テクニカルレポート、および設定ファイルに基づいています。含まれるアーキテクチャは、Llama、Qwen、DeepSeek、Gemma、およびGPT-OSSファミリーなど、幅広いモデルをカバーしています。PaliGemmaのような特定のアーキテクチャについては、マルチモーダル対応が含まれています。

速度やシャーディングを最適化するプロダクションレベルのライブラリとは異なり、OpenArchは、アテンションメカニズム、正規化、レイヤーの混合といったアーキテクチャ上の選択を、明示的かつ比較しやすくすることに焦点を当てています。このプロジェクトは Apache License 2.0 の下でライセンスされています。

情報源: