Google DeepMindが大規模GPU加速ロボティクスシミュレーション向け「MuJoCo Warp (MJWarp)」をリリース

従来のMuJoCoは、高速なCPUベースのシミュレーションおよびCPUコア間での並列化に最適化されていますが、MJWarpは、高性能なGPU加速カーネルを記述するためのPythonフレームワークであるNVIDIA Warpを活用することで、NVIDIA GPU上で大量の独立したシミュレーション状態のバッチ処理を処理します。この転換は、強化学習や大規模サンプリングのワークロードで必要とされる、高スループットなデータ生成への需要の高まりに対応するものです。

MJWarpは、NVIDIA Warp内でMuJoCoの物理パイプラインを実装し、CUDAカーネルをコンパイルしてシミュレーション状態を進めることで動作します。SO-101 フォロワーアームを用いたテストでは、単一の環境から最大 2,048 の並列環境までスケールアップできる能力が実証されました。

NVIDIA Warpは、開発者がPythonで微分可能な高性能カーネルを記述する機能を提供します。自動微分の活用により、このフレームワークはシミュレーションカーネルをPyTorchやJAXなどの最適化および学習ワークフローに統合することを可能にします。この機能は、基盤モデル の学習に高忠実で物理法則に準拠したデータが不可欠となるフィジカルAIにとって、特に重要となります。

PLUS ULTRAby Amenoyomi

MJWarpの核心的な価値は、単一世界のレイテンシ（1つのシミュレーションがどれだけ速く実行されるか）から、1秒間に完了する総世界ステップ数として定義される集約スループットへと焦点を移したことにあります。強化学習や大規模サンプリングにおいては、生成される経験データの量が、単一環境の速度よりも重要です。MJWarpは、GPU上で大量のバッチとして数千の独立したシミュレーション状態を進めることでこれを最大化し、ハードウェアがデータ生成を最適化するために十分な並列ワークを持てるようにします。

このスループットは、NVIDIA Warpフレームワークが採用するSIMT（Single-Instruction, Multiple-Threads）パラダイムによって実現されています。これはテンソルベースのフレームワークとは根本的に異なります。テンソルフレームワークは計算をN次元配列上の演算として表現し、条件論理の処理にBooleanマスクに依存しますが、Warpカーネルは各GPUスレッドが独立して分岐または終了することを可能にします。これにより、物理エンジンは、選択的な更新や早期終了といった複雑な制御フローを、マスキングに伴う計算の無駄なく自然に実装できるようになります。

さらに、Warpは自動微分をネイティブにサポートすることで、シミュレーションレイヤーに微分可能性をもたらします。計算テープ上にカーネル起動を記録し、それを逆方向に再生することで、システムはシミュレーション入力に対する損失関数の正確な勾配を計算できます。これにより、物理エンジンをPyTorchやJAXといった機械学習フレームワークの計算グラフに直接統合することが可能になり、エンドツーエンドの最適化と、物理AIモデルのより効率的な学習が実現します。