Gimletが3億ドルのシリーズBを完了、異種混合ハードウェアによる推論高速化を目指す

同社は、GPU、ニアメモリ・コンピューティング、データフロー・アーキテクチャ、CPUといった異なる種類のアクセラレータを活用した「マルチシリコンクラウド」を構築しています。

推論ワークロードの各フェーズを、最も適したシリコンアーキテクチャに割り当てることで、電力消費を維持したまま5〜10倍の高速化を実現できるとしています。

Gimletは、業界のワークロードが学習から推論へと移行している点に着目しています。同社は、従来の均一なインフラでは、高スループットと低レイテンシの両立が困難であると指摘しました。

データセンターにおける電力不足が深刻化する中、同社はキロワットあたりのスループットを最大化することが、AIの規模拡大を支える鍵になると述べています。