Liquid AIがLFM2.5-VL-3B-DSparkをリリース、ビジョン・ランゲージモデルの推論を加速

投機的デコーディングは、軽量な「ドラフトモデル」を使用して出力トークンを事前に予測し、それをより大規模なメインモデルが検証するという仕組みで動作します。今回の実装では、ドラフトモデルは約280百万パラメータで構成されており、総パラメータ数は8.9%増加し、より多くのメモリを必要としますが、パフォーマンスの向上は極めて大きなものとなります。

M5 Max MacBook Proなどのエッジデバイスでは、エンドツーエンドのスループットが最大2.62x向上し、デコーディング速度が最大3.13x向上しました。NVIDIA H100 GPUでは、エンドツーエンドのスループットが最大2.27x改善し、デコーディング速度は最大2.66x向上しました。

このビジョン特化型のドラフトモデルは、Liquid AIのテキストベースの基盤モデルに使用されているものと同じアルゴリズムを適用して開発されました。ドラフトモデルは生の入力モダリティではなく多次元テンソル上で動作するため、このアルゴリズムはテキストと画像ベースの両方のワークロードに適用可能です。