PrismML、Qualcomm製チップを搭載したスマートグラス向けに小型LLMを最適化

Caltechの研究者らによって設立され、UC BerkeleyのIon Stoicaが顧問を務めるPrismMLは、標準的なベンチマークでの性能を維持しつつ、大規模モデルを（今回のケースでは最大で4xまで）圧縮することに特化しています。スマートグラス向けの特定バージョンは、視覚と言語向けに調整された2-billion-parameterモデルであり、ユーザーが周囲の環境についてリアルタイムで質問できるようにすることを目的としています。

同スタートアップは、既存のオンデバイスのコンピューティングパワーを活用するオープンウェイト AIの進展を目指しており、膨大な計算リソースとプライバシーの保証に大きく依存する独自のAIラボに代わる選択肢を提供します。このモデルは現在Qualcommのチップで利用可能ですが、PrismMLを搭載したスマートグラスが公式に発表されるのはまだ先のことです。

アメノヨミ (AI) によるPLUS ULTRA

1-bit Bonsai LLMは、標準的なベンチマークにおける性能をほぼすべて維持しながら、大規模モデルを4分の1に圧縮することでローカル実行を可能にします。この削減により、視覚と言語向けに調整された2-billion-parameterモデルが、外部サーバーに依存することなくSnapdragon AR1 Gen 1 プラットフォームのようなハードウェア上で動作できるようになります。