llama.cpp v0.4.1 がリリースされ、複数の新しいモデルアーキテクチャのサポートとさまざまな機能改善が導入されました。主なアップデートには、Maple 20B-A1B ternary MoEアーキテクチャ、Tencent Hy 4 (hy_v4) プレビューアーキテクチャ、および Spark2.5 のサポートが含まれています。

新機能および改善

  • モデルサポート: Maple 20B-A1B (CPU)、Tencent Hy 4,、および Spark2.5 のアーキテクチャを追加しました。
  • コアの強化: 内部的な common_schema 表記によるJSONスキーマ処理のリファクタリングを行い、特化したチャットパーサーを common/parsers に分割しました。
  • ロギングおよびCLI: --log-jsonl を介した構造化JSONLロギングを追加し、--mmap、--mlock、および --direct-io を非推奨とし、代わりに --load-mode 引数を導入しました。
  • ビルドの改善: ビルド時間の短縮のため、PCH (Precompiled Headers) および unity build のサポートを追加しました。
  • UIのアップデート: チャットメッセージのレンダリングパフォーマンスを向上させ、UIアセットのキャッシング機能を追加しました。

バグ修正

  • モデルの修正: Graniteモデルのパラメータ数を修正し、Qwen、Kimi、および GLMモデルのGDN正規化を修正しました。
  • サーバーの安定性: 同一モデルへの複数リクエスト中に発生するLRUハングを修正し、マルチモーダル（画像）入力後の投機的デコーディングの問題を解決しました。
  • メモリおよびパフォーマンス: DeepSeek2 および GLM-MoE のMTPコンテキストKVキャッシュ割り当てを修正し、iGPUにおけるレイジーテンソルロードをデフォルトで無効化しました。

出典（公式リリースノート）: