Appleの研究者、継続学習エージェントの訓練と評価のための基盤「SCLATE」を発表

既存のベンチマークや訓練フレームワークでは、ベンチマークとエージェントの組み合わせごとにカスタムのスケジューリングループを必要とすることがよくあります。SCLATEは、ベンチマークと修正されていないエージェントがアダプターを介して単一のオープンイベントスケジューラにイベントを追加できる、共有実行環境を提供することでこの課題を解決します。このシステムはハイブリッドシミュレーションクロックを利用して、これらのイベントを共有タイムライン上で実行するため、1か月間に及ぶシナリオを数時間に圧縮することが可能です。

また、このプラットフォームはロールアウトエンジンとしても機能し、エージェントのハーネスやメモリに修正を加えることなく、コンテナ内のプロキシを通じてトークンデータとログ確率を記録します。テストにおいて、研究者らは7つのベンチマークをSCLATEに移植し、10種類の異なるモデルを用いて、10種類の修正されていないハーネスおよびメモリ構成を比較しました。その結果、個別のメモリシステムを追加してもハーネスのネイティブメモリより確実に優れているとは限らないこと、また、同じハーネスとメモリを利用した場合でも、モデルによってその活用方法に大きなばらつきがあることが示されました。