Databricks実証、Piのミニマル設計がコスト削減と高品質な成果を実現

Databricksは自社エンジニアが日常的に行うタスクに基づいた独自ベンチマークを実施しました。同社の調査では、モデルを呼び出すハーネスがコストと品質に大きく影響することが判明しました。特に、Piのようなシンプルなハーネスが多くのワークロードで最良の性能を示したと報告されています。

Opus 4.8と組み合わせた場合、PiはClaude CodeやCodexよりも大幅に低いコストで、最も高い総合パス率を記録しました。Databricksは、同じモデルと思考努力レベルで異なるハーネスを使用した場合、タスクあたりのコストが最大2倍以上異なり、品質は同等だったとしています。

Piは1ターンあたりのコンテキストを約3分の1に抑え、作業セットを狭く保つことでタスク完了までの実行回数を減らしました。これを「コンテキスト規律」と呼んでいます。

Shopify EngineeringのDavid Cortés氏は、Pi自体に拡張機能の作成を指示するだけで、自動最適化ループ「Autoresearch」を開発した事例を紹介しています。Piは自身の拡張ドキュメントを読み取り、新しいワークフローを構築しました。

この拡張機能は、Shopify内で実用的な生産性ツールとして活用されています。変更を要求すると実験を実行し、リグレッションを排除しながら自己改善を続ける仕組みです。