Frontier LLMプロバイダーからセルフホスト環境へと複雑なエージェントワークフローを移行することは、技術的およびプライバシー面で大きな課題をもたらします。観察によれば、リソースの豊富なAPIサービスでは効果的に機能する大規模なプリプロンプトも、コンテキストウィンドウの制限により、ローカルハードウェアに移行すると失敗することが多くあります。
ハイエンドなローカル環境（AMD Ryzen AI MAX+ 395）を用いたテストにおいて、執筆者は 35KB プロンプトが利用可能なコンテキストウィンドウの大部分を即座に消費してしまうことを確認しました。この制限により、モデルが長期的な推論チェーンを維持する能力を失うため、エージェントがツール呼び出し、ファイルの再読み込み、指示への疑念といった動作を繰り返す「スラッシング（thrash）」を引き起こします。膨大なハードウェアを活用して広範なChain of Thought (CoT) プロセスをサポートするFrontierプロバイダーとは異なり、コンテキストウィンドウがより小さいセルフホストモデルでは、暗黙的な推論に依存する複雑な指示の実行に苦慮する可能性があります。
技術的な制約に加え、プライバシーへの懸念もセルフホストを選択する主な動機となっています。批判的な意見としては、Frontierプロバイダーがセッションメタデータやユーザーのアクティビティをモデルのトレーニングに使用し、独自のアイデアや個人の知見を侵害する可能性があるというものがあります。大規模なコンテキストウィンドウはCoTを通じてパフォーマンスの向上を可能にする一方で、サードパーティのハードウェアへの依存を生み出します。そのため、データのセキュリティと検証可能なプライバシーを優先するユーザーにとって、主権的なセルフホスト型AIは極めて重要な検討事項となっています。
出典
- Notes on gotchas while migrating 35kb preprompts from Opus to self-hosted Ollama （Hacker News Frontpage, 2026-09-14）