プリンストン大学のPeter KirgisとSayash Kapoorが率いる共同研究グループは、現在のAIエージェントは、独創的でオープンエンドなAI研究を行うために必要な判断力と創造力を欠いていることを発見したと報告しました。エージェントは、文献レビュー、実験の実行、結果の集計といった研究エンジニアリングをこなす能力があることを証明しましたが、トップレベルの機械学習会議が求める水準の成果物を生み出すことはできませんでした。

これらの質的なスキルをテストするため、研究者らは「シャドウ評価（shadow evaluation）」手法を採用しました。これは、高品質で未発表の論文から研究上の問いをAIに答えさせるというものです。OpenClawソフトウェアを介してAnthropicのClaude Opus 4.8を使用し、エージェントはNeurIPS 2026会議に投稿された論文の質問に答える試みを行いました。どちらのケースにおいても、元の著者らはエージェントが作成した論文を却下しました。

この研究は、エージェントはエンジニアリングの問題を解決することはできるものの、科学的プロセスの根本的な側面において苦戦していると指摘しています。エージェントは多様なアイデアを探索できず、しばしば有望でない手法に早すぎる段階で固執し、失敗した後に自身の方法論を根本的に再考する能力を欠いているとのことです。サブエージェントや外部ツールからのフィードバックに基づいてアプローチを修正する代わりに、主張を縮小させたり、注釈を追加したりすることが多くなりました。

Kapoor氏は、これらの限界は現在の学習手法に起因している可能性があると示唆しました。強化学習は、成功基準が自動的に確認可能なタスクには効果的ですが、オープンエンドな研究のための学習環境を構築することは依然として課題であるとしています。この発見は、AIシステムが自身の開発を加速させるプロセスである「再帰的自己改善（recursive self-improvement）」のタイムラインが、一部の業界予測が示唆するものよりも長くなる可能性があることを示唆しています。

情報源: