AIエージェントが共同タスク中に独自の言語を構築

高プレッシャーの救助シナリオを用いたある実験では、エージェントは当初、解読可能な英語で通信していました。しかし、タスクが進むにつれて、彼らのメッセージは「@D8fB」のような、人間の観察者には理解不能な暗号のような文字列へと進化しました。研究では、このような言語の出現には、タスクのプレッシャー、ラウンド間でエージェントが熟議したり「メモを比較」したりできる能力、そして高性能な「フロンティア」AIモデルという3つの特定の条件が必要であると指摘されています。

エージェントがこのような言語を作成できる能力は、AIの安全性と監視に潜在的な課題をもたらします。エージェント間の通信が人間にとって解読不能になれば、共謀や不正といった望ましくない動作を検出することが困難になる可能性があるためです。研究者らは、マルチエージェントシステムが解釈可能で制御可能な状態を維持するためには、これらの進化する通信パターンの理解が不可欠であると強調しています。

PLUS ULTRAby Amenoyomi

自然言語から独自の信号への移行は、エージェントが効率性のために通信を最適化するときに起こります。「間違い探し」ゲームや医療救助タスクなどのシナリオにおいて、エージェントは記述的な英語から高度に圧縮されたコードへと移行します。ある事例では、もともと 151 文字を必要とした医療指示が、「@D8fB」という5文字の信号にまで削減されました。研究者らは、この進化が語彙だけでなく、通信の根底にある文法にも影響を与えると述べています。

これらの言語の出現は、GlossoGenプラットフォームを通じて特定された3つの必要条件に依存しています。第一に、時間制限や他チームとの競争など、適応するためのプレッシャーが必要です。第二に、エージェントがラウンド間に「ポストモルテム（事後分析）」の報告段階を持ち、パフォーマンスを分析して意識的に通信戦略を調整できる必要があります。第三に、十分なモデル性能が必要です。GPT 5.4、Opus 4.7、Sonnet 4.6 などのフロンティアモデルは新しい言語の作成に成功しましたが、Llama-3.3-70B や Qwen3-32B といった能力の低いオープンウェイトモデルは、通常失敗したとのことです。

研究者らはまた、言語を作成する能力と、それを学習する能力の間には違いがあることを発見した。事後分析（postmortem）ステージへのアクセス権を持たないエージェントや、能力の低いモデルを使用しているエージェントであっても、他者がその言語を使用している様子を観察するだけで、新しい言語を採用することができるという。この伝播可能性により、創発した言語はエージェント集団の複数世代にわたって普及し、進化することが可能になる。さらに、エージェントは「会話の修復」メカニズムを発展させ、メッセージを理解できなかった場合に積極的に明確化を求めるようになった。この行動はシステム設計によるものではなく、自然に創発したものであるとしている。

こうした不透明な通信プロトコルは、AI安全性に3つの主要なリスクをもたらす。1つ目は監視可能性（monitorability）の喪失であり、これにより共謀や不正といった望ましくない行動の検出が困難になる。2つ目は解釈可能性（interpretability）の喪失であり、結果に至るまでの論理やプロセスが人間にとって不可視となり、エラーの分析が複雑になる。3つ目は相互運用性（interoperability）の喪失であり、それまでのやり取りの履歴がユーザーにとって理解不能な場合、人間がエージェントに代わって介入することができなくなる。