コミュニケーションのボトルネック：Appleの研究により、LLMが自然言語を介して階層構造を保持することに苦戦していることが判明

「The Communication Bottleneck: A Round-Trip Study of Tree-Structured Expression Serialization in Language Models（コミュニケーションのボトルネック：言語モデルにおけるツリー構造の表現のシリアル化に関するラウンドトリップ研究）」と題されたこの研究は、モデルが手続き的な算術式を文章題に変換する際、その変換プロセス中に構造情報の相当量が失われることを示しています。研究者らは、式をテキストに変換し、それを再び式に戻すというラウンドトリップ・プロトコルを用い、16種類の異なるモデルがこのタスクをどのように実行するかを評価しました。

評価による主な知見は以下の通りです：

• 非対称かつ損失の多いチャネル： ラウンドトリッププロセスの精度は、生成に使用するモデルと抽出に使用するモデルの組み合わせによって大きく異なります。ケースによっては、モデルの役割を入れ替えることで精度が最大60.4ポイント変化しました。興味深いことに、生成と抽出に異なるモデルを使用する方が、両方のタスクに同じモデルを使用するよりも優れた結果が得られました。
• 生成が主な失敗要因： ラウンドトリップの失敗のうち、少なくとも73.6%が生成フェーズに起因していました。タスクの難易度は、使用される特定のモデルファミリーよりも、演算子の数、深さ、右分岐といったツリー構造の複雑さによって引き起こされていました。
• ファインチューニングによる学習可能性： この研究では、このコミュニケーションのギャップは学習によって軽減できることがわかりました。研究者らは約3,600のファインチューニング事例を用いることで、テストされたすべてのオープンウェイトモデルの性能を、未学習のGemini-3.1-Proよりも向上させることに成功しました。