LLMの自己参照能力は設計ではなく学習の副産物であるとの考察

しかし、その技術スタックのどこにも自己参照のための仕組みは組み込まれていません。

トランスフォーマー構造やGPU、学習プロセスにおいて、自己参照を実現するための設計は行われていないとしています。

これらは、ポケモンや地質学などの広範なトピックについて話せるように学習した結果、副産物として現れたものです。

かつてダグラス・ホフスタッターは、知能の本質には自己参照的な「奇妙なループ」が不可欠であるとの説を唱えていました。

しかし、現在のLLMは、そのような仕組みを明示的に組み込むことなく、会話知能を実現しています。

これは、数学における公理系やアルゴリズムが普遍性を持つ過程に似ています。

自己参照的な能力は、あらゆる事象について語れるように学習した結果、自然に派生したものだとしています。