Transformer共同開発者のJones氏、研究の狭まりを指摘し自らの技術からの離脱を表明

Jones氏は、投資家からの圧力や人材の集中が、研究の幅を狭めてしまうと説明しました。現在はTransformer以外の選択肢が見えにくくなっているといいます。

現在、Sakana AIのCTOを務めるJones氏は、今年初めにTransformerへの時間を大幅に減らすと決断したと述べています。次の大きな技術的飛躍を探求したいとしています。

同氏は、現在の状況を「探索と利用のトレードオフ」に例えました。既存の技術への改良（利用）ばかりに注力し、未知の領域（探索）が軽視されていると警告しています。

かつてRNN（再帰型ニューラルネットワーク）への改良に注力していた時期を振り返り、その努力がTransformer登場で無意味になったことに触れました。同様に、現在も新たなブレイクスルーがすぐそこにある可能性を指摘しています。

Jones氏は、Transformer誕生時は昼食時の雑談などから有機的に生まれたと回想しました。現在のような過剰な競争や圧力のない環境が、創造性を生んだとしています。

同氏は、研究者が競合に先を越される恐怖から安全な研究ばかりを選んでいる現状を憂いています。この圧力が科学の発展を損なっていると述べています。