OpenAIのチーフサイエンティストであるJakub Pachocki氏は、同社ブログにて、AIの急速な進展とそれに伴う安全性確保の重要性について述べました。

Pachocki氏によれば、2023年半ばに推論モデルの訓練をスケールできる兆しが得られて以降、AIは科学研究やコンピュータ操作、サイバーセキュリティの分野でも大きな影響を及ぼすようになっています。同氏は、現在の進展のスピードが維持されれば、AIが自ら自身の開発を促進する「再帰的自己改善（RSI）」へと繋がる可能性があるとの見解を示しました。

こうした進展に対し、Pachocki氏は「極めて慎重な対応が必要である」と警告しています。特に、AIが人間の価値観に沿って行動するように制御する「アライメント」の研究と、AIの思考プロセスを監視する「Chain-of-Thought（思考の連鎖）モニタリング」の重要性を強調しました。同氏は、モデルが高度化するにつれてモニタリングの難易度も上がっている現状を認め、安全性に対する確信が持てるまで開発のペースを調整する必要性についても示唆しています。

出典: