日本語

ニュースダリオ・アモデイAnthropic

AnthropicのCEOがAI開発のペースを落とすための3段階の計画を提案

この記事は翻訳です。 原文を読む

AnthropicのCEOであるDario Amodeiは、AI開発の「最前線のペースを調整する(pace the frontier)」ための3段階の計画を提案した。彼は、安全性とアライメントへの取り組みが追いつくようにするために、現在の能力向上のペースを落とすべきであると主張している。「We Must Pace the Frontier」と題されたエッセイの中で、AmodeiはAIが計り知れない利益をもたらす一方で、制御の喪失やサイバーセキュリティの脅威といったリスクに対処するためには、より慎重なアプローチが必要であると強調した。

提案されている3段階の計画には以下が含まれる:

  1. 安全な慣行を検証し、インシデントを報告するために、内部従業員と同等のアクセス権を持つ独立した第三者チームなどの「組み込み型評価者(embedded evaluators)」を導入すること。Anthropicは、この段階に対して単独での実施を約束している。
  2. 民主主義国家間での業界横断的な協調体制を確立し、共通の安全基準を策定するとともに、無秩序な進歩に対する制限を設けること。
  3. 安全基準が国際的に適用されるよう、権威主義的な体制との協力を含むグローバルな協調を実現すること。

Amodeiは、AIシステムが次世代のモデル構築を支援する「再帰的な自己改善(recursive self-improvement)」や、近年のサイバーセキュリティ上のインシデントを、より大きな注意が必要な主な要因として挙げた。彼は、エージェント的な行動を伴う最近のインシデントは、アライメント(整列)の問題に対処しなければ、甚大な被害をもたらす可能性があることを示していると指摘した。

この提案は、業界のリーダーたちから大きな注目と支持を集めている。OpenAIのCEOであるSam Altmanは、最前線のペースを調整する必要性に同意を表明し、Elon MuskもAmodeiの立場への支持を表明した。さらに、Hugging FaceのCEOであるClement Delangueは、これらの安全性への取り組みに貢献するため、「Open Alignment Initiative」の立ち上げを発表した。

---情報源: