Cloudflareは、ウェブサイト所有者がAI学習と検索エンジンへの発見可能性の間のトレードオフを解決することを目的とした、新しい「Disallow AI Training」設定を発表しました。この 特集 は、検索エンジンのインデックス作成とAIモデルの学習の両方を行うボットである「混合用途クローラー（mixed-use crawlers）」に特化したものです。これまで、こうしたクローラーをブロックすることは、検索結果におけるサイトの視認性を危険にさらすことを意味していました。
Cloudflare、検索の視認性を維持しつつコンテンツを保護するための「AI学習禁止」設定を導入
この記事は翻訳です。 原文を読む
この新しい設定は、サイトの robots.txt ファイル内に Disallow: AI Training ディレクティブを公開することで機能します。Cloudflareによると、Apple、Google、Microsoftを含む主要なオペレーターは、この設定を既に実装しているか、尊重することを約束しているとのことです。この取り組みは、コンテンツの利用に関して透明性を提供し、パブリッシャーの選択を尊重するクローラー・オペレーターを認定するCloudflareの「Accountable」指定の一環です。
新しい設定は学習に関しては対処していますが、CloudflareはAI要約に関するコントロールはまだ進化の途上であると述べています。同社の目標は、サイト所有者がコンテンツのどの程度を異なる目的に使用するかを決定できる、きめ細かなコントロールを提供することです。これらの新しいコントロールは、ドメインのSecurity Settingsを通じて、すべてのプランのすべてのCloudflare顧客が利用可能です。
出典
- Cloudflare: Stay discoverable in search while disallowing AI training （Hacker News Frontpage, 2026-09-16）