Cloudflareは、September 15, 2026,に、「Disallow AI Training」（robots.txt内の Disallow: ディレクティブ）と呼ばれる新しい特集をリリースすると発表しました。この設定により、サイト所有者は検索エンジンによるサイトのクロールやインデックスを許可したまま、AIクローラーがコンテンツを学習に使用することを防ぐことができます。
Cloudflareが「Disallow AI Training」をリリース、サイトの検索性を維持しながらAIスクレイピングをブロック可能に
この記事は翻訳です。 原文を読む
この特集は、Apple、Google、Microsoftなどの企業がウェブ検索とAI学習の両方に使用している単一のボットである「混合用途クローラー」が引き起こす課題に対処するものです。これまでは、AI学習からコンテンツを保護するためにこのようなクローラーをブロックすると、同じボットが検索エンジンからもブロックされることが多く、その結果、ウェブサイトが検索結果での露出を失うことがよくありました。
AppleとGoogleは、すでにこの設定をサポートしています。Microsoftは、2027までに同様の機能を実装することを約束しています。OpenAI、Anthropic、Meta、Amazonを含む他の主要なAIオペレーターは、検索用と学習用に別々のクローラーを使用しているため、Cloudflareは検索の発見可能性に影響を与えることなく、学習専用のボットのみをブロックすることが可能です。
出典
- AI学習は拒否、検索クロールは維持……Cloudflareの新機能「AI学習の不許可」 Google、Apple、Microsoftが対応 （ITmedia AI+, 2026-09-17）
- Cloudflareのブログ記事