CloudflareがAIトレーニング拒否設定を導入、検索結果は維持しつつ学習用クロールを遮断

新機能の概要

2026年9月15日に公開された公式ブログにおいて、Cloudflareは「Disallow AI Training」という新たな設定オプションを発表しました。このオプションを有効にすると、サイト所有者は検索エンジンによるインデックスはそのまま維持しつつ、同一のクローラがAIモデルの学習目的でアクセスすることを明確に拒否できるようになります。

この機能は、検索エンジン向けのインデックス作成と機械学習データ収集という二重の用途を持つボット層に対して、細やかな制御を提供することを目的としています。混合用途のクローラは、単一リクエストが商業的目的と倫理的目的の双方に利用される可能性があるため、業界内で議論の的となってきました。

区別が重要な理由

Cloudflareの内部測定によれば、保護対象となっている数百万規模のサイトのうち、検索ボットを完全にブロックしている割合は1％未満にとどまっています。一方で、既に少なくとも一つのAIトレーニング拒否メカニズムを導入しているサイトは全体の約17％に上り、細かな制御への需要が顕在化しています。

従来のrobots.txtはあくまで希望表明に過ぎず、クローラの身元や利用目的を認証・検証する手段を提供しません。そのため、ファイルを無視してコンテンツを取得するオペレーターに対して、技術的あるいは法的な制裁を迅速に適用することが難しい状況です。

Cloudflareのソリューションの仕組み

Cloudflareはサイト側の選好情報をメタデータとして公開し、ネットワークを通過する全てのボットを識別・分類すると説明しています。Disallow AI Trainingフラグを無視するボットはブロック対象となり、その活動は透明性確保のためにCloudflare Radarに記録されます。

同社が掲げる「Accountable」ラベルは、責任あるクロールの要件を具体化したもので、学習拒否メカニズムの実装、将来的なAI生成要約の拒否、URL単位での拒否表示、そして検索インデックスへの影響がないことを含んでいます。

• Apple、Google、MicrosoftはすでにAccountable基準を満たすか、期限内に満たすことを約束しています。
• Amazon、Anthropic、Meta、OpenAIはCloudflareの分類に従い、検索ボットと学習ボットを分離しています。
• Cloudflareの制御は「Search」「Training」「Agent」の3カテゴリに分けられます。
• 新しいDisallow AI Training設定はTrainingカテゴリにのみ適用され、ユーザー指定エージェントにはまだ拡張されていません。

検索と学習の明確な区別は、ウェブの発見可能性という核心的価値を守るために不可欠です。サイトはGoogleやBingといった検索エンジンの結果に引き続き表示されながら、同時にコンテンツが大規模言語モデルの学習に再利用されるべきでない旨を示すことが可能になります。

今後のロードマップ

Cloudflareは次の開発フェーズで、ページ内容がAI生成要約にどの程度反映されるかを制御する機能に注力すると述べています。この機能は学習拒否とは別枠で、会話型エージェントへのコンテンツ露出に関する懸念に応えることを目的としています。

日本国内の組織にとっては、実務的な影響は即時的です。Disallow AI Trainingオプションを有効化すれば、SEOパフォーマンスを維持しつつ、AIプロバイダーに対してページが学習目的で使用されるべきでないという技術的シグナルを送ることができます。

日本での実務的影響

Radarによる可視化は監査証跡を提供し、法務部門やコンプライアンス部門が新たなデータ利用方針への適合を証明する際に有用です。特に個人情報保護法やデータ主体の権利に関する規制が強化されつつある日本市場において、技術的に明確な拒否シグナルを送れることはリスク管理の重要な手段となります。