Cloudflare、サイト運営者向けにAI学習と検索を分ける新設定

Cloudflareは、AIによるコンテンツ収集を制御する新設定「Disallow AI Training」の提供を始めました。
サイト運営者は、検索結果への掲載を維持しながら、AI学習への利用だけを拒否できるようになりました。
検索、AI学習、AIエージェントごとに、コンテンツの利用方針を個別に指定できます。

記事の概要

Cloudflareは2026年9月18日、AIコンテンツ収集の新設定を発表しました。
新設定の「Disallow AI Training」では、Webサイトを検索結果に表示したまま、AI学習への利用を拒否できます。
従来の「Block AI Bots」は廃止され、検索、AI学習、AIエージェントを個別に制御する管理機能へ置き換わります。
クロール方針を一括反映する「Managed Robots.txt」も、「Bot Preference Sync」へ変更されます。
Cloudflareは、要件を満たすGoogle、Microsoft、Appleの3社を「Accountable」に認定しています。
基準を満たさない兼用クローラーは、AI学習を拒否したサイトへのアクセスがブロックされます。
Cloudflareのネットワークでは、兼用クローラーがクローラートラフィックの36.6%を占めています。
同社は2027年初めまでに、AI要約へのオプトアウト設定も1カ所で管理できるようにする方針です。

記事のポイント

1. AI学習だけ拒否： 検索インデックスへの掲載を維持しながら、AI学習目的の収集だけを拒否できます。
2. 3用途を個別管理： 検索、AI学習、AIエージェントごとに、サイト運営者が利用方針を指定できます。
3. 兼用クローラーに対応： Accountable認定を受けない兼用クローラーは、AI学習拒否時にアクセスがブロックされます。

このニュースがもたらす影響

• コンテンツ事業者： 検索流入を維持しながらAI学習への利用を拒否できるため、公開先を一括で閉じるのではなく、検索・学習・エージェントごとに収益や権利面の方針を決める必要が生じます。
• クローラー運営者： 検索とAI学習を同じクローラーで扱う事業者は、サイト側の拒否設定によってアクセスを止められる可能性があります。用途の分離や、収集方針を説明できる運用が求められそうです。
• AI検索事業者： 今後AI要約のオプトアウトも一元管理される方針のため、コンテンツ提供者の拒否意思を取得し、検索や要約への反映まで一貫して扱える仕組みが必要になりそうです。

このニュースの背景

従来は検索用とAI学習用を兼ねたクローラーが多く、AI学習を拒否すると検索インデックス向けの収集まで止まる課題がありました。
Cloudflareのネットワークでは、兼用クローラーがクローラートラフィックの36.6%を占めています。
この課題に対し、検索・AI学習・AIエージェントを個別に指定する設定と、クローラー側の対応を区別するAccountable認定が導入されました。
さらに、AI要約へのオプトアウトも2027年初めまでに一元管理する方針が示されています。

関連するニュース

• Cloudflareは、検索を維持したままAI学習を拒否できる管理機能を提供しました。
• ウェブ・コロがEC事業者向けに、AI検索での言及状況やサイト設定を確認する無料診断を始めました。

詳しい記事の内容はこちらから（引用元）

Impress Watch

クラウドフレア、AI学習拒否・検索OKを選べる新設定

CDN大手のCloudflare(クラウドフレア)は、AIによるコンテンツ収集を制御する取組みにおいて、AI学習のみを拒…