CloudflareのAIクローラー初期設定は9月15日から変更　検索・学習・エージェントの違い

Cloudflareは2026年9月15日から、AIクローラーに対する初期設定を変更する予定です。
ただし、Cloudflareを使う全サイトで、すべてのAIボットが一律に止まるわけではありません。

変更の中心は、AIクローラーをSearch、Agent、Trainingの目的別に扱うことです。対象となるサイトでは、広告掲載ページのAgentとTrainingを初期状態でブロックし、Searchは許可する方針が示されています。

この記事では、Cloudflare AIクローラーの変更対象と3分類を整理し、検索流入を誤って止めずに自社方針を反映する手順まで説明します。

CloudflareのAIクローラー初期設定は2026年9月15日から変更

Cloudflareは2026年7月1日、AIクローラーの利用目的を区別する新しい管理方針を発表しました。
新しい初期設定は、新規顧客のサイトと、既存顧客が新たにCloudflareへ追加するサイトに適用される予定です。

また、既存のFreeサイトのうち、所有者がAIボット設定を変更していないサイトにも、2026年9月15日から新しい設定が適用されると案内されています。既存の有料サイトを含む全サイトが自動的に同じ状態になる、という発表ではありません。

初期状態で変わる範囲

対象	9月15日以降の初期状態	確認ポイント
新規顧客のサイト	広告掲載ページでAgent・Trainingをブロック	Searchは許可する方針
既存顧客の新規追加サイト	同じ新設定を適用	追加時に目的別設定を確認
未変更の既存Freeサイト	新しい初期設定へ変更予定	9月15日前に現状を確認
すでに設定変更済みのサイト	所有者の選択を確認	保存値とログを再点検

ここでの初期ブロックは広告掲載ページが条件であり、広告の有無、現在のプラン、既存設定によって確認内容が変わります。
期限後も設定は変更できますが、検索やAI経由の発見に影響する前に方針を決めておくほうが安全です。

出典: Cloudflare公式ブログ「あなたのサイト、あなたのルール：すべてのお客様にAIトラフィックの新たな選択肢を提供」

出典: Cloudflare公式「Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules」(英語)

CloudflareのAIクローラーをSearch・Agent・Trainingで比較

Cloudflare AIクローラーの設定では、ボット名だけでなく何のために取得するかを見ます。
同じ会社のクローラーでも用途が複数あれば、制御結果が変わるためです。

3つの用途を自社の許可方針へ変換する

用途	許可を検討しやすい場面	主な注意点
Search	記事や商品を検索結果・回答候補で見つけてもらいたい	取得後の利用範囲と参照元表示
Agent	利用者の比較・予約・調査をリアルタイムで支援したい	負荷、更新系操作、利用条件
Training	モデル改善への利用を明確に許容できる	権利、契約、再利用範囲

Searchを許可する理由は従来検索だけではなく、AIエージェントが商品やサービスを探す場面では、AIエージェント経由の商品発見も考える必要があります。
AIOやGEOとは、AI回答や生成検索で自社情報が正しく発見・参照される状態を整える取り組みです。

一方、Trainingを止めることと、AI回答への露出をすべて止めることは同じではありません。検索・参照は残し、学習利用だけを制限するという中間の方針も検討できます。

CloudflareのAIクローラーでGooglebotが止まる可能性

最も注意したいのは、1つのクローラーが複数の用途に分類される場合です。Cloudflareは、SearchとTrainingの両方に使われるクローラーでは、より厳しい設定を適用すると説明しています。

公式ブログは、その例としてGooglebot、Applebot、Bingbotを挙げており、Searchを許可してTrainingをブロックした場合でも、複数目的と判定されたクローラーはブロック側へ寄る可能性があります。
確認せずに全体へ適用すると、検索クロールまで止めかねません。

GooglebotとGoogle-Extendedは同じ仕組みではない

GoogleはGoogle-Extendedを、Gemini Appsなどでのモデル学習やグラウンディング利用を制御するrobots.txtのproduct tokenとして案内しています。Google-Extendedは独立したHTTP User-Agentではなく、Google Searchへの掲載やランキングを制御するGooglebotとは別の考え方です。

一方、Cloudflareはクローラーを観測し、Search、Agent、Trainingの用途へ分類して制御します。両社の分類が完全に一対一で対応するとは限りません。GooglebotをSearchだけだと思い込まず、Cloudflare側の表示と実際のクロール状況を確認してください。

出典: Google Search Central「Google crawlers and fetchers」(英語)

robots.txtとAI Crawl Controlの役割を分ける

robots.txtは重要な意思表示ですが、強制力のあるアクセス制御とは限りません。CloudflareのAI Crawl Controlは全プランで利用でき、AIクローラーの活動確認と制御に使えます。

ただし、Freeプランでは主に自己申告されたUser-Agentをもとに識別し、有料のBot Managementではより広い検出手段を使うと説明されています。設定をオンにしただけで、未申告・偽装ボットまで完全検出できるとは限りません。

出典: Cloudflare Docs「AI Crawl Control」(英語)

出典: Cloudflare Docs「Manage AI crawlers」(英語)

自社サイトに合うCloudflare AIクローラー設定の選び方

Cloudflare AIクローラーの設定に、全社共通の正解はありません。
自社が守りたい価値と、増やしたい発見機会を先に決めます。

サイト目的ごとの判断軸

サイト	優先すること	最初の検証
オウンドメディア	検索・AI回答からの記事発見	主要記事のSearchクロール
サービス・ECサイト	商品発見と最新情報の参照	商品ページと在庫外ページの差
会員・有料コンテンツ	権利とアクセス境界	公開領域と認証領域の分離
採用・企業サイト	公式情報の正確な参照	会社情報と募集情報の更新反映

メディアならSearchを残す価値が高い一方、独自調査や有料記事をTrainingへ広く使わせたくない場合があります。ECサイトでは商品発見にAgentを活用したくても、在庫確保や注文まで無条件に許可するのは別判断です。

• Search: 検索やAI回答から発見されたい公開ページを決める
• Agent: 閲覧だけか、予約・購入などの実行まで想定するかを決める
• Training: 学習利用を許容できるコンテンツと守るコンテンツを分ける
• 例外: 検索、監視、提携先のクローラーを個別に扱う条件を決める

Trainingを止める考え方は、生成AIサービス側のデータ設定にも通じます。生成AIに社内データを学習させない設定と同様に、学習、保存、参照、実行は分けて判断してください。

CloudflareのAIクローラー設定を9月15日までに確認する手順

操作だけなら短時間でも、判断なしに保存するのは危険です。
担当者は、対象確認、方針決定、設定、検証、記録の順で進めます。

1. 対象を確認する
   Cloudflareのプラン、広告掲載ページ、現在のAIボット設定、robots.txtを記録
2. 3用途の方針を決める
   Search、Agent、Trainingごとに、許可・制限の理由と責任者を明文化
3. ダッシュボードで設定する
   2026年7月31日時点の公式手順では、Security SettingsからAI bot policiesを開き、全ページでブロック、広告掲載ページでブロック、許可のいずれかを選択
4. 検索とAIクロールを検証する
   主要ページのSearch Console、Cloudflareログ、AI Crawl Controlを確認し、正規クローラーの動きを比較
5. 設定値と判断日を記録する
   サイト、担当者、選択内容、例外、確認日、次回見直し日を台帳へ保存

設定の3択と画面導線はCloudflare公式ドキュメントで確認できる一方、画面名は更新される可能性があります。
実行時は、公式ページと現在のダッシュボードを照らし合わせてください。

出典: Cloudflare Docs「Block AI bots」(英語)

運用台帳では、AIツールの権限棚卸しと同じく、設定者だけでなく見直す日と停止条件を持たせます。また、監視・制御・停止の確認項目はAIエージェント導入前チェックリストを転用できます。

Cloudflareの事例を自社運用へ落とし込む

Cloudflareの事例が示すのは、AIクローラーを一括で善悪に分けるのではなく、目的別にサイト所有者が選べる状態へ移る流れです。
自社で必要なのは、機能をオンにすることより、どの情報を誰にどの目的で使わせるかを決めることです。

たとえば、公開ブログはSearchを許可しながら独自調査レポートはTrainingを制限し、商品情報はAgentの参照を検討しても注文変更には人の承認を残します。
このようにページ、用途、操作の3層で線を引きます。

方針はWeb担当者だけで閉じず、編集、法務、営業、情報システムと共有します。社内文書へ落とす際は、生成AIの社内利用ガイドラインに、AIクローラーの許可範囲、例外申請、定期確認を追加すると整理しやすくなります。

AI経営手帖を運営する株式会社ノーサイドでは、Cloudflareの設定確認だけでなく、robots.txt、検索流入の監視、公開領域の切り分け、社内承認まで含めて御社向けのAIクローラー運用を設計できます。
検索流入とコンテンツ保護の両方を見ながら実装したい場合は、お問い合わせページからご相談ください。

CloudflareのAIクローラー設定でよくある質問