AI導入・活用事例
公開

CloudflareのAIクローラー初期設定は9月15日から変更 検索・学習・エージェントの違い

検索流入を守りながら、AIによる学習や実行だけを目的別に制限できれば、サイト運用は判断しやすくなります。
9月15日の初期設定変更に備え、どこから確認すると安全でしょうか?

CloudflareのAIクローラー初期設定は9月15日から変更 検索・学習・エージェントの違い

Cloudflareは2026年9月15日から、AIクローラーに対する初期設定を変更する予定です。
ただし、Cloudflareを使う全サイトで、すべてのAIボットが一律に止まるわけではありません。

変更の中心は、AIクローラーをSearch、Agent、Trainingの目的別に扱うことです。対象となるサイトでは、広告掲載ページのAgentとTrainingを初期状態でブロックし、Searchは許可する方針が示されています。

要点9月15日までに3つを決める

検索への掲載を許可するか、利用者の依頼による取得を許可するか、モデル学習を許可するかを分けます。特に複数目的のクローラーは、厳しい側の設定が優先されるため、保存前の検証が必要です。

この記事では、Cloudflare AIクローラーの変更対象と3分類を整理し、検索流入を誤って止めずに自社方針を反映する手順まで説明します。

CloudflareのAIクローラー初期設定は2026年9月15日から変更

Cloudflareは2026年7月1日、AIクローラーの利用目的を区別する新しい管理方針を発表しました。
新しい初期設定は、新規顧客のサイトと、既存顧客が新たにCloudflareへ追加するサイトに適用される予定です。

また、既存のFreeサイトのうち、所有者がAIボット設定を変更していないサイトにも、2026年9月15日から新しい設定が適用されると案内されています。既存の有料サイトを含む全サイトが自動的に同じ状態になる、という発表ではありません。

初期状態で変わる範囲

対象9月15日以降の初期状態確認ポイント
新規顧客のサイト広告掲載ページでAgent・TrainingをブロックSearchは許可する方針
既存顧客の新規追加サイト同じ新設定を適用追加時に目的別設定を確認
未変更の既存Freeサイト新しい初期設定へ変更予定9月15日前に現状を確認
すでに設定変更済みのサイト所有者の選択を確認保存値とログを再点検

ここでの初期ブロックは広告掲載ページが条件であり、広告の有無、現在のプラン、既存設定によって確認内容が変わります。
期限後も設定は変更できますが、検索やAI経由の発見に影響する前に方針を決めておくほうが安全です。

出典: Cloudflare公式ブログ「あなたのサイト、あなたのルール:すべてのお客様にAIトラフィックの新たな選択肢を提供」

出典: Cloudflare公式「Cloudflare Allows the Agentic Internet to Flourish with a Simple Philosophy: Your Content, Your Rules」(英語)

CloudflareのAIクローラーをSearch・Agent・Trainingで比較

Cloudflare AIクローラーの設定では、ボット名だけでなく何のために取得するかを見ます。
同じ会社のクローラーでも用途が複数あれば、制御結果が変わるためです。

AIクローラーの3用途比較表
ボット名だけでなく、取得目的ごとに許可方針を分けます。

Search

後の検索や回答に備え、情報を収集して索引化する。

Agent

利用者の依頼に応じ、その時点の情報を取得して処理する。

Training

モデルの訓練や微調整に使い、内容をモデルへ取り込む。

3つの用途を自社の許可方針へ変換する

用途許可を検討しやすい場面主な注意点
Search記事や商品を検索結果・回答候補で見つけてもらいたい取得後の利用範囲と参照元表示
Agent利用者の比較・予約・調査をリアルタイムで支援したい負荷、更新系操作、利用条件
Trainingモデル改善への利用を明確に許容できる権利、契約、再利用範囲

Searchを許可する理由は従来検索だけではなく、AIエージェントが商品やサービスを探す場面では、AIエージェント経由の商品発見も考える必要があります。
AIOやGEOとは、AI回答や生成検索で自社情報が正しく発見・参照される状態を整える取り組みです。

一方、Trainingを止めることと、AI回答への露出をすべて止めることは同じではありません。検索・参照は残し、学習利用だけを制限するという中間の方針も検討できます。

メモAgentは単なる閲覧とは限りません。将来、予約や申請などの実行に接続する場合は、AIエージェントの承認フローと同じく、閲覧・提案・実行を分けて設計します。

CloudflareのAIクローラーでGooglebotが止まる可能性

最も注意したいのは、1つのクローラーが複数の用途に分類される場合です。Cloudflareは、SearchとTrainingの両方に使われるクローラーでは、より厳しい設定を適用すると説明しています。

公式ブログは、その例としてGooglebot、Applebot、Bingbotを挙げており、Searchを許可してTrainingをブロックした場合でも、複数目的と判定されたクローラーはブロック側へ寄る可能性があります。
確認せずに全体へ適用すると、検索クロールまで止めかねません。

複数用途クローラーの厳格側判定例
複数用途のクローラーは、制限した用途があると厳しい側へ判定されます。

GooglebotとGoogle-Extendedは同じ仕組みではない

GoogleはGoogle-Extendedを、Gemini Appsなどでのモデル学習やグラウンディング利用を制御するrobots.txtのproduct tokenとして案内しています。Google-Extendedは独立したHTTP User-Agentではなく、Google Searchへの掲載やランキングを制御するGooglebotとは別の考え方です。

一方、Cloudflareはクローラーを観測し、Search、Agent、Trainingの用途へ分類して制御します。両社の分類が完全に一対一で対応するとは限りません。GooglebotをSearchだけだと思い込まず、Cloudflare側の表示と実際のクロール状況を確認してください。

出典: Google Search Central「Google crawlers and fetchers」(英語)

robots.txtとAI Crawl Controlの役割を分ける

robots.txt
サイト側の利用方針を伝える。遵守はクローラー側に依存する。
VS
AI Crawl Control
Cloudflare上でアクセスを観測し、ルールに応じてブロックする。

robots.txtは重要な意思表示ですが、強制力のあるアクセス制御とは限りません。CloudflareのAI Crawl Controlは全プランで利用でき、AIクローラーの活動確認と制御に使えます。

ただし、Freeプランでは主に自己申告されたUser-Agentをもとに識別し、有料のBot Managementではより広い検出手段を使うと説明されています。設定をオンにしただけで、未申告・偽装ボットまで完全検出できるとは限りません。

出典: Cloudflare Docs「AI Crawl Control」(英語)

出典: Cloudflare Docs「Manage AI crawlers」(英語)

自社サイトに合うCloudflare AIクローラー設定の選び方

Cloudflare AIクローラーの設定に、全社共通の正解はありません。
自社が守りたい価値と、増やしたい発見機会を先に決めます。

サイト目的ごとの判断軸

サイト優先すること最初の検証
オウンドメディア検索・AI回答からの記事発見主要記事のSearchクロール
サービス・ECサイト商品発見と最新情報の参照商品ページと在庫外ページの差
会員・有料コンテンツ権利とアクセス境界公開領域と認証領域の分離
採用・企業サイト公式情報の正確な参照会社情報と募集情報の更新反映

メディアならSearchを残す価値が高い一方、独自調査や有料記事をTrainingへ広く使わせたくない場合があります。ECサイトでは商品発見にAgentを活用したくても、在庫確保や注文まで無条件に許可するのは別判断です。

  • Search: 検索やAI回答から発見されたい公開ページを決める
  • Agent: 閲覧だけか、予約・購入などの実行まで想定するかを決める
  • Training: 学習利用を許容できるコンテンツと守るコンテンツを分ける
  • 例外: 検索、監視、提携先のクローラーを個別に扱う条件を決める

Trainingを止める考え方は、生成AIサービス側のデータ設定にも通じます。生成AIに社内データを学習させない設定と同様に、学習、保存、参照、実行は分けて判断してください。

注意ブロック数だけを成果にしない

AIボットのブロック数が増えても、検索流入や正規の参照まで減っていれば成功とはいえません。許可すべきアクセスが通り、止めるべき用途が止まったかを成果にします。

CloudflareのAIクローラー設定を9月15日までに確認する手順

操作だけなら短時間でも、判断なしに保存するのは危険です。
担当者は、対象確認、方針決定、設定、検証、記録の順で進めます。

AIクローラー設定の5ステップ
設定画面を開く前に用途別方針を決め、保存後の検証まで行います。
プランと広告
→
3用途と例外
→
保存後に確認
結果を記録し、変化があれば方針へ戻って見直す
  1. 対象を確認する
    Cloudflareのプラン、広告掲載ページ、現在のAIボット設定、robots.txtを記録
  2. 3用途の方針を決める
    Search、Agent、Trainingごとに、許可・制限の理由と責任者を明文化
  3. ダッシュボードで設定する
    2026年7月31日時点の公式手順では、Security SettingsからAI bot policiesを開き、全ページでブロック、広告掲載ページでブロック、許可のいずれかを選択
  4. 検索とAIクロールを検証する
    主要ページのSearch Console、Cloudflareログ、AI Crawl Controlを確認し、正規クローラーの動きを比較
  5. 設定値と判断日を記録する
    サイト、担当者、選択内容、例外、確認日、次回見直し日を台帳へ保存

設定の3択と画面導線はCloudflare公式ドキュメントで確認できる一方、画面名は更新される可能性があります。
実行時は、公式ページと現在のダッシュボードを照らし合わせてください。

出典: Cloudflare Docs「Block AI bots」(英語)

運用台帳では、AIツールの権限棚卸しと同じく、設定者だけでなく見直す日と停止条件を持たせます。また、監視・制御・停止の確認項目はAIエージェント導入前チェックリストを転用できます。

Cloudflareの事例を自社運用へ落とし込む

Cloudflareの事例が示すのは、AIクローラーを一括で善悪に分けるのではなく、目的別にサイト所有者が選べる状態へ移る流れです。
自社で必要なのは、機能をオンにすることより、どの情報を誰にどの目的で使わせるかを決めることです。

たとえば、公開ブログはSearchを許可しながら独自調査レポートはTrainingを制限し、商品情報はAgentの参照を検討しても注文変更には人の承認を残します。
このようにページ、用途、操作の3層で線を引きます。

方針はWeb担当者だけで閉じず、編集、法務、営業、情報システムと共有します。社内文書へ落とす際は、生成AIの社内利用ガイドラインに、AIクローラーの許可範囲、例外申請、定期確認を追加すると整理しやすくなります。

AI経営手帖を運営する株式会社ノーサイドでは、Cloudflareの設定確認だけでなく、robots.txt、検索流入の監視、公開領域の切り分け、社内承認まで含めて御社向けのAIクローラー運用を設計できます。
検索流入とコンテンツ保護の両方を見ながら実装したい場合は、お問い合わせページからご相談ください。

CloudflareのAIクローラー設定でよくある質問

QCloudflareのAIクローラー初期設定はいつ変わりますか?

A2026年9月15日から変更予定です。主な対象は新規顧客、既存顧客が新たに追加するサイト、設定を変更していない既存Freeサイトです。

QSearch、Agent、Trainingは何が違いますか?

ASearchは後の検索や回答に備えた収集・索引化、Agentは利用者の依頼に応じたリアルタイム取得、Trainingはモデルの訓練や微調整への利用です。

QTrainingだけを止めればGoogle検索は維持できますか?

A必ず維持できるとは限りません。Cloudflareは複数用途のクローラーに厳しい側の設定を適用すると説明しているため、Googlebotなどの実際の判定とクロール状況を確認します。

Qrobots.txtだけでAIクローラーを止められますか?

Arobots.txtはサイト側の意思表示ですが、遵守はクローラー側に依存します。強制的な制御が必要なら、CloudflareのAI Crawl Controlと組み合わせて監視します。

QFreeプランでもAI Crawl Controlを使えますか?

AAI Crawl Controlは全プランで利用できます。ただし、Freeプランでは主に自己申告されたUser-Agentによる識別となり、より広い検出を行うBot Managementとは範囲が異なります。

Q9月15日までに最低限何を確認すべきですか?

Aプラン、広告掲載ページ、現在のAIボット設定、robots.txtを確認し、Search、Agent、Trainingごとの許可方針を決めます。保存後は検索クロールとAI Crawl Controlのログを確認してください。

GLOSSARY

AI用語集

2506 語を収録

意味の解説から背景の意外な逸話まで、AIの専門用語を一語ずつ。非エンジニアの視点で噛み砕いた、引くほど詳しくなる用語集です。

用語集を見る