Robots Exclusion Protocolとは
Robots Exclusion Protocolとは、Webサイトの所有者が、クローラーに対してどのURLへアクセスしてよいかをrobots.txtで伝えるための標準化された取り決めです。略してREPとも呼ばれ、2022年9月にRFC 9309として公開されました。
robots.txtの土台になる標準
Robots Exclusion Protocolは、user-agent、allow、disallowといった行で、botごとのアクセスルールを表す考え方です。robots.txtはそのルールを置くファイル名で、REPはルール全体の約束事にあたります。請求書がファイル、会計ルールが制度という関係に近く、robots.txtとREPは別の層です。
AIクローラー対応では、GPTBot、OAI-SearchBot、Google-Extendedのような名前が目立ちますが、土台にはREPがあります。クローラー側がこの約束を尊重して初めて機能するため、セキュリティの壁ではない点に注意してください。公開コンテンツの利用方針を、協調的なbotへ機械的に伝える共通語として使うのが実務上の位置づけです。
AI時代の限界もある
REPはWebの協調ルールであり、守らない相手を技術的に止めるものではありません。Googleの自動クローラーのようにREPをサポートするサービスでは有効ですが、すべてのスクレイパーやbotが従うわけではない点が限界です。AI学習やAI検索の方針表示には役立つ一方、非公開情報を守る道具ではないという線引きが欠かせません。
Topic1994年の慣行が2022年にRFCへ
RFC 9309は、1994年にMartijn Kosterが定義した方法を仕様化・拡張したものだと説明しています。Web初期の「botにこうしてほしい」という慣行が、約28年後にIETFの標準文書として整理されました。AIクローラー対応で急に生まれた仕組みではなく、古いWebの協調文化が土台にあります。
Robots Exclusion Protocolに関するよくある質問
- REPだけで足りない場面は？
- ログインが必要な情報、顧客データ、限定資料、法的に守るべき情報には不十分です。公開しない設計と認証を優先します。
- AIクローラー対応で最初に見る資料は？
- 自社の公開ページ一覧、既存のrobots.txt、サーバーログ、各botの公式説明を並べます。そこから許可と拒否の理由を記録します。
