robots.txtとは
robots.txtとは、Webサイトのどの場所をクローラーに見せるか、見せないかを伝えるために、サイトのトップレベルへ置くテキストファイルです。AI検索や生成AIのbot対応でも、最初に確認される基本設定です。
サイトの玄関に置くルール表
robots.txtは、User-agentで対象botを指定し、AllowやDisallowでアクセスしてよいURLパスを示します。Google公式は、Googleの自動クローラーがクロール前にrobots.txtを取得して解析すると説明しています。玄関に貼る「この棚は見てよい、この棚は見ないで」という案内板に近い仕組みです。
AI時代の運用では、GPTBot、OAI-SearchBot、Google-Extended、GoogleOtherのように、botごとに目的は別です。全部を一括で拒否すると検索露出まで落とすかもしれませんし、全部を許可すると学習利用の方針と合わない場面も出ます。robots.txtはSEO担当だけでなく、広報、法務、コンテンツ責任者も見る設定です。
非公開化とは違う
robots.txtは、協調的なクローラーへ希望を伝える仕組みです。ログイン不要の公開ページは、URLを知っている人やルールを守らないbotから見える可能性があります。秘密情報や顧客情報はrobots.txtで隠すのではなく、そもそも公開しない、認証をかけるのが原則です。robots.txtは公開コンテンツの扱いを整理する道具と考えるとよいでしょう。
TopicAI時代の話に見えて、始まりは1994年
robots.txtはAIクローラー対応で注目されがちですが、Robots Exclusion Protocolの原型は1994年にMartijn Kosterが定義した方法です。IETFのRFC 9309として仕様化されたのは2022年9月。ChatGPTが広く知られる直前に、古いWebの協調ルールが正式な標準として整え直された形です。
robots.txtに関するよくある質問
- どの部署が更新を管理しますか？
- SEO担当だけに寄せず、広告、広報、法務、情報システムで責任者を決めます。公開前の確認者も固定すると事故を減らせます。
- 公開前に最低限テストすることは？
- トップURLで読めるか、意図しない全拒否がないか、主要bot名の綴りが正しいかを確認します。編集後は翌日もログを見ます。
