Google-Extendedとは
Google-Extendedとは、Googleがクロールした公開コンテンツをGeminiなどのAI用途へ使うかどうかを、Webサイト側がrobots.txtで管理するために書く名前です。検索順位を直接変える札ではなく、AI利用の範囲を分けるための指定です。
AI利用を切り分ける札
Google公式は、Google-Extendedを独立した製品向けの指定名として説明しています。対象は、Googleがサイトからクロールした内容を、Geminiのモデルの将来世代の訓練や、Gemini Apps、Vertex AI API for Geminiのグラウンディングに使うかどうかです。グラウンディングとは、AIが回答時に検索インデックス由来の情報を参照して事実性を高める仕組みです。検索に載せるか、AIに使わせるかを分けるための札と考えると分かりやすいでしょう。
重要なのは、Google-ExtendedがGoogle検索の掲載やランキングに影響しないと公式に説明されている点です。SEOのためにGooglebotを許可しながら、AI用途については別の判断を置けます。企業サイトなら、採用情報、ニュース、公開事例、ノウハウ記事などの扱いを部門ごとに整理し、robots.txtへ反映する運用が現実的です。
アクセスログにはそのまま出ない
Google-Extendedは、HTTPリクエストの専用user-agent文字列を持たないと説明されています。実際のクロールは既存のGoogle user-agentで行われ、robots.txtに書く名前だけが制御に使われます。サーバーログでGoogle-Extendedという名前を探しても見つからない可能性が高い点は、運用担当者が誤解しやすいところです。同じ一覧のGoogleOtherやGoogle-CloudVertexBotは自分の名前でログに現れるのに、なぜGoogle-Extendedだけ出ないのか。これが訪問者の名前ではなく、使い道を指定するための名前だからでしょう。
TopicGooglebot宛に書いた指定は、こちらには引き継がれない
公式一覧で、Google-Extendedが従う名前として挙がっているのはGoogle-Extendedの1つだけ。ところが同じ一覧に並ぶGoogle-CloudVertexBotには、自分の名前に加えてGooglebotも挙がっています。検索向けにGooglebot宛へ書いた制限は、Google-CloudVertexBotには効いてもGoogle-Extendedには引き継がれないということです。AI利用のほうを止めたいなら、Google-Extended宛のグループを自分で置くしかありません。
Google-Extendedに関するよくある質問
- SEOを残しつつAI側だけ絞れますか？
- まず検索に必要なbotとAI用途の制御名を分けて一覧化します。そのうえで、拒否する対象をrobots.txtに明記し、公開前に担当者2名以上で確認します。
- ログに名前が出ない時は何を見ますか？
- アクセスログだけで判断せず、robots.txtに書いた指定、Google公式の検査ツール、公開後の巡回状況をセットで確認します。
