Google-CloudVertexBotとは
Google-CloudVertexBotとは、サイト所有者がVertex AI Agentsを構築するために依頼したクロールに関わるGoogleのbotです。Google検索へ載るかどうかではなく、自社側がAIエージェント用にWebコンテンツを取得する場面で確認します。
自社AIエージェント向けの取得
Google公式では、Google-CloudVertexBotへのrobots.txt指定が、サイト所有者によるVertex AI Agents構築のためのクロールに影響する、という説明です。Google検索や他のGoogle製品への影響はないとされているため、GooglebotやGoogle-Extendedとは目的を分けて理解する必要があります。
実務では、社内向けFAQエージェント、製品情報検索、サポートbotなどを作るときに、自社サイトのどの範囲をAIへ読ませるかが問題になります。公開ページでも、古い価格表、テストページ、重複したPDFをAIが読むと回答品質が落ちるかもしれません。Google-CloudVertexBotの扱いは、AIに読ませる社内の棚卸しとセットで考えるのが自然です。
Google-Extendedとの違い
Google-Extendedは、Googleがクロールした内容をGeminiの訓練やグラウンディングへ使うかを管理するために、robots.txtへ書く名前です。専用のクローラーがあるわけではなく、名前だけが制御に使われます。一方のGoogle-CloudVertexBotは、サイト所有者がVertex AI Agentsを作るために求めた取得に関わるもの。他社AIに使わせるか、自社が作るAIに読ませるかという違いで捉えると、判断がぶれにくくなります。
Topic検索向けに書いた1行が、自社AIのクロールにも効く
「Google検索には影響しない」と公式が明記する一方で、止め方の入口は検索と共有しています。公式一覧が、このbotがrobots.txtで従う宛名として挙げているのは、Google-CloudVertexBotとGooglebotの2つ。robots.txtの仕様では、1つのクローラーに有効なグループは1つだけで、名前がより具体的に一致するグループが選ばれます。つまり専用の指定を置いていないサイトでは、検索向けにGooglebot宛へ書いた制限が、そのまま自社AIエージェント用のクロールにも適用されるわけです。読ませたい範囲が検索と違うなら、Google-CloudVertexBot宛のグループを1つ書く。それが置かれた時点で、そちらだけが読まれます。
Google-CloudVertexBotに関するよくある質問
- 社内ナレッジbot向けに何を棚卸ししますか？
- 廃止資料、期間限定告知、下書きURL、重複資料を一覧にして、AIへ見せる前に最新版へ寄せます。
- 検索順位のために許可すべきですか？
- 検索対策とは別の設定です。社内ツール作成の目的、読ませたい範囲、回答責任を基準に決めます。
