User-triggered fetchersとは

User-triggered fetchersとは、Google製品の中でユーザー操作をきっかけに動く取得プログラム群です。通常のクローラーがサイト巡回のために動くのに対し、誰かの操作に応じてURLを取りに行く点が大きな違いです。

ユーザー操作で始まる取得

Google公式は、User-triggered fetchersの例として、サイト確認やGoogle Cloud上の外部RSS取得のようなケースを挙げています。Google製品のユーザーが取得を求めたために発生するアクセスであり、GoogleOtherやGooglebotのような一般的な巡回とは性質が異なります。

重要なのは、Google公式に「一般にrobots.txtを無視する」という説明がある点です。これは不正アクセスという意味ではなく、ユーザーが依頼した取得機能だからでしょう。robots.txtで止まる前提の運用設計にしていると、ログの読み違いが起きます。

ログ確認では本人確認も必要

User-Agent文字列は偽装可能です。Google公式にも、リクエストがGoogleからのものか検証するよう注意書きがあります。サーバーログでGoogle-AgentやFeedfetcherを見つけても、名前だけで許可・拒否を決めるのは危険です。

AI時代には、NotebookLMやエージェント機能のように、ユーザーが外部URLを渡して取得させる場面が増えるでしょう。巡回bot対策と、ユーザー依頼の取得対策を分けることで、過剰ブロックと情報漏洩の両方を避けやすくなります。

User-triggered fetchersに関するよくある質問

社内資料URLを外部AIツールに入れた場合も関係しますか？

関係する可能性があります。ユーザー操作をきっかけにURL取得が走るため、社内資料は認証や共有範囲で守り、公開URLを安易に貼らない運用が必要です。

User-Agent名だけでGoogle由来と判断してよいですか？

判断しない方が安全です。User-Agentは偽装できるため、公式の検証方法、IP範囲、リバースDNSなど複数の情報で確認します。