Amazonbotとは
Amazonbotとは、Amazonが自社の製品やサービスを改善するためにWebサイトを巡回するクローラーです。Amazon公式は、サイト所有者がAmazon系クローラーによる利用を管理できると説明しており、Amazonbotの取得内容はAmazon AIモデルの学習に使われる可能性もあります。
正式名称:Amazonbot
英語表記:Amazonbot
Amazon系クローラーの違い
Amazon公式ページでは、Amazonbot、Amzn-SearchBot、Amzn-Userを分けた説明です。Amazonbotは製品やサービス改善に使われ、AIモデル学習に使われる可能性もあります。Amzn-SearchBotは検索体験の改善が目的で、AlexaやRufus(Amazonの買い物アシスタントAI)のような検索体験にコンテンツが出る可能性がありますが、公式説明では生成AIモデル訓練には使わないとのことです。Amzn-Userは、ユーザーの質問に答えるために最新情報を取りに行く用途とされています。
つまり、Amazonbotを許可するかどうかは、検索露出だけでなくAI学習利用の方針にも関係するということです。AI検索やAIブラウザでの露出を広げたいのか、コンテンツ資産の利用範囲を絞りたいのかを、botごとに分けて考える必要が出るでしょう。
制御するときの見方
AmazonはRobots Exclusion Protocolを尊重し、robots.txtのallow/disallowを確認すると説明しています。また、ページ単位で指示するrobotsメタタグ(キャッシュを残さないnoarchive、検索結果に出さないnoindex、それらをまとめて指定するnone)にも対応します。一般的なSEO設定と同じ名前が出てきますが、Amazon系クローラーでは目的ごとの差があるため、一括拒否ではなく、どのbotに何を許すかを表にするのが実務的です。
Topiccrawl-delayは効かない
robots.txtには、クローラーに訪問の間隔を空けてほしいと伝える設定(crawl-delay)を書く運用があります。ただしAmazon公式では、Amazon系クローラーはcrawl-delayをサポートしないとの説明です。サーバー負荷を下げたい場合、Amazonbot向けには別の制御方法を検討する必要があるでしょう。
Amazonbotに関するよくある質問
- Amazonbotの許可方針は誰が決めるべきですか?
- SEO担当だけでなく、コンテンツ責任者、法務、事業責任者も関わるべきです。検索露出、AI学習利用、コンテンツ資産の扱いが同時に関係するためです。
- Amazonbotを拒否するとAmazonの検索体験にも出なくなりますか?
- AmazonbotとAmzn-SearchBotは目的が分かれているため、一つのbotだけで全体を判断しない方が安全です。Amazon公式の各bot説明を見て、目的別に許可、拒否を決めます。
- AI学習利用を避けたいページはどう考えればよいですか?
- まず公開してよいページかを見直します。そのうえで、robots.txtやrobotsメタタグでAmazon系クローラーごとの扱いを整理する流れが現実的です。