Applebot-Extendedとは

Applebot-Extendedとは、Applebotが取得したWebコンテンツを、Appleの生成AI向け基盤モデル訓練に使わせるかどうかを制御する追加ユーザーエージェントです。Apple公式は、Applebot-Extended自体はWebページをクロールしないと説明しています。

クロール拒否ではなく使い道の拒否

Applebot-Extendedをrobots.txtで拒否すると、Applebotが取得したサイト内容をAppleの汎用基盤モデル訓練に使うことを避ける意思表示になります。Applebotそのものを拒否する設定とは違い、検索結果への掲載を必ず止めるものではありません。取りに来ることと、取った後の学習利用を分ける札として読みます。

企業サイトやメディアでは、この違いが実務上かなり大きな論点です。Apple端末上の検索やSiriからは見つけてほしいが、公開記事を生成AIの訓練には使わせたくない、という判断もあります。露出と二次利用を分けて決める発想が要ります。検索露出を落とさず学習利用だけを制御したい場合に、Applebot-Extendedが確認対象になるでしょう。

Applebotと一緒に読む

Applebot-Extendedだけを見ても全体像はつかめません。Applebotがページを取得し、そのデータの使い道についてApplebot-Extendedで追加制御する、という関係です。一枚目が入館許可、二枚目が資料の二次利用許可に近い組み合わせと捉えると分かりやすいでしょう。

Applebot-Extendedに関するよくある質問

設定行はどこに書くのが基本ですか？

基本はサイトのrobots.txtにUser-agent名とDisallowを記述します。CMSやCDNの設定でrobots.txtを生成している場合は、手元のファイルだけでなく公開URLの内容も確認します。

設定すれば過去に取得されたデータもすぐ消えますか？

そこまでは公式説明だけでは断定できません。少なくとも今後の利用方針を示す設定として扱い、重要なコンテンツは公開範囲や契約面も合わせて確認します。