Meta-ExternalFetcherとは

Meta-ExternalFetcherとは、Meta製品内の特定機能を支えるため、ユーザー起点で個別リンクを取得するcrawlerです。AIモデル訓練や製品改善向けのMeta-ExternalAgentとは役割が違います。

個別リンクを取りに行く役割

Meta公式は、Meta-ExternalFetcherがユーザー起点の個別リンク取得を行い、特定の製品機能を支えると説明しています。自動で広くクロールするというより、ユーザーが関わったリンクを取りに行く動きです。AI学習用の巡回と、ユーザー操作に応じる取得は別物として扱う必要があります。発端が人の操作かどうかを確認するのが入口です。

この区別は、サイトのブロック方針を社内で説明するときに効きます。Meta-ExternalAgentを拒否しても、ユーザーがMeta製品上でリンクを扱う場面まで同じ意味で制御できるとは限りません。ユーザーの操作に伴う取得は、通常のクローラー制御とズレることがあります。

robots.txtを迂回する場合がある

Meta公式は、Meta-ExternalFetcherがユーザー起点のfetchであるため、robots.txtルールを迂回する場合があると説明しています。これは「公開ページを誰にどう見せるか」をrobots.txtだけに任せられないということです。公開範囲、認証、メタタグ、利用規約を組み合わせて考える必要があります。

Meta-ExternalFetcherに関するよくある質問

リンクプレビューの不具合と関係しますか？

関係する可能性があります。Meta製品上でURLが使われる場面の取得に関わるため、OGP画像やタイトルが出ない場合は別のMetaクローラーと合わせて確認します。

会員向けURLをMeta製品内で共有した場合はどう考えますか？

会員向け情報は認証で守るのが前提です。外部サービス上でURLが扱われても、権限のない相手に本文が見えない設計にしておく必要があります。