Perplexityはどのページをクロールするのか - 自動生成ページを飛ばす
公開
この記事は2026年8月10日にIntrix Labが韓国語で公開した記事の翻訳です。
2サイトを同じ30日間にわたって調べたところ、Perplexityは一方のサイトの詳細ページだけを丸ごと飛ばしていました。医療情報サイトの病院詳細ページへのクロールは0回で、飲食店情報サイトの店舗詳細ページには1ページあたり2.75回訪問しました（2026-08-10時点）。
ブロックしていたのではないでしょうか？
いいえ。3つの点を順に確認しました。
robots.txtはPerplexityのクローラーを明示的に許可しており、サーバーの手前でもブロックしていませんでした。サイト自体を巡回していないわけでもありません。同じ期間に、ブログを146回、施術案内を82回クロールしていました。
つまり、サイトを選別するのではなく、ページの種類を選別しています。同じサイト内でも、人が書いた記事は取得し、公共データから自動生成した数万件の病院詳細ページだけが0回です。もう一方のサイトの店舗ページは、人が選んだ687店舗のもので、そちらは活発に巡回しています。
ボットによって違うのでしょうか？
正反対のボットもあります。GPTBotは医療サイトの詳細ページを1ページあたり0.55回クロールしましたが、飲食店情報サイトでは0.12回にとどまりました。Perplexityとはまったく逆の傾向です。
「AIクローラー」をひとまとめに語るべきではない理由がここにあります。どのボットを基準にするかによって、同じサイトの評価が逆転します。
実務ではどう捉えるべきでしょうか？
ページを多く作ればAIによる引用が増えるという前提を、見直す必要があります。大量生成したページはクロール対象から外れる可能性があり、外れれば引用の出発点にも立てません。
ただし、これは観察結果であり、因果関係を示すものではありません。2サイトは規模（約3,600件対687件）、開設時期、ドメインの認知度、テーマがすべて異なります。医療というテーマが理由なのか、自動生成が理由なのかは、このデータでは切り分けられません。後者を示唆する状況証拠が少し強いだけです。同じサイト内でも、人が書いた記事はクロールされているためです。当社は引用や露出を保証しません。
よくある質問（FAQ）
Q. 調査したのはどのサイトですか？
当社が直接運営する「K-DermZIP」（kdermzip.com、皮膚科情報）と「Loneat」（loneat.kr、一人飲み向け飲食店のキュレーション）です。顧客企業のデータは使用していません。
Q. サイトの規模が違っても比較できますか？
訪問の絶対数をそのまま比較したわけではありません。サイト規模の違いを補正した値で比較しました。