AIクローラーは毎日均等に来るのか - 1,052回の後に再び1,101回
公開
この記事は2026年8月31日にIntrix Labが韓国語で公開した記事の翻訳です。
AIクローラーAは毎日均等にアクセスしていませんでした。 intrix.krのサーバーログでは、最初の大量収集は1,052回、2回目は1,101回で、その間には18~21日の空白がありました。2026-08-31時点で約3か月を観測した結果です。平均リクエスト数だけでこの流れを要約すると、実際の収集方法である断続的なバーストが見えなくなります。
2回のバーストはどのように現れたのでしょうか？
2026-06-02から2026-08-31まで、外部プラットフォームが運営するクローラーAのリクエストをすべて集計しました。同じ名前をかたるリクエストが混ざっていないかも確認しました。この期間のリクエスト総数は2,205回でした。
最初のバーストは2026-08-04~08-09の1,052回でした。日別リクエスト数は1回、9回、44回、180回、586回、232回と推移しました。その後、18~21日間は大量収集が見られませんでした。
2回目のバーストは2026-08-27~08-31の1,101回でした。日別では1回、16回、30回、747回、307回でした。最後の307回は2026-08-31の集計途中の値なので、終了した1日の確定値と同じようには扱いませんでした。
同じクローラーによる一連のアクセスと見る根拠は何でしょうか？
2026-08-30~08-31のリクエストは、88~98個のIPv6アドレスに分散していました。1つのIPがリクエストしたページは1~3ページでした。1つのアドレスが順番にサイトを巡回する形ではなく、複数のアドレスが少数のページを分担して取得する形でした。
ページの種類別にも集計しました。2日間で、その他のページ710回、ハブ105回、会社情報102回、ホーム39回、ブログ6回でした。特定の記事1本への繰り返しアクセスが、リクエスト総数を膨らませていたわけではありません。
ボット名だけで真偽を確定したわけではありません。なりすましと判定されたリクエストは10件で、全リクエストの0.5%でした。
平均値はなぜこのパターンを隠すのでしょうか？
約3か月の合計を日数で割ると、毎日少しずつ収集していたように見えます。実際のログでは2026-08-09以降に長い空白があり、2026-08-30には1日で747回が集中しました。同じ総量でも、収集のタイミングによって解釈は変わります。
この違いは、変更前後の比較で特に重要です。サイトを修正した直後にリクエストが増えても、その増加が修正によるものなのか、以前から発生していたバーストなのかは、比較対象期間なしには切り分けられません。今回の観測が裏付けるのは、クロールリクエストを日別の時系列で記録する必要があるという測定上の原則までです。
robots.txtへのリクエスト0件は何を意味するのでしょうか？
クローラーAが送った2,205回のリクエストのうち、robots.txtへのリクエストは0回でした。ただし、この値だけでルールを無視したと判定することはできません。以前に取得したルールをキャッシュしていた可能性や、別の経路で確認していた可能性を、サーバーログだけでは排除できないためです。
したがって、この記事は違反を主張するものではありません。約3か月間にオリジンサーバーへ到達した、この名前のリクエストでは、robots.txtの再リクエストが観測されなかったという事実だけを記録します。遵守状況を試験するには、禁止パスを設ける別の介入設計が必要です。
この結果はどこまで信頼できるのでしょうか？
母集団はintrix.krという単一サイトと、クローラーAの1種類です。期間は2026-06-02~2026-08-31の約3か月で、観測したバーストは2回だけです。他のサイトや他のクローラーでも、同じ間隔とリクエスト数になる保証はありません。
特に、2回のバーストの間にある18~21日を周期と呼ぶことはできません。繰り返しは2回だけで、2回目の最終日も集計途中でした。この資料が裏付ける結論は、同じサイトで断続的な大量収集パターンが再び現れたという範囲までです。
サーバーに到達しなかったリクエストはログに残りません。分散したIPが同じ作業を分担していたという解釈も、リクエスト時刻とパスのパターンに基づく観測です。Intrixは順位・引用・露出を保証しません。
同じ現象をどのように再確認するのでしょうか？
リクエスト総数だけを見ると、バーストは隠れてしまいます。リクエストを日別の流れに分けて見ることで、断続的な大量収集を区別できます。Intrixの無料SEO・GEO診断は、サイトのクロール可能性と応答状態を実際のリクエストで確認します。クロール回数とAI回答での成果は異なる指標なので、別々に測定します。
よくある質問（FAQ）
Q. リクエストが1,101回なら、AIによる引用が増えたという意味ですか？
いいえ。サーバーログが示すのは、クローラーがページをリクエストした事実だけです。回答での出典選択や本文中の言及は、別途、回答データで測定する必要があります。
Q. 18~21日ごとに同じバーストが繰り返されるのでしょうか？
そうは断定できません。観測されたバーストは2回だけで、周期を推定するにはサンプルが不足しています。次の収集時期を決めつけず、日別ログをさらに蓄積する必要があります。
Q. robots.txtを一度もリクエストしていなければ、ルール違反なのでしょうか？
リクエスト0件だけで違反と判定することはできません。ルールのキャッシュや別の確認経路を排除できておらず、禁止パスへのアクセスを試験する介入も行っていません。