日本市場の調査

AIクローラーはrobots.txtを守るのか - 1,622回中2件の違反

公開 2026年10月30日

この記事は2026年8月10日にIntrix Labが韓国語で公開した記事の翻訳です。

守っていました。75日間にAIクローラー10種類が1,622回訪問する中で、robots.txtで禁止したパスにアクセスしたのは2件（0.12%）でした（2026-08-10時点）。CCBotが管理者用パスに1回、Claude-WebがAPIパスに1回です。

なぜこれを確認する必要があるのでしょうか？

診断やコンサルティングでは「AIボットを許可してください」または「ブロックしてください」と助言しますが、ボットがそのファイルのルールを守らなければ、助言自体が成り立ちません。前提を確認せずに対策を売ることになります。そこで、当社サイトの禁止パス一覧と実際のアクセス記録を照合しました。

結果は、その前提が成り立つことを支持するものでした。少なくとも、当社がログで捉えているクローラーは守っています。

そうではありません。ルールを守るのは、正直に自分の名前を名乗るクローラーだけです。名前を偽るトラフィックには、ルールを守る理由がありません。

なりすましは実際にあります。当社のログを検証したところ、Baiduクローラーを名乗るトラフィックの半分以上、ChatGPT系クローラーを名乗るものの5〜6%は、実際の運営会社からのリクエストではありませんでした。しかも、この数字は下限です。検出できていないなりすましが、さらにあるかもしれません。

実際に、ChatGPTのユーザー向けクローラーを名乗り、サーバーのパスワードを探すリクエストが届いた記録がありました。robots.txtは、そのようなリクエストを防げません。

robots.txtは、正直なクローラーに意思を伝える手段としては機能します。許可するなら許可、禁止するなら禁止と記載すれば、そのとおりに従います。

ただし、セキュリティ対策にはなりません。機密性の高いパスは、robots.txtへの記載とは別に、認証やアクセス制御で保護する必要があります。robots.txtに記載した瞬間に、「ここに何かがある」と知らせることにもなります。

これは当社の1サイトの記録であり、当社は特定のクローラーの行動や成果を保証しません。

Q. AIボットをブロックすると、AI回答から消えますか？
クロールされなければ引用されないため、露出の機会は減ります。ただし、ブロックすることが適切な選択となる場合もあります。判断基準は、そのコンテンツで何を得ようとしているかです。

Q. 自社サイトでも確認できますか？
サーバーログで、robots.txtのDisallowパスと実際のリクエスト記録を照合すれば確認できます。ただし、ボット名だけではなりすましを見分けられない点に留意してください。