GEOの効果をどう検証するか - 病院1,991施設のランダム化比較実験を始めるにあたって
公開
この記事は2026年8月10日にIntrix Labが韓国語で公開した記事の翻訳です。
GEOの介入に効果があるかを知るには、同じ条件のページを無作為に2つの群に分け、片方だけを修正し、結果を見る前に計算方法を決めておく必要があります。修正前後を比較する方法は使えません。AIクローラーの訪問数は週によって最大66倍も変動するため、介入によるものなのか、その週にもともと起きる変動だったのかを切り分けられないからです。
私たちは2026年8月10日14時4分に、病院ページ1,991件を無作為に分けて実験を開始しました（対照群998、介入群993）。結果が出るのは10月5日です。この記事はその前に書いています。
なぜ前後比較では検証できないのですか？
AIクローラーは毎日少しずつ訪問するわけではありません。しばらく動きがなく、その後まとめて訪問します。当社サイトの週別訪問数は、少ない週で268回、多い週で17,661回でした（2026-06-01〜08-10の実測）。ボット別では変動がさらに大きくなります。ClaudeBotは3〜4週間前には8回でしたが、直近2週間には7,048回訪問しました。
このようなデータでは、「修正したら訪問が増えた」というだけでは何も分かりません。修正しなくても増えていた可能性があります。同じ期間に何も変更していない群があって初めて、その群との差から介入効果を測れます。
何を変更し、何を測るのですか？
介入群のページには2つの要素を追加しました。本文の冒頭に質問への答えを先に示すブロックと、疑問符で終わる小見出しです。存在しない事実を作ったわけではなく、ページにすでにあった情報の順序と表現だけを変えました。対照群には手を加えていません。
測定するのはAIクローラーの訪問数です。GPTBot、ClaudeBot、OAI-SearchBot、PerplexityBotの4種類を数えます。
測定が別の要因の影響を受けていないと、どう確認したのですか？
ファイルが変わると、その変更自体がクローラーを呼び込むシグナルになります。内容が良くなったからではなく、単に変更されたという理由で再訪するのです。そのため、デプロイがそうしたシグナルを別途生んでいないかを事前に確認しました。
計算方法自体も、介入を行っていない過去の期間を使って事前に点検し、効果がないときに0になることを確認しました。
結果が出なかったらどうするのですか？
そのまま公開します。事前登録文書にそう記載しています。
根拠を1つ挙げます。私たちは無料診断レポートで、llms.txtというファイルの作成を勧めてきました。AIにサイト構造を伝えるファイルだと説明していました。ところが、当社サイトの75日分のログを確認したところ、AIクローラー10種類が1,622回訪問する間、このファイルを取得したリクエストは0件でした（2026-08-10時点）。同じボットがrobots.txtは413回、サイトマップは285回取得していました。
そこでレポートの文言を修正しました。ひな型の提供は続けますが、効果は確認されていないと明記し、上記の数値を併記したうえで、優先して取り組む項目ではないと記載しました。
この結果はどこまで信頼できますか？
標本は当初計画の13%に減りました。ログに残っていたURLのかなりの部分が実在しないページで、導入予定だった介入の1つはすでに全ページに適用されており、比較自体が不可能でした。いずれの訂正も結果を見る前に行い、その時点と理由を文書に残しました。
そのため、あらかじめ決めておきます。差が統計的に有意にならなくても、「効果がない」とは書きません。信頼区間を併記し、意味のある大きさの効果がその区間に含まれる場合は、「この標本では確認できなかった」と記載します。検出力が足りないことと、効果がないことは別です。
実験対象は、私たちが運営する1つのサイトです。ここで得られた結果が、他のサイトでも同じになる保証はありません。私たちは順位や引用、特定の成果を保証しません。この実験が答えられるのは、1つのサイトで1つの介入がクローラーの行動をどの程度変えたかまでです。結果は統計的に有意かどうかにかかわらず公開します。
よくある質問（FAQ）
Q. 事前登録とは何ですか？
結果を見る前に、仮説、標本、計算方法、実験を無効とする条件を文書で確定し、公開する手続きです。結果を見た後で都合の良い解釈を選ぶことを防ぎます。臨床試験で使われる方法と同じです。
Q. なぜ実験対象のサイトを明かすのですか？
1つのサイトだけで行う実験なので、どのサイトかを明かさなければ第三者が検証できません。対象は私たちが直接運営する皮膚科情報サイト「K-DermZIP」（kdermzip.com）で、顧客企業のデータは使用していません。
Q. 結果はいつ、どこで公開されますか？
2026年10月5日に観測を終了します。統計的に有意かどうかにかかわらず、すべての指標をこのLabページで公開します。