同じ質問を繰り返すか、質問数を増やすか:AI回答5,108件を再分析
公開
この記事は2026年10月7日にIntrix Labが韓国語で公開した記事の翻訳です。
質問数を増やすほうが正確でした。2026-10-07時点で、Intrixが8〜9月に集めたAI回答5,108件を再分析しました。同じ呼び出し回数でAI可視性スコアを測る場合、同じ質問を何度も繰り返す設計より、質問数を増やす設計のほうが誤差は小さく、調査4件とモデルの組み合わせ11通りすべてで同じ傾向でした。400回呼び出す場合、40問を10回ずつ尋ねる設計の標準誤差は3.26%p、400問を1回ずつ尋ねる設計は1.50%pでした。
何を確認しようとしましたか?
AI検索分析ツールを開発するPeecは、1億2千万件の会話を根拠に「同じ質問を何度も実行するより、多くの質問を追跡する」ことを勧めました。同じ呼び出し回数なら質問の幅を広げるほうが誤差は小さく、5回繰り返す設計の誤差は約1.5倍になるという主張です。Intrixも同じ質問を10回ずつ尋ねる方式で診断してきたため、自社データでも同じかを確認しました。
新たにAIを呼び出してはいません。2026-08-24から09-22の間に収集した調査4件を読み直しました。業種・分野はデザイン支援事業、個人再生、離婚、ブランディングです。質問は調査ごとに36問または50問で、各質問を10回または20回尋ねました。エラーで終わった応答は除外しました。
どのように比較しましたか?
調査ごとに最も多く引用された10ドメインの可視性スコアを基準値としました。同じ呼び出し回数の範囲で質問数と繰り返し回数の組み合わせを変え、基準値からどれだけずれるかを比較しました。分析設計は計算前に固定しました。
繰り返しを減らして質問数を増やすと、誤差はどれだけ減りますか?
50問を20回ずつ尋ねた調査で、呼び出し回数の予算を400回として比較した結果です。
| 設計(質問数 × 繰り返し回数) | 平均誤差(RMSE) | 上位3ドメインの一致率 |
|---|---|---|
| 20 × 20 | 2.57%p | 0.15 |
| 40 × 10 | 1.14%p | 0.53 |
| 50 × 8 | 0.43%p | 0.87 |
同じ400回でも、質問が20問から50問に増えると、誤差は6分の1程度に減りました。どのドメインが上位3位に入るかを正しく当てる割合も、0.15から0.87に上がりました。
なぜ繰り返しより質問数が効果的なのですか?
「このドメインが引用されたか」を左右する要因の大部分は、どの質問をしたかでした。同じ質問を再び尋ねても結果は大きく変わらないため、繰り返すと、すでに測ったものを再び測るために呼び出し回数を使うことになります。
Peecの比較条件に合わせて計算すると、5回繰り返す設計の誤差は1.61〜1.87倍になります。Peecが述べた約1.5倍と同じ方向で、自社データでは差がより大きくなりました。
現在の10回繰り返す設計は、どれだけ不利ですか?
モデルの組み合わせ11通りについて、上位ドメインで平均した標準誤差です。
| 呼び出し回数 | 設計(質問数 × 繰り返し回数) | 標準誤差 |
|---|---|---|
| 400 | 40 × 10 | 3.26%p |
| 400 | 100 × 4 | 2.26%p |
| 400 | 200 × 2 | 1.79%p |
| 400 | 400 × 1 | 1.50%p |
| 2,000 | 200 × 10 | 1.46%p |
200問を10回ずつ尋ねる2,000回の呼び出しの精度は、400問を1回ずつ尋ねる400回の呼び出しと同程度でした。一つのスコアを正確に算出することが目的なら、繰り返しに使っていた呼び出し回数を質問数の増加に振り向けるほうが適切です。
繰り返しが無意味だという意味ではありません。繰り返しは、「この質問で自社が毎回引用されるか」のように、一つの質問の安定性を見るときに必要です。自社の業種でどのような質問がAIの回答を左右するのかを確認するには、初回測定から始められます。
この結果はどこまで信頼できますか?
基準値は保有する標本全体にすぎず、真の母集団ではありません。質問セットは調査ごとに36問または50問に固定されているため、100問以上の数値は、同じ性質の新しい質問を継続して抽出できるという仮定に基づく計算です。似た質問が混ざると、実際の効果は小さくなります。質問の作成・確認にかかる費用も反映していません。
対象は韓国語の調査4件で、業種・分野も四つだけです。時間の経過とともに生じるノイズをトレンドによって除去できるというPeecのもう一つの主張は、確認できませんでした。同じ質問を別の日に再び尋ねた記録がないためです。この分析は測定設計を扱ったものであり、特定の順位や引用を保証するものではありません。
よくある質問(FAQ)
Q. では、同じ質問は1回だけ尋ねればよいですか?
一つのスコアの正確さだけを見れば、そうです。同じ400回の呼び出しでは、400問を1回ずつ尋ねる設計の誤差が最小でした。一つの質問で毎回引用されるかを見るには繰り返しが必要なため、先に目的を決めて使い分けるのが適切です。
Q. 多くの質問を作るのが難しい場合は、どうすればよいですか?
今回の計算は、新しい質問が既存の質問と重ならないという仮定に基づいています。表現だけを変えた質問を増やすと、同じものを再び測ることになり、効果が小さくなります。実際の顧客が質問する、互いに異なる状況の幅を広げるほうが適切です。
Q. 上位3ドメインの順位は信頼できますか?
呼び出し回数が少ないと変動します。50問の調査では、400回呼び出しても、質問数が20問の設計で上位3ドメインを正しく当てた割合は0.15でした。順位を見るときは、質問数が十分かを先に確認してください。