日本市場の調査

新しいAIモデルは自社ブランドをもっと理解する?旧モデルと新モデルのGEO比較実験

公開

この記事は2026年8月14日にIntrix Labが韓国語で公開した記事の翻訳です。

「今はAIが当社をよく知らなくても、モデルが進歩すれば知ってくれるのではないか」。私たちもそう考えていました。そこで実際に測りました。同じ38問を同じ条件で投げかけ、モデルだけを9か月分新しいものに入れ替えました。結果は半々でした。検索ありの条件では正答率が37%から85%に上がりましたが、検索なしの条件では12%から14%と、事実上横ばいでした。

待てば改善する部分と、待っても変わらない部分があります。この記事は、その境界がどこにあるかの記録です。

何を、どのように測ったのか

匿名化した5つのブランド(エージェンシー2社、法律分野1社、医療情報分野1社、外食情報分野1社)について、各ブランドの公式サイトで直接確認した38の事実を正解としました。質問には、誤った前提を織り込んだものもあります。AIにはユーザーが前提として示すと大抵は同意する性質があり、その経路で、他者が書いた誤情報がブランドの事実として定着するためです。

各質問は、検索なしと検索ありに分けて投げかけました。この対比が実験の骨格です。検索なしで正解すれば、モデルが学習段階ですでに知っていることを意味します。検索ありでのみ正解すれば、その場でサイトを読んで知ったことを意味します。必要な対策は大きく異なります。

1回目は2025年8月頃のモデル、2回目は最新モデルで測りました(2026-08-14実測)。質問も検索条件も同じで、変えたのはモデルだけです。

待っていれば、AIが自然に知ってくれるのでしょうか?

検索なしの正答率は、2つのモデル系列でそれぞれ12%から14%、7%から11%に変わりました。9か月が経過し、モデルは数世代進みましたが、ブランドについて知っている量自体はほとんど増えませんでした。

一方、検索ありでは37%から85%、61%から85%に上がりました。両系列とも85%に収束しました。

整理すると、次のようになります。世代交代で改善したのは知識ではなく、検索を扱う能力です。モデルは賢くなりましたが、その能力は「探して正確に読み取る」側に向かい、「すでに知っている」側には向かいませんでした。

実務上の意味は明確です。検索でたどり着けるブランドは世代交代の恩恵をそのまま受けますが、検索でたどり着けないブランドは、世代が変わっても10%台にとどまります。待つことは戦略ではありません。

3日前に出した結論が2つ覆りました

この再測定には、別の目的もありました。1回目の測定から当社が出した結論が正しいかを確かめるためでしたが、結果として2つが誤っていました。

1つ目は、「モデルの提供元によって失敗の仕方が違う」と書いたことです。一方は知らなければ作り話をし、もう一方は知らなければ聞き返すという傾向を確認していました。最新世代では両系列の正答率が同じ85%に収束し、この違いは消えました。提供元の性質ではなく、世代の性質でした。

2つ目は、「AIは会社紹介のような基本的な事実は知っていても、計算式や運営原則のような差別化につながる事実は知らない」と書いたことです。1回目では、運営原則に関する項目の正答率は25%でした。最新モデルでは、測定した全件が正解でした。項目の種類ごとの順位まで完全に入れ替わり、元の仮定自体が成り立ちません。

どちらの結論も撤回しました。原因は1つでした。測定に使うモデルを確認せずに選んでいました。9か月前の旧モデルで測ったため、世代の効果を提供元の効果と読み違えました。

最新モデルのほうが安全とは限りませんでした

最も予想外だった結果です。あるモデル系列では、検索なしで誤った前提に同調する割合が3%から43%に上がりました。

実際の回答を見ると違いは明確です。「この会社は広告代理店ですよね?」という誤った前提に対し、旧モデルは「パフォーマンス広告代理店というよりは」と否定しました。最新モデルは、「はい。この会社はデジタル広告・マーケティング代理店で、パフォーマンス広告を主な業務の1つとして行う会社として知られています」と断定しました。誤った内容を、自信に満ちた文章で述べたのです。

同じ系列で、誤情報の生成率も検索なしでは4%から26%に上がりました。検索ありでは再び低くなりますが、それでも7%から13%へ悪化しました。

解釈には慎重さが必要です。測ったのは特定の2つの構成の差であり、提供元全体の方向性ではありません。ただし、確認されたパターンは一貫しています。役に立とうとする傾向が強まるほど、根拠のない場面で危険性が増します。ユーザーが置いた前提を受け入れて文章を続けることは、通常は親切でも、ブランドの事実に関しては誤情報の生成になります。

世代が進んでも改善しないのは何でしょうか?

最新モデルでも低いままの項目がありました。最近の変更事項が58%、方法・手順が63%、そして同名企業の区別が75%でした。

同名企業の区別は、この実験を通じて最も改善が遅い項目でした。名前が重なる企業が複数あると、モデルは事実を間違える前に、どの会社なのかという段階から間違えます。順序があるということです。エンティティが特定されなければ、その後の正確さは論じられません。

測定条件を明記します

5つのブランドのうち1つは当社サイトです。当社サイトは新規ドメインで、公開時点(2026-05-18)から約2か月25日が経過していました。サイト内のSEO・GEOを実施し、自ら登録できる外部シグナルはすべて設置しました。エンティティ登録(ナムウィキ・Wikidata)、ローカル登録(Naverプレイス・カカオマップ・Googleビジネスプロフィール)、自社チャネルへのリンク掲載(LinkedIn・Brunch・Instagram)まで完了した状態です。

欠けているものは1つです。第三者の編集判断による引用です。報道、レビュー、比較記事、業界ブログのように、他者が判断して書いてくれるシグナルはありません。そのため、当社サイトで出た低い数値は失敗ではなく、自力で設置できるものをすべて設置したとき、どこまで到達するかを示す測定値です。新しく作ったサイトがよく到達する地点がそこです。自ら登録するシグナルと、他者が書いてくれるシグナルは種類が異なり、前者は自力で対応できますが、後者はできません。

では、何をすればよいのでしょうか

第一に、モデルの進歩を待たないでください。この実験が示したのは、世代交代の恩恵が「検索でたどり着けるブランド」にしか及ばないということです。たどり着けなければ、9か月経っても10%台です。

第二に、まず名前が重複していないか確認してください。同名企業がある場合、事実を訂正する前に、会社を特定できる状態にすることが先です。商号だけを単独で使わず、地域・業種・代表者を併記することが出発点です。

第三に、AIが自社についてどう答えるか、直接聞いてください。会社紹介を尋ねたときに別の会社の話が出るなら、それは露出が足りない状態ではなく、誤って認識されている状態です。後者のほうが急を要します。

当社の無料SEO・GEO診断では、このうちアクセス可能性とクロール可能性を実測で確認します。ただし、診断や構造改善が、特定の回答での引用や正確さを保証するわけではありません。どのような施策もAI回答の正確さを保証できません。当社がお示しできるのは、前提条件の実測です。

よくある質問(FAQ)

Q. どのモデルで測定しましたか?
1回目は2025年8月頃に公開されたモデル2種類、2回目は2026年8月時点の最新モデル2種類です。質問と検索条件は同じにして、モデルだけを入れ替えました。

Q. 検索なしで測るのは、実際の利用環境と異なりませんか?
異なります。その違いを測るために分けました。実際の利用に近いのは検索ありの条件で、検索なしの条件は「モデルが学習段階でこのブランドをどれだけ知っているか」を分離して見るための対照群です。両者の差が、そのままサイトの貢献分です。

Q. 正答率85%なら十分ですか?
文脈によります。残りの15%が所在地や代表者のように確認可能な事実であれば問題になります。繰り返し測定するたびに別の項目を間違えるなら、安定性自体を疑う必要があります。当社がこの実験を3回繰り返したのは、1回の測定で個別ブランドの状態を断定しないためです。

Q. 当社についても確認できますか?
可能です。要点は、記憶に頼らず、公式サイトで直接確認して正解を用意することです。当社も設計中に一度、名前が似た別の会社を正解の出典にしてしまいました。

← 記事一覧に戻る