日本市場の調査

AIが引用したページに推薦先の企業は載っているのか - 推薦回答175件を照合

公開

この記事は2026年10月7日にIntrix Labが韓国語で公開した記事の翻訳です。

載っていないケースは少なくありません。2026-09-28時点で、AIの回答175件が引用したページ612件を直接取得し、回答で名前が挙がった企業が、それらのページのどこかに載っているかを照合しました。モデルAでは企業名の24%、モデルBでは42%が引用ページのどこにもありませんでした。回答に添えられたリンクを、その推薦の根拠として信頼するのは難しいということです。

何を照合したのでしょうか?

2026年9月にarXivで公開されたある研究は、AIが複数の文書を要約して回答を作る過程で、引用と実際の根拠が食い違うと指摘しました。原文に照らして確認し直すと、根拠が不十分な割合が最大88%に上がるという主張です。Intrixが保有する回答を使い、韓国語での企業推薦でも同様のことが起きるかを確認しました。

回答で名前が挙がった企業が、その回答の引用ページの少なくとも1か所に登場するかを確認しました。文単位で検証する元の研究よりも緩やかな基準です。調査対象6社についての回答180件から引用リンク760件を確認し、そのうち612件を読むことができました。判定基準は照合前に固定しました。

企業名は引用ページに載っていたのでしょうか?

引用ページのどこにもない企業名割合
モデルA69/285 (24.2%)
モデルB238/570 (41.8%)

事前に定めた基準は30%でした。モデルBは基準を超え、「引用が回答内容を裏付けているとは見なせない」という主張が、当社のデータでも成立しました。モデルAは基準を下回りました。モデルAはおおむね、自ら引用したページに登場する企業を推薦していました。

モデルBはどこから企業名を得たのでしょうか?

記憶から取り出したケースが多いようです。通販サイトの推薦を求める質問で、モデルBが名前を挙げた企業214件のうち140件は引用ページにありませんでした。同じ調査で、モデルBは検索せずに回答した場合も、対象ブランドの名前を10.7%の割合で挙げました。モデルBでは、引用ページを探すことと企業名を思い浮かべることが別々に動いています。

数値はどうだったのでしょうか?

金額、期間、個数などの数値は、確認できなかった割合がモデルAで76%、モデルBで50%と、さらに高くなりました。ただし、これらの数値には、モデルが計算式を適用して自ら算出した値や、「直近数か月の口コミを見てください」といった一般的な助言が混ざっていました。「2万7千ウォン」のように表記が混在したものは、一部しか読み取れない場合もありました。そのため、数値の結果を、出典との食い違いを示す根拠としてだけ捉えることはしません。

企業は何を確認すべきでしょうか?

第一に、回答に付いたリンクだけを見て、AIが自社を正しく紹介したと判断してはいけません。推薦された名前のかなりの部分が、そのリンク先にはありません。第二に、名前が挙がる経路はモデルごとに異なります。モデルAでは、引用されるページに自社名が明確に載っている必要があります。モデルBでは、各所に蓄積された評判や外部での言及が記憶として働きます。

自社の業種で、AIがどのページを根拠に誰を推薦しているかを確認するには、初回測定から始められます。

この結果はどこまで信頼できるのでしょうか?

対象は6社で、韓国語の質問をAPI経由で送って得た回答です。ページは回答より後に取得したため、その間に内容が変わった可能性があります。一部のページは読むことができませんでした。文ごとの引用位置を確認せず、「どこかに載っている」という基準を使ったため、元の研究の方法であれば、確認できない割合がさらに高くなる可能性があります。

同じ企業が英語と韓国語で異なる表記になっている場合、確認できなかったものとして数えた可能性があります。この結果を、ほかの業種や消費者向けアプリの画面にまで広げて解釈することはしません。

よくある質問(FAQ)

Q. AIがリンクを付けていれば、その内容はリンク先にあるのではないですか?
今回の照合では、そうではないケースが多くありました。モデルBが名前を挙げた企業の42%は、その回答が引用したページのどこにもありませんでした。

Q. 2つのモデルでは、どちらがより正確ですか?
企業名を基準にすると、モデルAのほうが自ら引用したページとよく一致していました。確認できなかった割合はモデルAが24%、モデルBが42%でした。ただし、対象6社についての結果なので、モデル全体の正確さにまで広げて解釈することはしません。

Q. 自社が推薦されているのに、根拠のリンクに自社サイトがない場合はどうすればよいですか?
AIが記憶や別の情報源から自社を思い浮かべた可能性があります。どの質問で、どのページを根拠に推薦されているかを別途確認しておけば、その経路が途切れたときに気付けます。

← 記事一覧に戻る