AI可視性を測るには?数値の変化を成果と判断する前に

レポートで「AI可視性が30%から60%に上がった」と報告されたとき、何が2倍になったのでしょうか。ブランドが登場した回答の割合なのか、競合を含む言及全体に占める割合なのか、それとも顧客数なのか。この区別から確認する必要があります。

可視性スコアが示すのは、収集した回答の中での登場状況です。数えた対象と分母(計算で割る側の総数)、回答を集めた条件を確認すると、割合の意味と、ふたつの結果を比較できるかがわかります。

指標を選ぶ前に、何を数えるかを決める

ブランドがどのくらい言及されるかを測る場合は、完了したAI回答を数えます。回答ごとにブランド名が登場したかを記録します。ひとつの回答に名前が3回出ても、「ブランドが登場した回答」は1件です。

Supasaito(スーパーサイト)の可視性の定義では、次のように計算します。

可視性=ブランドが登場した完了回答の件数÷計測した完了回答の総数×100

言及はブランド名が出ること、推奨はそのブランドを選ぶよう勧めること、引用は回答の出典としてリンクを示すことです。それぞれ分けて数えます。ブランド名が書かれていても、推奨されているとは限りません。また、ページへの引用リンクが、そのページを運営する企業への推奨を意味するわけでもありません。推奨や引用を調べたい場合は、言及の有無とは別に数え方を定めます。

取得できなかった結果は、言及がなかった回答と分けて扱ってください。完了した回答にブランドが登場しなければ、完了回答の総数には含めますが、ブランドが登場した回答の件数には含めません。一方、回答の取得に失敗した場合やモデルが無効の場合は、数えられる完了回答がありません。完了回答が0件なら、可視性を計算するための分母もありません。プロンプトと回答のヘルプでは、結果の状態や計測日を確認する方法を説明しています。

可視性とシェア・オブ・ボイスは、答える問いが違う

可視性で確認するのは、計測した回答のうち、どれだけの割合にブランドが登場したかです。

言及にもとづくAIシェア・オブ・ボイスで確認するのは、比較対象のブランド群の登場回数のうち、自社がどれだけを占めたかです。

後者では、ひとつの回答につき各ブランドを最大1回数えます。自社の登場回数を、比較する全ブランドの登場回数の合計で割ります。

次の表は、説明のための架空の例です。顧客の計測結果ではありません。

ブランドブランドが登場した回答の件数
A30件
B50件
C20件

計測した完了回答は50件です。ひとつの回答に複数のブランドが登場するため、Aの数値は次のようになります。

  • 可視性は60%:30÷50。
  • A・B・Cの言及にもとづくシェア・オブ・ボイスは30%:30÷(30+50+20)。

どちらも正しい計算です。可視性では回答50件で割り、シェア・オブ・ボイスではブランドの登場回数の合計100回で割っています。比較対象のブランドが一度も登場しなければ、このシェア・オブ・ボイスは算出できません。

比較に含めるブランドを変えると、その割合が答える問いも変わります。数値とともに対象のブランド群を明示してください。シェア・オブ・ボイスの用語解説に、計算方法と条件をまとめています。

すべてのツールが同じ式を使うわけではありません。Ahrefs Brand Radarでは、検索需要で重みづけした「インプレッション」を使ってAIシェア・オブ・ボイスを計算します。重みづけとは、すべての登場を同じ1回として扱うのではなく、関連する検索需要が大きい回答ほど集計への寄与を大きくすることです。ここでのインプレッションは、ブランドが登場したAI回答のプロンプトに関連するGoogle検索の検索ボリュームを合計したものです。そのAI回答を実際に見た人数を数えているわけではありません。そのため、上の例のように登場を同じ重さで数える方法とは結果が異なる場合があります。ツール間で比べる前に、何を数え、各登場をどの重さで集計し、どのブランドを含めるかを確認してください。

登場の有無、回答内の順位、出典の確認を分ける

可視性からわかるのは、ブランドが登場したかどうかです。回答のどこに登場したか、リンク先が説明を裏づけているかまではわかりません。

Supasaitoでは、計測した回答で紹介されたブランドの中での平均順位を別に表示します。この順位は可視性の重みづけには使わず、Google検索の順位とも異なります。順位を解釈するときは、実際の回答も確認してください。

引用についても、リンクを開いて、該当する記述が回答の主張を支えているかを確かめます。同じ話題を扱うページへのリンクがあるだけでは、十分な裏づけになりません。出典へのリンクがあるか、リンク先の記述が主張を支えているか、その主張が事実として正しいか。この3点を分けて確認します。これらは回答の理解を助けますが、可視性スコアそのものの定義を変えるものではありません。

比較できる計測条件を記録する

プロンプトとは、AIに送る質問や指示です。プロンプトパネルは、計測に使うこれらの質問をまとめたものです。どの質問を含めたかは、数値を解釈するうえで欠かせない条件です。

計測結果を比べる前に、次の情報を残します。

  • 質問と数え方。
  • 言語、AIの提供元、検索のモード(Web検索を有効にしていたかなど)。
  • 確認できるモデル名・バージョンと設定。
  • 回答を集めた日付と、完了・失敗・取得不可の結果。
  • 質問の数と、同じ質問を繰り返した回数。
  • 比較に含めたブランド。

モデルのバージョンが確認できなければ、推測で埋めず、不明であることと比較への影響を記録してください。

質問の幅を広げることと、同じ質問を繰り返すことは、役割が異なります。質問を増やすと、パネルが扱う範囲が変わります。同じ質問の繰り返しでは、記録した条件で回答がどの程度変わるかを観察できます。ただし、繰り返しを増やしても質問の範囲は広がりません。また、同じ質問やよく似た質問への回答を、その結果を別々に確認した独立した証拠として扱えるとは限りません。

Blackwell・Barry・Cohnの研究は、大規模言語モデル(LLM)をベンチマークで繰り返し評価しています。LLMはAIアシスタントの基盤となるモデルで、ベンチマークは決められた課題で性能を評価するテストです。この研究は、テストのたびに結果がどの程度変わり、どこまで確かな判断ができるかを調べています。計測条件や変動を記録する根拠にはなりますが、マーケティングで質問を何件用意すべきか、何回繰り返すべきか、どの程度の増加を改善と判断すべきかを示したものではありません。

比較するときは、どの条件をそろえ、何を変えたかを説明します。質問の追加、モードの切り替え、比較ブランドの変更があった場合は、同じ計測の続きであるかのように割合だけを並べないでください。

変化を報告するときは、原因まで断定しない

架空のパネルで、1回目は20件の完了回答のうち6件、2回目は20件のうち12件にブランドが登場したとします。質問群と数え方は変えず、回答を集めた条件も比較可能なものとして記録されている例です。

観測された可視性は**30%から60%**になりました。ふたつの割合の差は60−30=30パーセントポイントです。また、60÷30=2なので、2回目の割合は1回目の2倍です。

計算結果と計測条件を、ひとつの報告シートにまとめます。次の表も架空の例です。与えられていない情報は、不明のまま示しています。

報告する項目架空の記入例
指標言及にもとづく可視性:ブランドが登場した回答数÷計測した完了回答の総数
1回目完了回答20件のうち6件に登場。可視性30%
2回目完了回答20件のうち12件に登場。可視性60%
観測された変化30パーセントポイント増加。割合は1回目の2倍
質問群と数え方この例では、両方とも同じと設定
提供元・モデル・検索モード・言語・計測日情報なし。実際のレポートでは値を記録し、確認できない項目は不明と明示
取得できなかった結果情報なし。失敗・取得不可の結果を別に記録
比較可能性この例では比較可能と仮定。実際の比較では、記録した条件で確認
裏づけられる結論収集した完了回答のうち、ブランドが登場した割合が増加
この計測では判断できないこと増加が続くか、統計的な検定で回答ごとのばらつきと区別できるか、何が原因か、この質問群以外でも同じ傾向があるか、顧客が増えたか
次に必要な証拠比較できる条件で回答を追加収集し、数値のばらつきを確認。事業上の成果を調べる場合は、訪問・問い合わせ・顧客の記録を別に確認

実際のレポートには、質問と元の回答を添え、読み手が件数を確認できるようにします。条件を変えた場合は、結果とともに説明してください。変化の理由を挙げるときは解釈であることを示し、確かめるために必要な証拠も明記します。

次に確かめる問いにつなげる

AI回答にブランド名が出た回数、記録されたWebサイトへの訪問、問い合わせ、確認された顧客は、別々に数えるものです。ひとつを測っても、ほかの数値を測ったことにはなりません。

AI検索からWebサイトへの訪問が発生する場合もあります。Googleの公式説明では、AIによる概要やAIモードからのトラフィックを、Search Consoleのウェブ検索全体のデータに含めています。この合計値だけでは、すべてのAI経由の訪問を個別に特定できません。また、AI検索がなければ得られなかった訪問や顧客が増えたかも判断できません。

回答の計測と、定義を明確にした訪問・問い合わせ・顧客の記録を分けて示します。報告シートを使い、事業上の問いに答えるために、どの観測がまだ足りないかを確認してください。

経営層への報告を考える際は、CMO向けAI検索指標の解説も参考にしてください。まずは、各可視性の数値について、どの回答を数え、どの総数で割り、どの条件で回答を集めたかを確認できるようにします。そのうえで、求める結論に何の証拠が足りないかを示します。

読み手が、観測した事実、考えられる理由、まだわからないことを区別できるレポートを目指してください。