AI可視性の測り方

「ChatGPTに自社名が出た」「AI Overviewsに引用された」といった観測は、生成AI検索への対応が進むほど日常的になってきました。そこで課題になるのは、AI上での見えやすさ、いわゆるAI可視性を数値で管理したいという要望です。しかし、1回の観測から「AI可視性スコア85点」といった単発値を出す測り方には、無視できない落とし穴があります。この記事では、生成AIの回答が持つ非決定的な性質を出発点に、なぜ単発スコアが信頼できないのか、そしてどう測れば誠実なのかを整理します。

母数が1のデータから「AI可視性◯点」と丸めると、その数字はたまたま引いた1回の結果に強く引きずられます。翌日に同じ質問を投げれば、言及されないことも、別の競合が前面に出ることもあります。単発スコアは精度が高そうに見えて、実際には再現性の裏づけがありません。数値の見栄えと信頼性は別物です。単発値を意思決定の根拠に据えると、存在しない変化を読み取ってしまう危険があります。AIに引用されない構造的な原因についてはAI検索で引用されない7つの原因も参考になります。

AI可視性をひとつの総合スコアに丸めると、何が起きているのかが見えなくなります。かわりに、段階を分けた複数の指標で観測します。おもな指標は次のとおりです。

• mention rate（言及率）：AI回答に自社やブランドが登場した割合

• citation selection rate（引用選択率）：引用元として選ばれた割合

• citation absorption rate（引用吸収率）：引用が実際に回答本文の内容へ反映された割合

• supported claim rate：検証可能で裏づけのある主張の割合

• answer entity consistency：回答内での自社情報の一貫性

• competitor inclusion：競合が同時に言及される度合い

なお、引用選択率・引用吸収率（citation selection rate / citation absorption rate）は、検索エンジンやAIベンダーが定義した公式・業界標準の指標ではありません。診断のために本稿で区分する操作的な指標です。定義や測り方は運用者ごとに差があり得る前提で扱ってください。

引用元に選ばれることと、その内容が回答本文へ反映されることは別の現象です。この違いは引用と回答反映の違いで詳しく整理しています。段階を分けることで、どの層でつまずいているかが切り分けられます。

反復観測で得た割合は、あくまで有限の試行から推定した値です。そこで、Wilson信頼区間やbootstrapを用いて、割合が取りうる幅を明示します。たとえば言及率が10回中3回だったとしても、真の割合はもっと広い範囲に散らばりうるという但し書きが必要です。少数試行の平均やレンジは参考にはなりますが、母数として弱く、断定の根拠にはできません。幅を示すことは弱さの露呈ではなく、数値を誠実に扱う作法です。区間が広ければ、まだ試行を積む段階だと判断できます。なお、Wilson信頼区間は同一条件内の二項比率の目安です。provider・model・日・地域といった条件を混ぜて1本の区間に丸めると解釈が崩れるため、条件ごとに層別して見ることが前提です。

Netsujoの自社ツールSIGNALは、ここまで述べた思想で設計しています。単発スコアではなく反復観測、総合点ではなく段階別指標、点ではなく信頼区間による幅の提示という三点が軸です。ただし、SIGNALは順位やAI掲載を保証するものではありません。あくまで観測を継続し、分布の変化を参考値として把握するための道具です。実践の記録は実践ログにまとめています。測定は魔法ではなく、地道な反復と誠実な但し書きの積み重ねです。