AI可視性の測り方

ChatGPT、Gemini、Google AI Overviewsなどの生成AIは、同じ質問を投げても、実行のたびに出力が変わることがあります。引用元の顔ぶれ、自社への言及の有無、表現の細部まで、毎回そろうとは限りません。これはサンプリングやモデル更新、Web検索の有無といった要因が絡むためで、バグではなく生成AIの仕様に近い挙動です。APIで温度やseedを固定すれば再現性を上げられる場合もありますが、通常の検索利用ではこの変動が前提になります。つまり1回の観測は、ばらつく母集団から取り出した1サンプルにすぎません。1サンプルから全体像を語るのは、統計的に無理があります。

測り方の出発点は、条件を記録して固定することです。AI可視性は、特定の条件のもとで得られた観測結果です。比較する場合は、少なくとも次の項目をそろえて残します。この組み合わせが、その観測を識別する単位になります。

• 質問文と質問の目的：何を知りたい質問なのかを言語化して残す

• 質問セットの版：質問を追加・変更したら版を改め、どの版の結果かを残す

• 指名／非指名：会社名を含む質問か、カテゴリで探す質問か

• 言語（ロケール）：ja-JP、en-US、en-GBのように地域の表記まで残す。同じ英語でも別の条件として扱う

• 対象の国・地域：指定した地域と、実際に確認できた地域を別々に記録する

• 対象業種：候補集合が変わるため必ず分けて記録する

• 使用したAIサービス：どのサービス・どの経路で観測したか

• モデルまたはモード：同じサービスでも出力が変わるため区別する

• 検索機能の有無：Web検索を使ったかどうかで引用元が変わる

• 実行日時と実行回数：いつ・何回観測したかを分母として残す

• 根拠URL：回答が参照した公開URLを、観測時点の証拠として結果と一緒に残す

たとえば、「京都でAI開発を相談できる会社」と「製造業のRAG導入を相談できる会社」では、候補集合が異なります。質問を一括して平均すると、どの市場で見つかっているかが分からなくなります。条件を変えながら繰り返し観測すると、1点の数値ではなく「どのくらいの観測率で、どんなばらつきで登場するか」が見えてきます。引用元URLの記録方法や、Search Consoleと外部AIの引用観測を分けて追跡する実務はGoogle AI機能の計測方法で扱っています。

指定した条件と、確認できた条件を分ける

言語や地域の指定は、観測への入力です。AIサービスがその地域の検索結果や情報源を実際に使ったかどうかは、別に確かめる必要があります。回答や引用元から確認できなければ「不明」と記録し、指定した地域で観測できたとは書きません。指定した値を、確認できた値の欄へ流用しないことが前提です。

市場の条件が違う観測を、同じ系列に混ぜない

言語、国や地域、AIサービス、モデル、検索モード、質問セットの版のどれかが違う観測は、別の系列として扱います。たとえばen-US（米国）とen-GB（英国）は同じ英語ですが、候補になる企業や参照される情報源が同じになるとは限らず、どこまで違うかは観測するまで分かりません。二つを平均して一本の推移にすると、数値の変化が施策によるものか、条件の違いによるものかを区別できなくなります。日本語・日本市場での観測結果を、海外市場でも同じ傾向になる根拠として読み替えることも避けます。

ここでいう地域は、指定した地域と、AIサービス側で確認できた地域という別々の項目です。同じ系列かどうかを判断するときは、両方を照合します。確認できた地域が分かっている場合、指定した地域が同じでも、確認できた地域が違う観測は同じ系列として比べません。確認できた地域が不明な場合は「不明」を一つの状態として扱い、ほかの条件がすべて同じで、確認できた地域も不明な観測とだけ比べます。確認できた地域がそろった系列へ、不明な観測を黙って混ぜることはしません。これは比較の単位を分けるための扱いです。確認できた地域が不明でも、結果を判定できた観測を無効にする理由にはならず、分母の扱いは次に述べるとおりです。

実行できなかった観測も同じ考え方で扱います。言語と地域の組み合わせに対応していない、AIサービス側が地域の指定を受け付けない、実行が失敗した。こうした観測を「言及0回」として集計すると、見つからなかった結果と測れなかった結果が混ざります。対象の市場に対応していない観測、地域の指定を受け付けられなかった観測、実行に失敗した観測、回答の結果そのものを判定できない観測は、言及0回として数えず、観測率の分母にも入れず、状態ごとの件数として残します。一方、AIサービスが実際に使った地域を確認できず「不明」のままでも、指定・記録した条件のもとで回答の結果を判定できる観測は有効な観測です。確認できた地域の欄は「不明」のまま残し、分母には含めます。対応していない言語を、別の言語へ黙って置き換えて観測しないことも、観測ルールの前提とします。

AI可視性という言葉には、複数の状態が含まれます。混ぜて一つの点数にすると、改善箇所を判断できません。

• 言及：回答本文に会社名やサービス名が出ること

• 推薦：候補として選ばれ、利用者の条件に合う理由が説明されること

• 引用：情報源として自社URLが表示されること

• 内容反映：自社ページに書かれた特徴、料金、実績などが回答へ使われること

• 正確性：会社名、サービス、料金、対象顧客などが正しく説明されること

• 行動：回答を見た利用者がサイトへ移動し、問い合わせること

この状態を観測できる形に置き換えたものが、次の指標です。Netsujo SIGNALでは、反復観測の集計を行う分析側で、この6指標を観測単位として扱っています。スキャン単体で機械判定しているのは、このうち言及と公式サイト引用にあたる部分です。

• 言及率（mention rate）：AI回答に自社やブランドが登場した観測率

• 引用選択率（citation selection rate）：引用元として選ばれた観測率

• 引用吸収率（citation absorption rate）：引用が実際に回答本文の内容へ反映された観測率

• 裏付け主張率（supported claim rate）：検証可能で裏づけのある主張の観測率

• 回答エンティティ一貫性（answer entity consistency）：回答内での自社情報の一貫性

• 競合の同時出現（competitor inclusion）：競合が同時に言及される度合い

なお、引用選択率・引用吸収率（citation selection rate / citation absorption rate）は、検索エンジンやAIベンダーが定義した公式・業界標準の指標ではありません。診断のために本稿で区分する操作的な指標です。定義や測り方は運用者ごとに差があり得る前提で扱ってください。

引用元に選ばれることと、その内容が回答本文へ反映されることは別の現象です。この違いは引用と回答反映の違いで詳しく整理しています。段階を分けることで、どの層でつまずいているかが切り分けられます。

複数の指標を一つにまとめて表示する場合は、次の項目を同時に公開します。公開しないまま点数だけを出すと、受け取る側が意味を検算できません。

• 構成指標と重み

• 対象質問と対象エンジン

• 対象の言語と国・地域

• 実行回数

• 欠測の扱い

• 更新日

• スコアが表さない範囲

総合スコアは、月次の変化を一覧する補助には使えます。しかし、改善施策の選定には段階別指標を使います。たとえば、引用率が高くても、料金情報が誤っていれば正確性の改善が必要です。引用率が高くても問い合わせが発生しなければ、CTAやサービス説明を見直す必要があります。

AI可視性の月次レポートは、次の項目で足ります。

• 対象期間

• 質問群と目的

• エンジン・言語・地域と回数

• 未対応・地域指定の拒否・実行失敗・結果判定不能の件数（観測率の分母に含めない）

• 確認できた地域が「不明」の観測の件数（結果を判定できていれば分母に含める）

• 言及率・引用率・正確率

• 誤回答の内容

• 前月との差

• 信頼区間または不確実性

• 公開した変更

• 次に直すページ

• 判断を保留する項目

二つの「不明」は分けて数えます。確認できた地域が不明な観測は、回答の結果を判定できていれば観測率の分母に入ります。回答の結果を判定できない観測は分母から外し、件数だけを残します。一つの「不明」にまとめると、どの観測を分母に入れ、どれを外したのかを後から確かめられなくなります。

「点数が上がった」という報告より、「どの質問で、どの段階が変わり、次に何を直すか」が分かる方が実装につながります。