ChatGPTでの自社ブランドの言及を追跡する方法

一度きりの手作業の確認が誤らせる理由

大規模言語モデルの推論は、既定では再現できません。Thinking Machines Labの技術者たちは、温度をゼロにしてもバッチ処理やカーネル水準の非決定性によって同一のリクエストが異なる出力を返すことを記録しています。彼らのLLM推論における非決定性を打ち負かすという記事は、同じプロンプトが実行ごとに揺れる理由を説明しています。OpenAIのAPIは最善努力のseedパラメーターと温度の制御をチャット補完のリファレンスで公開していますが、あなたと買い手が使う消費者向けのChatGPTの画面はそのどちらも公開していません。

サンプリングの分散に加えて、ChatGPTはパーソナライズを重ねます。OpenAIのメモリーに関するよくある質問は、アシスタントが過去の会話の細部を新しい会話へ持ち越し得ることを説明しています。そのアカウントで半年にわたり自社の話をしてきたのなら、見知らぬ人が自社の話を聞くかどうかを測る場所として、あなたのアカウントは最悪です。

取得の層もあります。ChatGPTがウェブを検索するとき、生きたページを引き寄せてリンクします。OpenAIがChatGPT searchの発表で説明している通りです。数秒しか離れていない2回の実行が、別々のページを取得し、したがって別々の結論に至ることがあります。

これが好奇心の域を超えて重要なのは、賭けの大きさゆえです。Pew Research Centerは、Googleの利用者が結果のリンクをクリックしたのはAIの要約が現れた訪問の8%、現れなかった訪問の15%だったと報告しています。回答がクリックを吸収するとき、意味を持つ可視性は回答の内側で名指しされることになります。そしてそれはスクリーンショットからは管理できません。

実際の買い手の問いに合ったプロンプト群を作る

プロンプト群は測定器です。これを誤れば、その先の数字はすべて雑音になります。ほとんどの人が最初にする間違いは、自社のブランド名を含むプロンプト、たとえば「Growliは良いか」を追跡することです。これは何も測っていません。アシスタントにすでに答えを渡してしまっているからです。追跡すべきは、買い手があなたの存在を知る前に尋ねる問いです。

素材は、生きた言葉が置かれている場所から引いてください。営業電話の録音、サポートのチケット、自社サイトの検索ログ、オンボーディングのフォームに書かれた質問、そしてGoogle Search Consoleの長い裾の検索語です。それらを4つの系統に整えます。

目安は30〜60本で、自社の売上に対応する系統に重みを置きます。マーケターが見出しを書くようにではなく、人が打ち込むように書いてください。「Xのソリューション概要」ではなく「月50ドル以下で小規模チームに最適なX」です。そして文面を凍結します。編集のたびに基準線がリセットされるので、変更履歴を残し、言い換えたプロンプトは古いものの続きではなく、新しい履歴を持つ新しいプロンプトとして扱ってください。

• カテゴリーの発見。 「建設会社に最適なプロジェクト管理ツール」「シード期のスタートアップにSOC 2監査を提供しているのは誰か」。
• 比較。 「エンタープライズならXとYのどちら」「Xの代替」「SSO付きでXより安い選択肢」。
• 用途と片づけたい仕事。 「4万点のSKUを新しいPIMへ移行するには」「AI検索での可視性を追跡するツール」。
• 反論とリスク。 「Xは医療データに十分安全か」「このカテゴリーでサポートが悪いベンダーはどこか」。

周期を決め、条件を一定に保つ

周期は、統計的な確からしさと費用のあいだの取引です。プロンプトごとに週1回の実行ではほとんど何も分かりません。実行間の分散が、あなたが気にする週ごとの動きより大きいからです。実務上の下限は、周期あたりプロンプトごとに3回、週次です。そうすれば掲載は二択ではなく「12回中7回で名指し」といった割合として表せます。

頻度を上げるのは恒久的にではなく、出来事のまわりだけにしてください。製品の投入、価格の変更、競合の資金調達の発表、レビューサイトの新しい内容が押し寄せたとき、などです。出来事の合間は週次で十分に方向が見え、系列も読みやすいままです。

条件は頻度と同じくらい重要です。規則は退屈で、交渉の余地がありません。一度に一つだけ変えること。そして測定の設定とコンテンツの戦略を同じ週に変えないことです。

あわせて、毎回の実行にモデルのバージョンも記録してください。モデルの更新はAIの回答における段差の最大の原因であり、バージョンの注記のない傾向線は、実はプラットフォームの変更だったものをコンテンツの問題として追わせることになります。

• ログアウトして実行するか、メモリーとカスタム指示を無効にした清浄なアカウントで実行する。
• プロンプトごとにロケールと言語を固定する。同じ問いを別の市場で追うなら、変種ではなく別のプロンプトとして扱う。
• 面を一貫させる。検索を有効にしたウェブの画面は、素のAPI呼び出しとは挙動が違う。
• 周期を比較できるよう、すべてUTCで時刻を記録する。

毎回の実行で5つの項目を記録する

掲載は見出しですが、掲載だけでは次に何をすべきかは分かりません。実行ごとに5つの項目を記録すれば、たいてい診断はひとりでに書き上がります。

掲載。 そもそもブランドの名前は挙がったか。プロンプトごとの実行に占める割合に集計し、さらにプロンプト群全体の割合へまとめます。これが報告する数字です。

位置。 その言及は回答のどこに着地したか。最初に挙がった選択肢か、一覧の中ほどか、推薦のあとの脚注か。アシスタントは前に重みを置きます。6つの一覧の6番目は、掲載よりも不在に近いのです。

評価と枠づけ。 肯定か否定かだけでなく、あなたに付けられた但し書きです。「エンタープライズには良いが高い」「レポートは強いが連携が限られる」。これらの但し書きは、アシスタントがあなたについて読んだすべてを圧縮した要約であり、このデータ全体でいちばん行動に移しやすいテキストです。

名前の挙がった競合。 回答に出てきた他のブランドを残らず記録します。これはアシスタントによるあなたのカテゴリーの実際の定義を与えてくれます。それはしばしば自社のポジショニング資料に書かれたものとは違います。加えて、誰に回答内の取り分を奪われているのか、順位付きの一覧が得られます。

引用。 回答がリンクしたすべてのURLを捕まえます。ここが因果の層です。第三者サイトのまとめ記事が競合を1位に挙げているせいでそのプロンプトを取られているなら、直すべきはそのページであり、働きかけ、訂正、より良いデータであって、自社ドメインにもう一本ブログを足すことではありません。OpenAIは自社のクローラーと、出版者がそれをどう制御できるかをボットのドキュメントに記載しています。自社コンテンツが見えないのはアクセスの問題ではなく内容の問題だと結論づける前に、目を通しておく価値があります。

回答ではなく、傾向を読む

4、5周期分を記録したら、個々の回答を読むのをやめて系列を読み始めてください。手を打つ価値のあるパターンが3つ、無視する価値のあるものが1つあります。

あるプロンプトの系統、たとえば比較のプロンプト全体にわたる掲載率の持続的な上昇や下落は本物の信号で、たいていは第三者の新しいコンテンツが引用の池に入ったり出たりしたことにたどれます。同じ日にプロンプト群全体で起きる段差は、ほぼ必ずモデルの更新です。何かを書き直す前にバージョンの注記を確認してください。掲載が横ばいでも、ブランドに付く但し書きが変わったなら、それは物語が形になりつつあることを知らせる最も早い警告であり、直すのが最も安上がりです。

無視すべきもの。単一のプロンプト、単一の周期での動きです。それは標本の雑音であり、それを追いかけると、動きなしと報告するよりも早く経営陣の信頼を焼き尽くします。

提示する前に、集計をプロンプトの系統ごとに切り分けてください。用途のプロンプトに強くカテゴリーの発見に弱いのは、その逆とはまったく別の問題です。前者は位置づけの穴、後者はアシスタントが情報を取る場所での網羅の穴です。診断の枠組みはAI可視性の解説でより深く扱っています。

手作業での追跡と、自動化が居場所を得るところ

これは手作業でも回せます。プロンプト群を表計算に作り、清浄なブラウザーのセッションでプロンプトごとに3回実行し、5項目を記録します。30本のプロンプトを3回ずつなら、周期ごとに読んで符号化する会話は90本です。週にほぼ丸一日の集中作業で、遅いのは符号化のほうです。90本の回答にわたって位置と評価を一貫して判断するのは、聞こえるより難しいのです。

手作業での追跡は、規模が大きくなると2つの理由で破綻します。1つ目は一貫性です。二人は評価を別々に符号化しますし、一人でも金曜日には別々に符号化します。2つ目は網羅です。買い手はChatGPTだけを使うわけではなく、1つのアシスタントで測ったプロンプト群は、Gemini、Perplexity、Claude、Copilotについては何も教えてくれません。これらは別の取得に依拠し、別の出典を引用します。

これこそ私たちがGrowliを作って解こうとした問題です。あなたのプロンプト群を主要なアシスタント全体で定期的に実行し、掲載、位置、評価、競合の共起、引用を毎周期同じやり方で記録し、そのギャップを直すべきページと出典の優先順位付き一覧に変えます。どの道を選ぶにせよ、方法は同じです。固定したプロンプト、繰り返しの実行、5つの項目、そしてスクリーンショットではなく傾向に基づく判断です。

FAQ