Come monitorare le menzioni del brand su ChatGPT

Perché i controlli manuali sporadici ingannano

L'inferenza dei large language model non è riproducibile per impostazione predefinita. Gli ingegneri di Thinking Machines Lab hanno documentato che anche a temperatura zero il batching e il non determinismo a livello di kernel fanno sì che richieste identiche restituiscano completamenti diversi: il loro approfondimento su come sconfiggere il non determinismo nell'inferenza LLM spiega perché lo stesso prompt deriva da un'esecuzione all'altra. L'API di OpenAI espone un parametro seed su base best-effort e il controllo della temperatura nella sua documentazione delle chat completions, ma l'interfaccia consumer di ChatGPT — quella che usi tu e usano i tuoi buyer — non espone né l'uno né l'altro.

Alla varianza di campionamento ChatGPT aggiunge un livello di personalizzazione. Le FAQ sulla memoria di OpenAI descrivono come l'assistente possa riportare dettagli di conversazioni precedenti in quelle nuove. Se hai passato sei mesi a parlare della tua azienda in quell'account, il tuo account è il posto peggiore in assoluto per misurare se gli sconosciuti sentono parlare di te.

C'è poi il livello di recupero delle informazioni. Quando ChatGPT cerca sul web, richiama pagine live e le linka, come spiega OpenAI nell'annuncio di ChatGPT search. Due esecuzioni a pochi secondi di distanza possono recuperare pagine diverse e quindi arrivare a conclusioni diverse.

La posta in gioco è ciò che rende il tema più di una curiosità. Il Pew Research Center ha rilevato che gli utenti di Google hanno cliccato su un link nei risultati nell'8% delle visite in cui compariva una sintesi AI, contro il 15% delle visite senza. Quando la risposta assorbe il clic, essere nominati dentro la risposta diventa la visibilità che conta — e da uno screenshot non la puoi governare.

Costruisci un set di prompt che rispecchi le vere domande dei buyer

Il set di prompt è lo strumento di misura. Se lo sbagli, ogni numero a valle è rumore. L'errore che quasi tutti commettono all'inizio è monitorare prompt che contengono il proprio nome — “Growli è valido?” — che non misura nulla, perché hai già consegnato la risposta all'assistente. Monitora le domande che un buyer si pone prima di sapere che esisti.

Prendi la materia prima dove vive il linguaggio reale: registrazioni delle call commerciali, ticket di supporto, log della ricerca interna al sito, le domande del form di onboarding e le query a coda lunga in Google Search Console. Poi organizzale in quattro famiglie.

Punta a 30-60 prompt, pesati sulle famiglie che si collegano al tuo giro d'affari. Scrivili come li digita una persona, non come un marketer scrive i titoli: “miglior X per piccoli team sotto i 50 $ al mese”, non “panoramica delle soluzioni X”. Poi congela le formulazioni. Ogni modifica azzera la baseline, quindi tieni un changelog e considera un prompt riscritto come un prompt nuovo con una storia nuova, non come la continuazione del precedente.

• Scoperta di categoria: “miglior software di project management per imprese edili”, “chi fa audit SOC 2 per startup in fase seed”.
• Confronto: “X vs Y per l'enterprise”, “alternative a X”, “opzione più economica di X con SSO”.
• Caso d'uso e obiettivo da raggiungere: “come migro 40.000 SKU su un nuovo PIM”, “tool per monitorare la visibilità nelle ricerche AI”.
• Obiezione e rischio: “X è abbastanza sicuro per i dati sanitari”, “quali fornitori di questa categoria hanno un supporto scadente”.

Decidi la cadenza e mantieni costanti le condizioni

La cadenza è un compromesso tra affidabilità statistica e costo. Una sola esecuzione per prompt a settimana non dice quasi nulla, perché la varianza tra esecuzioni è più ampia della maggior parte delle variazioni settimana su settimana che ti interessano. Una soglia minima pratica sono tre esecuzioni per prompt per ciclo, con cadenza settimanale, così la presenza si esprime come tasso — “citato in 7 esecuzioni su 12” — e non come valore binario.

Aumenta la frequenza attorno agli eventi, non in modo permanente: il lancio di un prodotto, un cambio di prezzo, l'annuncio di un round di un competitor, un'ondata di nuovi contenuti sui siti di recensioni. Tra un evento e l'altro, la cadenza settimanale è sufficiente per vedere la direzione mantenendo la serie leggibile.

Le condizioni contano tanto quanto la frequenza. La regola è noiosa e non negoziabile: cambia una cosa alla volta e non modificare mai il setup di misurazione e la strategia di contenuto nella stessa settimana.

Registra inoltre la versione del modello per ogni esecuzione. Gli aggiornamenti dei modelli sono di gran lunga la prima causa di salti improvvisi nelle risposte AI, e una linea di trend senza annotazioni di versione ti farà rincorrere problemi di contenuto che in realtà erano cambiamenti di piattaforma.

• Esegui da sessione non autenticata, oppure in un account pulito con memoria e istruzioni personalizzate disattivate.
• Fissa lingua e area geografica per ogni prompt; monitora la stessa domanda in un secondo mercato come prompt separato, non come variante.
• Usa sempre la stessa superficie: l'interfaccia web con la ricerca attiva si comporta in modo diverso da una semplice chiamata API.
• Marca tutto con timestamp in UTC, così i cicli restano confrontabili.

Registra cinque campi per ogni esecuzione

La presenza è il dato di apertura, ma da sola non ti dice cosa fare dopo. Registra cinque campi per ogni esecuzione e la diagnosi di solito si scrive da sé.

Presenza. Il brand è stato nominato, sì o no? Aggrega come quota di esecuzioni per prompt, poi consolida come quota sull'intero set. È il numero che riporti.

Posizione. In quale punto della risposta cade la menzione: prima opzione nominata, in mezzo all'elenco o in coda dopo la raccomandazione? Gli assistenti concentrano il peso all'inizio: essere sesti in un elenco di sei è più vicino all'assenza che alla presenza.

Sentiment e inquadramento. Non solo positivo o negativo, ma la qualifica che ti viene attribuita: “buono per l'enterprise ma costoso”, “reportistica solida, integrazioni limitate”. Quelle qualifiche sono la sintesi compressa di tutto ciò che l'assistente ha letto su di te e sono il testo più azionabile dell'intero dataset.

Competitor citati. Registra ogni altro brand presente nella risposta. Ti dà la definizione reale della tua categoria secondo l'assistente — che spesso non è quella della tua slide di posizionamento — più una classifica di chi ti sta effettivamente sottraendo quota di risposta.

Fonti citate. Cattura ogni URL linkato nella risposta. È il livello causale. Se un competitor vince un prompt perché una listicle su un sito terzo lo mette al primo posto, l'intervento riguarda quella pagina — outreach, una correzione, un dato migliore — non un altro articolo sul tuo blog. OpenAI documenta i propri crawler e come gli editori possono controllarli nella sua documentazione sui bot: vale la pena leggerla prima di concludere che i tuoi contenuti sono invisibili per ragioni di qualità e non di accesso.

Leggi il trend, non la risposta

Con quattro o cinque cicli registrati, smetti di leggere le singole risposte e inizia a leggere la serie. Tre pattern meritano un'azione, uno merita di essere ignorato.

Una crescita o un calo persistenti del tasso di presenza su un'intera famiglia di prompt — per esempio tutti i prompt di confronto — sono un segnale reale, di norma riconducibile a nuovi contenuti di terze parti che entrano o escono dal bacino delle fonti citate. Un salto improvviso su tutto il set nello stesso giorno è quasi sempre un aggiornamento del modello: controlla le annotazioni di versione prima di riscrivere qualsiasi cosa. Un cambio nella qualifica associata al tuo brand, anche a presenza invariata, è il primo campanello d'allarme che avrai sulla formazione di una narrativa, ed è anche il più economico da correggere.

Cosa ignorare: le variazioni su un singolo prompt in un singolo ciclo. È rumore di campionamento, e rincorrerlo brucia credibilità con il management più velocemente che riportare nessun movimento.

Segmenta il consolidato per famiglia di prompt prima di presentarlo. Essere forti sui prompt di caso d'uso e debolissimi sulla scoperta di categoria è un problema completamente diverso dal caso opposto: il primo è un gap di posizionamento, il secondo è un gap di copertura nei luoghi da cui gli assistenti attingono. Approfondiamo l'inquadramento diagnostico nella nostra guida alla visibilità AI.

Monitoraggio manuale e dove l'automazione si guadagna il posto

Puoi farlo a mano. Costruisci il set di prompt in un foglio di calcolo, esegui tre passaggi per prompt in una sessione browser pulita e registra i cinque campi. Con 30 prompt e tre esecuzioni, sono 90 conversazioni da leggere e codificare per ciclo: più o meno una giornata di lavoro concentrato a settimana, e la parte lenta è la codifica, perché giudicare posizione e sentiment in modo coerente su 90 risposte è più difficile di quanto sembri.

Due cose fanno saltare il monitoraggio manuale su volumi seri. La prima è la coerenza: due persone codificano il sentiment in modo diverso, e la stessa persona lo codifica in modo diverso il venerdì. La seconda è la copertura: i buyer non usano solo ChatGPT, e un set di prompt misurato su un solo assistente non ti dice nulla su Gemini, Perplexity, Claude o Copilot, che attingono a sistemi di recupero diversi e citano fonti diverse.

È il problema per cui abbiamo costruito Growli: esegue il tuo set di prompt sui principali assistenti secondo una pianificazione, registra presenza, posizione, sentiment, co-menzioni dei competitor e fonti citate sempre nello stesso modo a ogni ciclo, e trasforma i gap in un elenco prioritizzato di pagine e fonti su cui intervenire. Qualunque strada scegli, il metodo resta lo stesso: prompt fissi, esecuzioni ripetute, cinque campi e decisioni basate sui trend, non sugli screenshot.

FAQ