Como acompanhar as menções à sua marca no ChatGPT

Por que checagens manuais isoladas enganam

A inferência de grandes modelos de linguagem não é reproduzível por padrão. Engenheiros do Thinking Machines Lab documentaram que, mesmo com temperatura zero, o agrupamento de requisições e o não determinismo no nível do kernel fazem pedidos idênticos retornarem completações diferentes — o texto deles sobre derrotar o não determinismo na inferência de LLMs explica por que o mesmo prompt varia de uma execução para outra. A API da OpenAI expõe um parâmetro seed de melhor esforço e o controle de temperatura na sua referência de chat completions, mas a interface de consumo do ChatGPT, que você e os seus compradores usam, não expõe nenhum dos dois.

Além da variação de amostragem, o ChatGPT acrescenta personalização. O FAQ sobre memória da OpenAI descreve como o assistente pode levar detalhes de conversas anteriores para conversas novas. Se você passou seis meses falando da sua própria empresa naquela conta, a sua conta é o pior lugar possível para medir se estranhos ouvem falar da sua empresa.

Há também uma camada de recuperação. Quando o ChatGPT busca na web, ele puxa páginas ao vivo e as linka, como a OpenAI descreve no anúncio do ChatGPT search. Duas execuções com segundos de diferença podem recuperar páginas diferentes e, portanto, chegar a conclusões diferentes.

O que está em jogo é o que faz disso mais do que curiosidade. O Pew Research Center constatou que usuários do Google clicaram num link de resultado em 8% das visitas em que apareceu um resumo de IA, contra 15% das visitas sem ele. Quando a resposta absorve o clique, ser nomeado dentro da resposta passa a ser a visibilidade que conta — e você não gerencia isso a partir de um print.

Monte um conjunto de prompts que corresponda às perguntas reais dos compradores

O seu conjunto de prompts é o instrumento. Erre nele e todo número seguinte é ruído. O erro que quase todo mundo comete primeiro é acompanhar prompts com o próprio nome da marca — “a Growli é boa?” — o que não mede nada, porque você já entregou a resposta ao assistente. Acompanhe as perguntas que um comprador faz antes de saber que você existe.

Tire a matéria-prima de onde a linguagem real vive: gravações de ligações de vendas, tíquetes de suporte, os logs de busca do seu site, as perguntas do seu formulário de onboarding e as consultas de cauda longa no Google Search Console. Depois organize-as em quatro famílias.

Mire de 30 a 60 prompts, com peso maior nas famílias que se conectam à sua receita. Escreva como uma pessoa digita, não como um profissional de marketing escreve títulos — “melhor X para times pequenos abaixo de US$ 50/mês”, e não “visão geral de soluções X”. Depois congele a redação. Cada edição zera a linha de base, então mantenha um registro de mudanças e trate um prompt reescrito como um prompt novo, com histórico novo, e não como continuação do antigo.

• Descoberta de categoria: “melhor ferramenta de gestão de projetos para construtoras”, “quem faz auditoria SOC 2 para startups em estágio inicial”.
• Comparação: “X vs Y para grandes empresas”, “alternativas ao X”, “opção mais barata que o X com SSO”.
• Caso de uso e tarefa a resolver: “como migro 40.000 SKUs para um novo PIM”, “ferramenta para acompanhar visibilidade em busca com IA”.
• Objeção e risco: “o X é seguro o bastante para dados de saúde”, “quais fornecedores desta categoria têm suporte ruim”.

Defina a cadência e mantenha as condições constantes

A cadência é um equilíbrio entre confiança estatística e custo. Uma execução por prompt por semana quase não diz nada, porque a variação entre execuções é maior do que a maior parte do movimento semanal que interessa a você. Um piso prático são três execuções por prompt por ciclo, semanalmente, para que a presença seja expressa como taxa — “citado em 7 de 12 execuções” — e não como um binário.

Aumente a frequência em torno de eventos, não de forma permanente: o lançamento de um produto, uma mudança de preço, o anúncio de captação de um concorrente, uma onda de conteúdo novo em sites de avaliação. Entre eventos, semanal basta para ver a direção mantendo a série legível.

As condições importam tanto quanto a frequência. A regra é entediante e inegociável: mude uma coisa de cada vez e nunca mude a configuração da medição e a estratégia de conteúdo na mesma semana.

Registre também a versão do modelo ao lado de cada execução. Atualizações de modelo são a maior fonte isolada de saltos nas respostas de IA, e uma linha de tendência sem anotações de versão vai fazer você correr atrás de problemas de conteúdo que na verdade eram mudanças de plataforma.

• Rode deslogado, ou numa conta limpa com memória e instruções personalizadas desativadas.
• Fixe o idioma e a região por prompt; acompanhe a mesma pergunta em um segundo mercado como um prompt separado, não como variação.
• Use sempre a mesma superfície — a interface web com busca ativada se comporta de forma diferente de uma chamada de API pura.
• Marque tudo com horário em UTC para que os ciclos sejam comparáveis.

Registre cinco campos a cada execução

A presença é a manchete, mas sozinha ela não diz o que fazer a seguir. Registre cinco campos por execução e o diagnóstico costuma se escrever sozinho.

Presença. A marca foi citada? Agregue como proporção das execuções por prompt e depois consolide como proporção no conjunto todo. Esse é o número que você reporta.

Posição. Onde na resposta a menção caiu — primeira opção citada, meio da lista ou uma nota de rodapé depois da recomendação? Os assistentes concentram peso no começo; ser o sexto numa lista de seis está mais perto da ausência do que da presença.

Sentimento e enquadramento. Não só positivo ou negativo, mas o qualificador colado a você: “bom para grandes empresas, mas caro”, “relatórios fortes, integrações limitadas”. Esses qualificadores são o resumo comprimido de tudo o que o assistente leu sobre você, e são o texto mais acionável de todo o conjunto de dados.

Concorrentes citados. Registre todas as outras marcas na resposta. Isso lhe dá a definição real que o assistente tem da sua categoria, que muitas vezes não é a do seu slide de posicionamento, além de uma lista ordenada de para quem você realmente está perdendo espaço na resposta.

Citações. Capture cada URL para a qual a resposta aponta. Essa é a camada causal. Se um concorrente vence um prompt porque uma lista num site de terceiros o coloca em primeiro, o conserto é naquela página — contato, correção, um dado melhor — e não mais um post no seu próprio domínio. A OpenAI documenta seus rastreadores e como publicadores podem controlá-los na sua documentação de bots, que vale revisar antes de concluir que o seu conteúdo está invisível por razões de conteúdo em vez de razões de acesso.

Leia a tendência, não a resposta

Com quatro ou cinco ciclos registrados, pare de ler respostas individuais e comece a ler a série. Três padrões valem ação, e um vale ser ignorado.

Uma alta ou queda sustentada na taxa de presença ao longo de uma família de prompts — digamos, todos os seus prompts de comparação — é sinal real, em geral rastreável a conteúdo de terceiros entrando ou saindo do conjunto de citações. Um salto em todo o conjunto de prompts no mesmo dia é quase sempre uma atualização de modelo; confira as anotações de versão antes de reescrever qualquer coisa. Uma mudança no qualificador colado à sua marca, mesmo com presença estável, é o aviso mais precoce que você terá de que uma narrativa está se formando, e é o mais barato de corrigir.

O que ignorar: movimento de um único prompt em um único ciclo. Isso é ruído de amostragem, e correr atrás disso queima a sua credibilidade com a liderança mais rápido do que reportar movimento nenhum.

Segmente a consolidação por família de prompts antes de apresentá-la. Ser forte em prompts de caso de uso e fraco em descoberta de categoria é um problema completamente diferente do inverso — o primeiro é uma lacuna de posicionamento, o segundo é uma lacuna de cobertura nos lugares de onde os assistentes se abastecem. Aprofundamos o enquadramento diagnóstico no nosso guia sobre visibilidade em IA.

Acompanhamento manual e onde a automação ganha o seu lugar

Dá para fazer isso manualmente. Monte o conjunto de prompts numa planilha, rode três passagens por prompt numa sessão limpa de navegador e registre os cinco campos. Para 30 prompts com três execuções, são 90 conversas para ler e codificar por ciclo — mais ou menos um dia de trabalho concentrado por semana, e a codificação é a parte lenta, porque julgar posição e sentimento com consistência ao longo de 90 respostas é mais difícil do que parece.

Duas coisas quebram o acompanhamento manual em escala. A primeira é a consistência: duas pessoas codificam sentimento de formas diferentes, e uma mesma pessoa codifica diferente numa sexta-feira. A segunda é a cobertura — compradores não usam só o ChatGPT, e um conjunto de prompts medido em um assistente não diz nada sobre Gemini, Perplexity, Claude ou Copilot, que se apoiam em recuperação diferente e citam fontes diferentes.

Foi esse o problema que construímos a Growli para resolver: ela roda o seu conjunto de prompts nos principais assistentes numa agenda, registra presença, posição, sentimento, menções conjuntas de concorrentes e citações da mesma forma em todo ciclo, e transforma as lacunas numa lista priorizada de páginas e fontes para corrigir. Seja qual for o caminho, o método é o mesmo — prompts fixos, execuções repetidas, cinco campos e decisões tomadas por tendências, e não por capturas de tela.

FAQ