Markenerwähnungen in ChatGPT tracken: die Methode

Warum einmalige manuelle Checks in die Irre führen

Die Inferenz großer Sprachmodelle ist standardmäßig nicht reproduzierbar. Ingenieure des Thinking Machines Lab haben dokumentiert, dass selbst bei Temperature null durch Batching und Nichtdeterminismus auf Kernel-Ebene identische Anfragen unterschiedliche Antworten liefern — ihr Beitrag zum Thema Nichtdeterminismus in der LLM-Inferenz erklärt, warum derselbe Prompt von Durchlauf zu Durchlauf abweicht. Die OpenAI-API stellt in ihrer Chat-Completions-Referenz einen `seed`-Parameter auf Best-Effort-Basis sowie die Temperature-Steuerung bereit — die ChatGPT-Oberfläche, die Sie und Ihre Kaufinteressenten nutzen, bietet beides nicht.

Zur Sampling-Varianz kommt bei ChatGPT die Personalisierung. OpenAIs Memory-FAQ beschreibt, wie der Assistent Details aus früheren Unterhaltungen in neue übernehmen kann. Wenn Sie sechs Monate lang in diesem Account über Ihr eigenes Unternehmen gesprochen haben, ist genau dieser Account der schlechteste Ort, um zu messen, was Fremde über Ihr Unternehmen erfahren.

Dazu kommt die Retrieval-Ebene. Wenn ChatGPT im Web sucht, ruft es live Seiten ab und verlinkt sie — so beschreibt OpenAI es in der Ankündigung von ChatGPT search. Zwei Durchläufe im Abstand von Sekunden können unterschiedliche Seiten abrufen und deshalb zu unterschiedlichen Schlüssen kommen.

Warum das mehr als eine Kuriosität ist, zeigt der Einsatz: Das Pew Research Center hat festgestellt, dass Google-Nutzer bei 8 % der Besuche mit KI-Zusammenfassung auf einen Ergebnislink klickten, gegenüber 15 % der Besuche ohne. Wenn die Antwort den Klick absorbiert, wird die Nennung innerhalb der Antwort zur eigentlich relevanten Sichtbarkeit — und die steuern Sie nicht per Screenshot.

Ein Prompt-Set aufbauen, das echten Kauffragen entspricht

Ihr Prompt-Set ist das Messinstrument. Ist es falsch gebaut, ist jede Zahl dahinter Rauschen. Der Fehler, den fast alle zuerst machen: Prompts tracken, die den eigenen Markennamen enthalten — „Ist Growli gut?“. Das misst nichts, weil Sie dem Assistenten die Antwort schon in die Hand gegeben haben. Tracken Sie die Fragen, die Kaufinteressenten stellen, bevor sie von Ihnen wissen.

Das Rohmaterial holen Sie dort, wo echte Sprache entsteht: Aufzeichnungen von Vertriebsgesprächen, Support-Tickets, Ihre Site-Search-Logs, die Fragen aus dem Onboarding-Formular und die Long-Tail-Suchanfragen in der Google Search Console. Daraus formen Sie vier Familien.

Zielen Sie auf 30 bis 60 Prompts, gewichtet nach den Familien, die auf Ihren Umsatz einzahlen. Formulieren Sie so, wie Menschen tippen, nicht wie Marketing-Zwischenüberschriften klingen — „bestes X für kleine Teams unter 50 $ pro Monat“, nicht „Überblick über X-Lösungen“. Und dann: Wortlaut einfrieren. Jede Änderung setzt die Baseline zurück. Führen Sie ein Änderungsprotokoll und behandeln Sie einen umformulierten Prompt als neuen Prompt mit neuer Historie, nicht als Fortsetzung des alten.

• Kategorie-Recherche: „bestes Projektmanagement-Tool für Bauunternehmen“, „wer macht SOC-2-Audits für Start-ups in der Seed-Phase“.
• Vergleich: „X vs. Y für Enterprise“, „Alternativen zu X“, „günstigere Option als X mit SSO“.
• Use Case und konkrete Aufgabe: „wie migriere ich 40.000 SKUs in ein neues PIM“, „Tool zum Tracking von Sichtbarkeit in KI-Suchen“.
• Einwand und Risiko: „ist X sicher genug für Gesundheitsdaten“, „welche Anbieter dieser Kategorie haben schlechten Support“.

Takt festlegen und Bedingungen konstant halten

Der Takt ist ein Kompromiss zwischen statistischer Sicherheit und Aufwand. Ein einzelner Durchlauf pro Prompt und Woche sagt nahezu nichts, weil die Varianz zwischen Durchläufen größer ist als die meisten Wochenveränderungen, die Sie interessieren. Eine praktikable Untergrenze sind drei Durchläufe pro Prompt und Zyklus, wöchentlich — so wird Präsenz als Quote ausgedrückt, „genannt in 7 von 12 Durchläufen“, statt als Binärwert.

Erhöhen Sie die Frequenz anlassbezogen, nicht dauerhaft: bei einem Produktlaunch, einer Preisänderung, der Finanzierungsrunde eines Wettbewerbers, einer Welle neuer Inhalte auf Bewertungsportalen. Zwischen solchen Anlässen genügt wöchentlich, um die Richtung zu sehen und die Zeitreihe lesbar zu halten.

Die Bedingungen zählen genauso viel wie die Frequenz. Die Regel ist langweilig und nicht verhandelbar: immer nur eine Variable ändern — und niemals Mess-Setup und Content-Strategie in derselben Woche.

Halten Sie außerdem zu jedem Durchlauf die Modellversion fest. Modell-Updates sind die größte Einzelursache für Sprünge in KI-Antworten, und eine Trendlinie ohne Versionsvermerke schickt Sie auf die Jagd nach Content-Problemen, die eigentlich Plattformänderungen waren.

• Ausgeloggt arbeiten oder in einem frischen Account mit deaktiviertem Memory und ohne eigene Anweisungen.
• Sprachregion und Sprache pro Prompt fixieren; die gleiche Frage in einem zweiten Markt als eigenen Prompt tracken, nicht als Variante.
• Konsistent dieselbe Oberfläche nutzen — die Weboberfläche mit aktivierter Suche verhält sich anders als ein reiner API-Aufruf.
• Alles mit Zeitstempel in UTC versehen, damit Zyklen vergleichbar sind.

Fünf Felder für jeden Durchlauf protokollieren

Präsenz ist die Schlagzeile, aber Präsenz allein sagt nicht, was als Nächstes zu tun ist. Protokollieren Sie fünf Felder pro Durchlauf, und die Diagnose schreibt sich meist von selbst.

Präsenz. Wurde die Marke überhaupt genannt? Aggregieren Sie zu einem Anteil der Durchläufe pro Prompt und rollen Sie das zu einem Anteil über das gesamte Prompt-Set auf. Das ist die Zahl, die Sie berichten.

Position. An welcher Stelle der Antwort steht die Erwähnung — als erstgenannte Option, mitten in der Liste oder als Fußnote nach der Empfehlung? Assistenten gewichten den Anfang stark; Platz sechs von sechs ist näher an Abwesenheit als an Präsenz.

Tonalität und Framing. Nicht nur positiv oder negativ, sondern das Attribut, das an Ihnen hängt: „gut für Enterprise, aber teuer“, „starkes Reporting, wenige Integrationen“. Diese Attribute sind die komprimierte Zusammenfassung all dessen, was der Assistent über Sie gelesen hat — und der handlungsrelevanteste Text im gesamten Datensatz.

Genannte Wettbewerber. Protokollieren Sie jede andere Marke in der Antwort. Das liefert Ihnen die reale Kategoriedefinition des Assistenten — oft nicht die aus Ihrem Positionierungs-Chart — plus eine Rangliste derjenigen, an die Sie tatsächlich Share of Answer verlieren.

Quellen. Erfassen Sie jede URL, die die Antwort verlinkt. Das ist die Ursachenebene. Wenn ein Wettbewerber einen Prompt gewinnt, weil ein Listicle auf einer Drittseite ihn auf Platz eins führt, liegt der Hebel bei dieser Seite — Outreach, eine Korrektur, ein besserer Datenpunkt — und nicht bei einem weiteren Blogbeitrag auf Ihrer eigenen Domain. OpenAI dokumentiert seine Crawler und die Steuerungsmöglichkeiten für Publisher in der Bots-Dokumentation; ein Blick dort hinein lohnt, bevor Sie schließen, dass Ihre Inhalte aus inhaltlichen statt aus Zugriffsgründen unsichtbar sind.

Den Trend lesen, nicht die Antwort

Wenn vier oder fünf Zyklen protokolliert sind, hören Sie auf, einzelne Antworten zu lesen, und lesen Sie die Zeitreihe. Drei Muster sind handlungsrelevant, eines gehört ignoriert.

Ein anhaltender Anstieg oder Rückgang der Präsenzquote über eine ganze Prompt-Familie — etwa alle Vergleichs-Prompts — ist ein echtes Signal, meist zurückführbar darauf, dass neue Drittinhalte in den Quellenpool eintreten oder ihn verlassen. Ein Sprung über das gesamte Prompt-Set am selben Tag ist fast immer ein Modell-Update; prüfen Sie Ihre Versionsvermerke, bevor Sie irgendetwas umschreiben. Eine Änderung des Attributs, das an Ihrer Marke hängt — selbst bei konstanter Präsenz — ist die früheste Warnung, dass sich ein Narrativ bildet, und am günstigsten zu korrigieren.

Was Sie ignorieren sollten: Bewegung in einem einzelnen Prompt in einem einzelnen Zyklus. Das ist Sampling-Rauschen, und ihm nachzujagen kostet Sie schneller Glaubwürdigkeit in der Geschäftsführung, als „keine Veränderung“ zu berichten.

Segmentieren Sie die Gesamtzahl nach Prompt-Familie, bevor Sie sie präsentieren. Stark bei Use-Case-Prompts und schwach bei der Kategorie-Recherche ist ein völlig anderes Problem als umgekehrt — Ersteres ist eine Positionierungslücke, Letzteres eine Abdeckungslücke an den Orten, aus denen Assistenten ihre Quellen ziehen. Die diagnostische Einordnung vertiefen wir in unserem Leitfaden zu AI Visibility.

Manuelles Tracking — und wo Automatisierung sich rechnet

Sie können das manuell fahren. Prompt-Set in einer Tabelle aufbauen, drei Durchläufe pro Prompt in einer frischen Browser-Session, fünf Felder protokollieren. Bei 30 Prompts mit je drei Durchläufen sind das 90 Konversationen, die pro Zyklus gelesen und codiert werden müssen — grob ein Tag konzentrierter Arbeit pro Woche, wobei das Codieren der langsame Teil ist: Position und Tonalität über 90 Antworten konsistent zu beurteilen, ist schwerer, als es klingt.

Zwei Dinge lassen manuelles Tracking im Maßstab scheitern. Erstens die Konsistenz: Zwei Personen codieren Tonalität unterschiedlich — und eine Person codiert sie freitags anders. Zweitens die Abdeckung: Kaufinteressenten nutzen nicht nur ChatGPT, und ein Prompt-Set, das auf einem Assistenten gemessen wurde, sagt nichts über Gemini, Perplexity, Claude oder Copilot, die auf anderes Retrieval zurückgreifen und andere Quellen zitieren.

Genau dieses Problem lösen wir mit Growli: Growli fährt Ihr Prompt-Set planmäßig über die großen Assistenten, erfasst Präsenz, Position, Tonalität, Co-Nennungen von Wettbewerbern und Quellen in jedem Zyklus nach denselben Regeln und übersetzt die Lücken in eine priorisierte Liste von Seiten und Quellen, an denen Sie arbeiten sollten. Welchen Weg Sie auch wählen — die Methode bleibt dieselbe: feste Prompts, wiederholte Durchläufe, fünf Felder und Entscheidungen auf Basis von Trends statt Screenshots.

FAQ