Der robots.txt-Entscheidungsrahmen für KI-Crawler

robots.txt kurz erklärt: ein echter Standard, kein Vorschlag

robots.txt ist eine reine Textdatei im Stammverzeichnis einer Website, die besuchender Software mitteilt, welche Teile der Website sie crawlen darf und welche nicht. Es ist keine proprietäre Erfindung von Google — es ist formell standardisiert als das Robots Exclusion Protocol, RFC 9309, veröffentlicht durch die Internet Engineering Task Force, das Gremium, das die grundlegende Funktionsweise des Internets standardisiert.

Jeder wichtige KI-Crawler-Betreiber gibt an, diese Datei für seine automatisierten Crawling-Bots zu respektieren — OpenAI für GPTBot und OAI-SearchBot, Anthropic für ClaudeBot und Claude-SearchBot und Perplexity für PerplexityBot sagen dies alle in ihrer eigenen Dokumentation. Die nutzerausgelösten Bots — ChatGPT-User, Claude-User, Perplexity-User — sind die Ausnahme, da sie auf die direkte Anfrage einer bestimmten Person reagieren.

Frage eins: Möchten Sie, dass KI-Assistenten Sie empfehlen?

Das klingt offensichtlich, aber es lohnt sich, es klar auszusprechen, denn die ehrliche Antwort unterscheidet sich je nach Unternehmen. Ein Zahnarzt, ein Klempner, ein lokales Restaurant — fast jedes Unternehmen, dessen Kunden Freunde und zunehmend KI-Assistenten fragen, „wen sollte ich beauftragen“ — möchte in der Regel, dass die Antwort Ja lautet. Ein Unternehmen, das auf Exklusivität oder einem eng kontrollierten Verkaufsprozess aufbaut, könnte echte Gründe haben, Nein zu sagen.

Wenn die Antwort Ja lautet, spricht das dafür, die Crawler zuzulassen, die die Antworten eines Assistenten speisen: die Trainings-Crawler, die einem Modell Ihre Existenz beibringen, und die suchähnlichen Crawler, die es ihm ermöglichen, Sie direkt zu zitieren.

Frage zwei: Bringt Ihnen dieser Inhalt direkt Geld ein?

Manche Inhalte existieren rein, um gefunden und gelesen zu werden — eine Leistungsseite, ein Blogbeitrag, FAQ. Andere Inhalte sind das Produkt selbst: die abonnentenexklusiven Artikel eines Nachrichtenverlags, die Premium-Dokumentation eines SaaS-Unternehmens, die detaillierten Angebote eines Marktplatzes. Inhalte der zweiten Kategorie verdienen eine vorsichtigere Antwort, denn sie das Modell eines anderen trainieren zu lassen, verschenkt genau das, was Sie verkaufen wollen, statt es zu bewerben.

Diese Frage teilt eine einzelne Website oft in zwei unterschiedliche Antworten: Die Marketingseiten sagen Ja zum Crawlen, und die bezahlten oder proprietären Inhalte sagen Nein — was völlig legitim ist, da robots.txt-Regeln für bestimmte Pfade geschrieben werden können, nicht nur für die gesamte Website.

Frage drei: Können Sie das tatsächlich pflegen?

Eine robots.txt-Datei, die heute zehn bestimmte Bots namentlich nennt, ist an dem Tag veraltet, an dem ein elfter startet. Wenn niemand in Ihrem Team diese Datei alle paar Monate erneut prüfen wird, schlägt eine einfachere, dauerhaftere Richtlinie — die gut dokumentierten großen Crawler als Kategorie erlauben, zweimal im Jahr überprüfen — ein aufwendiges Regelwerk, das niemand pflegt.

Realistisch mit Ihrer eigenen Wartungskapazität umzugehen ist kein Kompromiss; eine Richtlinie, die Sie tatsächlich aktuell halten können, schützt Sie besser als eine ambitionierte, die innerhalb eines Jahres veraltet.

Den Rahmen an drei echten Unternehmen durchspielen

Ein lokaler Klempner beantwortet Frage eins mit Ja (möchte KI-Empfehlungen), Frage zwei gilt kaum (eine Leistungsseite verdient nichts, wenn sie geheim gehalten wird), und Frage drei ist einfach (es gibt wenig zu pflegen). Der Rahmen führt eindeutig zu: die großen Crawler breit erlauben.

Ein SaaS-Unternehmen beantwortet Frage eins für seine Marketing-Website und seinen öffentlichen Blog mit Ja, aber ein vorsichtiges Nein zu Frage zwei für seine Premium-Dokumentation und produktinternen Hilfeinhalte, deren Zugang es verkauft. Seine robots.txt endet mit zwei unterschiedlichen Regeln für zwei unterschiedliche Teile derselben Domain — offene Marketingseiten, geschlossene bezahlte Dokumentation.

Ein Nachrichtenverlag gibt oft die vielschichtigste Antwort: Ja zu Frage eins für seine kostenlosen Artikel, da Zitate echte Leserwahrnehmung schaffen, aber ein klares Nein zu Frage zwei für kostenpflichtige Rechercharbeit, von der sein Geschäft abhängt. Weil Google-Extended und seine Entsprechungen bei anderen Unternehmen Training von Sichtbarkeit in der Suche trennen, kann ein Verlag plausibel das suchähnliche Crawlen kostenloser Inhalte erlauben und gleichzeitig ablehnen, dass derselbe Inhalt zum Modelltraining verwendet wird.

FAQ