Eine bescheidene Verteidigung des Prompt-Trackings

Es gibt ein wachsendes Genre von Artikeln respektierter Namen aus SEO und Marketing, die AI-Visibility-Tools skeptisch sehen. Manche sind abwägend. Manche sind offen ablehnend. Einer stammt sogar von uns. Der bislang nützlichste ist ein aktueller Beitrag mit 31 Methodikfragen an Prompt-Tracking-Plattformen, mit der Begründung: Die Anbieter stellen die positive Behauptung auf, also liegt die Beweislast bei den Anbietern.

Das stimmt. Sie liegt bei uns.

Das hier ist also eine Verteidigung des Prompt-Trackings, aber eine bescheidene. Bescheiden, weil die Kritiker in vielem recht haben. Es gibt Schlangenöl-Verkäufer in dieser Kategorie. Es gibt keinen Branchenstandard dafür, wie Daten erhoben oder berichtet werden. Es gibt Dashboards, die Kunden eine Bewegung von drei Punkten beim Share of Voice als Erfolg verkaufen, ohne dass diese Kunden wissen können, dass die Fehlermarge der Zahl größer ist als die Bewegung. Wenn du AI-Visibility-Software verkaufst und nichts davon wehtut, passt du nicht auf.

Aber „diese Branche hat echte Probleme" und „diese Messung ist wertlos" sind zwei verschiedene Behauptungen. Die erste ist wahr. Die zweite passt nicht dazu, wie jedes andere Messwerkzeug funktioniert, dem Marketer vertrauen.

Key Takeaways

• Die Datenquellen, denen SEO-Profis vertrauen (SERPs, Search Console, GA4, Ahrefs, Semrush), lassen sich günstig und skalierbar ausliefern, weil sie gecacht sind. AI-Antworten lassen sich nicht cachen; jede Beobachtung kostet eine frische Generierung. Das ist ein struktureller Unterschied, keine Frage der Reife. Und es ist ein großer Teil der Antwort darauf, warum diese Tools teuer sind, ein weiterer häufiger Kritikpunkt.
• Auch die vertrauten Quellen basieren auf Stichproben und Modellen. Der Unterschied: Sie hatten Jahre, um ihre Einschränkungen zu normalisieren.
• Niemand in dieser Branche hat First-Party-Daten über Prompts, und die Versionen, die zum Verkauf stehen, sollte niemand wollen.
• Wir haben uns selbst an allen 31 Methodikfragen gemessen: einige sind mit veröffentlichter Forschung beantwortet, einige werden gerade getestet, einige beantwortet unsere Dokumentation, und einige kann niemand jemals für sich beanspruchen.

Cache rules everything around me

Fangen wir mit der Frage an, die unter der ganzen Debatte liegt: Warum fühlen sich AI-Visibility-Daten so viel wackliger an als die SEO-Daten, denen alle längst vertrauen?

Weil die SEO-Daten, denen du vertraust, gecacht sind.

Eine SERP wird einmal generiert und millionenfach ausgeliefert. Die Google Search Console gibt dir einen vor-aggregierten Export von Dingen, die bereits passiert sind. GA4 verarbeitet Events zu Tabellen, lange bevor du einen Report öffnest. Ahrefs und Semrush crawlen, verarbeiten und speichern Linkgraph und Rankingdaten des Webs, sodass deine Abfrage eine Datenbank trifft, nicht das Live-Web. Caching macht diese Produkte günstig, schnell und konsistent. Stell dieselbe Frage zweimal, triff zweimal dieselbe gespeicherte Antwort, und die Daten fühlen sich solide an.

AI-Antworten funktionieren so nicht. Jede Antwort wird frisch generiert, pro Anfrage, zu echten Compute-Kosten. Es gibt keine gespeicherte Antwort, gegen die du deine Marke prüfen könntest. Der einzige Weg zu beobachten, wie ein Assistent über deine Kategorie spricht: ihn fragen, die Generierung bezahlen und festhalten, was zurückkam. Frag noch einmal, und du bekommst womöglich etwas anderes, weil das System selbst nichtdeterministisch ist.

Das hat zwei Konsequenzen, die Kritiker gern als Versagen der Anbieter behandeln, obwohl sie schlicht Physik sind:

1. Jede AI-Visibility-Zahl ist eine Stichprobe. Es gibt keine Vollerhebung zum Vergleich, weil die Grundgesamtheit „aller Antworten, die ChatGPT geben würde" erst existiert, wenn jede Antwort generiert wurde.
2. Skalierung kostet echtes Geld. Ein Rank-Tracker prüft 10.000 Keywords für ein paar Cent gegen gecachte Indizes. Zehntausend AI-Prompt-Läufe sind zehntausend bezahlte Generierungen, pro Plattform, pro Tag.

Also arbeiten AI-Visibility-Tools mit Stichproben. Die vertretbaren sagen das, veröffentlichen die Mathematik und zeigen dir das Konfidenzintervall. Die unvertretbaren berichten einen einzelnen Tageslauf, als wäre er ein Fakt. Der Unterschied zwischen beiden liegt nicht in der Datenquelle. Er liegt in der Disziplin.

Auch die Tools, denen du vertraust, arbeiten mit Stichproben

Die gecachten Quellen, auf die sich unsere Branche stützt, sind ebenfalls Stichproben, und oft stark modellierte.

GA4 wendet bei komplexen Reports Sampling an und Thresholding bei kleinen Segmenten; wo Consent- oder Identitätslücken bestehen, modelliert es Conversions und Verhalten. Die Search Console filtert Suchanfragen mit geringem Volumen aus Datenschutzgründen heraus und deckelt exportierte Zeilen; das „Gesamt", das du siehst, ist nicht das Gesamt, das passiert ist. Ahrefs und Semrush schätzen Suchvolumen und Traffic aus Clickstream-Panels und Modellen; zwei Tools nennen dir mit voller Überzeugung zwei verschiedene „monatliche Suchvolumen" für dasselbe Keyword, und keins davon ist eine Beobachtung. Es ist eine Schätzung auf Basis eines Panels, das zu denen hin verzerrt ist, die die Software des Panels installiert haben.

Nichts davon macht diese Tools schlecht. Sie sind nützlich, weil sie in der Richtung stimmen, methodisch stabil sind und immer offener mit ihren Grenzen umgehen. Aber das Vertrauen der Branche in sie wurde über Jahre verdient, in denen Praktiker gelernt haben, wo sich die Zahlen biegen. Niemand schreibt mehr „31 Methodikfragen an Rank-Tracker", nicht weil Rank-Tracker sie alle beantwortet hätten, sondern weil die Einschränkungen ins professionelle Allgemeinwissen übergegangen sind.

Die Messung von AI Visibility steht am Anfang derselben Kurve, mit einem härteren Problem (kein Cache, nichtdeterministischer Output) und weniger angesammeltem Vertrauen. Die richtige Antwort darauf ist nicht, die Kategorie für unmessbar zu erklären. Sondern die Kurve schneller zu durchlaufen: Methodik veröffentlichen und die Studien durchführen, die die Kritiker einfordern.

Die First-Party-Daten, die niemand hat

Der stärkste einzelne Einwand in den skeptischen Artikeln ist dieser: Kein Anbieter hat First-Party-Daten darüber, was echte Nutzer tatsächlich in AI-Assistenten eintippen, welche Antworten sie erhalten oder was der Memory des Assistenten über sie weiß. Panels aus getrackten Prompts sind ein Platzhalter für eine Grundgesamtheit, die niemand beobachten kann.

Dagegen werden wir nicht argumentieren. Es stimmt, es wird so lange stimmen, wie es diese Branche gibt, und jeden Anbieter, der etwas anderes andeutet, sollte man fragen, woher seine Daten kommen.

Diese letzte Frage ist wichtiger, als sie scheint, denn es gibt durchaus Prompt-Daten zu kaufen. Sie stammen aus kostenlosen VPNs, Browser-Erweiterungen und „kostenlosen" Analytics-Tools, die aufzeichnen, was ihre Nutzer in AI-Assistenten eintippen, und das weiterverkaufen. Manche Tools in unserer Kategorie kaufen das ein und präsentieren das Ergebnis als beobachtete Nachfrage.

Wir nicht. Nicht weil die Daten nutzlos wären, sondern wegen der Art, wie sie erhoben werden. Wer in ein Chatfeld tippt, darf vernünftigerweise erwarten, dass das Gespräch zwischen ihm und dem Assistenten bleibt. Diese Gespräche über ein Gratis-Tool abzuschöpfen, dessen Nutzer nie sinnvoll zugestimmt haben, eine Datenquelle zu sein, ist keine Datenstrategie, an der wir uns beteiligen, weder als Käufer noch als Verkäufer. Unser Data-Provenance-Versprechen steht in unserer Methodik-Dokumentation: Jeder Prompt, den wir ausführen, ist einer, den du ausdrücklich beauftragt hast; die Rohantworten sind einsehbar und exportierbar; und wir kaufen keine abgeschöpften Konversationen und blähen keine Seed-Prompts zu falschen „Nachfrage"-Daten auf.

Wenn unser Bild des Nutzerverhaltens deshalb ein Panel ist statt einer Grundgesamtheit, nehmen wir das Panel. Wir können dir wenigstens genau sagen, was drin ist.

Wir messen uns an den 31 Fragen

Die 31 Fragen verdienen mehr als eine Antwort nach Gefühl, also haben wir jede einzelne dagegen gehalten, wo wir tatsächlich stehen. Vier Gruppen sind dabei herausgekommen.

Beantwortet mit veröffentlichter Forschung

Einige der Fragen sind empirisch, und wir haben die Studien bereits durchgeführt. Unsere Research-Seite veröffentlicht sie mit prä-registrierten Spezifikationen, eingefroren vor der Datenerhebung, mit den abgeleiteten Rohdatensätzen unter CC BY.

• „Wie groß ist die Varianz zwischen Läufen? Wann reicht ein Lauf pro Prompt?" (Q8, Q18): Wir haben 143 von Menschen geschriebene Prompts eine Woche lang täglich gegen ChatGPT laufen lassen und exakt gemessen, wie stark sich die Antwort desselben Prompts zwischen Läufen bewegt, auf jeder Ebene: empfohlene Marken, zitierte Quellen, ausgeführte Suchen.
• „Bedeutet tägliche Bewegung etwas, oder ist es Rauschen?" (Q12): Dieselbe Studie. Über sieben tägliche Wellen fanden wir keine Tag-zu-Tag-Drift in der darunterliegenden Retrieval-Schicht; die Varianz liegt zwischen Läufen, nicht zwischen Tagen.
• „Bestimmt nicht die Formulierung das Ergebnis?" (Teile von Q3 und Q7): Doch, und wir haben diesen Befund gegen unsere eigene Erwartung veröffentlicht. Wir hatten die Hypothese prä-registriert, dass Formulierung über das Rauschen hinaus keine Rolle spielt. Die Daten haben sie verworfen. Einen Prompt mit gleicher Intention umzuformulieren bewegt die Markenempfehlungen stärker als die Zufälligkeit des Modells selbst, und wir haben das so gesagt, denn der Sinn von Prä-Registrierung ist, dass man das unerwünschte Ergebnis nicht begraben darf.

Wird gerade getestet

Die härtesten Fragen des Artikels drehen sich um Repräsentativität: Ähneln synthetische Prompt-Panels dem, was echte Menschen fragen (Q3)? Bestimmt die Panel-Konfiguration das Ergebnis vorab (Q6)? Bringt mehr Volumen Validität oder nur Präzision (Q7)? Und was repräsentiert generierter Prompt-Text eigentlich (Q17)?

Während dieser Beitrag erscheint, läuft bei uns ein prä-registriertes Experiment, das genau diese vier Fragen testet, mit unserem eigenen Prompt-Generator als Testobjekt, gegen die härteste verfügbare Baseline: echte menschliche Formulierungen derselben Intention, erhoben in derselben Woche, auf derselben Plattform. Die Spezifikation wurde in einem öffentlichen Repo eingefroren, bevor die erste Antwort zurückkam. Das heißt: Wir haben uns bereits verpflichtet, das Ergebnis zu veröffentlichen, ob es unserem Produkt schmeichelt oder nicht. Das haben wir schon einmal getan (siehe die Formulierungsstudie oben), und es ist die einzige Version von „vertrau uns", die diese Branche akzeptieren sollte.

Übereinstimmung zwischen Anbietern (Q19) steht auf derselben Roadmap, und sie sollte wirklich eine Branchenübung sein. Wenn irgendein anderer Anbieter dieselben Prompts in derselben Woche laufen lassen und die Ergebnisse öffentlich vergleichen will: Unser Postfach ist offen.

Beantwortet durch Offenlegung

Ein großer Teil der Fragen sind gar keine Forschungsfragen. Es sind „Zeig deine Arbeit"-Fragen: Was genau zählt als Erwähnung, wie wird Share of Voice berechnet, was ist die Zähleinheit, was zählt als Zitat, was passiert, wenn ein Modell verweigert, können Kunden die Rohdaten prüfen, was passiert mit der Historie, wenn sich die Methodik ändert (Q1, Q5, Q20 bis Q26)?

Solche Fragen beantwortet Dokumentation, oder sie werden gar nicht beantwortet. Deshalb veröffentlichen wir die komplette Erhebungs- und Berechnungsmethodik: welche Plattformen über anonyme, ausgeloggte Sessions laufen und welche über APIs, und warum Plattformvergleiche deshalb asymmetrisch sind; die exakte Formel hinter jeder Kennzahl; warum unser Share of Voice eine Präsenzrate ist, die sich bewusst nicht auf 100 % summiert; wie Erwähnungserkennung deterministisch bleibt, sodass jede Zahl, die wir zeigen, im rohen Antworttext auffindbar ist; wie Alias-Änderungen deine komplette Historie neu berechnen, statt eine stille Bruchstelle zu hinterlassen; und welche Signale wir nicht ausliefern, weil wir sie nicht stabil bekommen (Sentiment auf regenerierten Antworten, plattformübergreifende Positionsdurchschnitte).

Eine Offenlegung verdient besondere Erwähnung, weil sie die Unsicherheitsfragen des Artikels (Q9, Q10) direkt beantwortet: Wir zeigen dir die Fehlermarge, bevor du etwas ausgibst. Wenn du Prompts zum Tracken auswählst, zeigt die Plattform die Anzahl der Beobachtungen, das Konfidenzintervall und eine klare Qualitätsbewertung an, während du noch auswählst. Zehn täglich getrackte Prompts ergeben rund ±4,7 % bei 90 % Konfidenz; drei Prompts ergeben ±8,7 %, und das kennzeichnen wir als richtungsweisend, statt dich eine präzise Zahl präsentieren zu lassen. Der Rechner samt Formel ist öffentlich.

Was niemand behaupten kann

Und dann gibt es die Gruppe, bei der die einzig vertretbare Antwort lautet: „Das kann niemand wissen, auch wir nicht."

• Personalisiertes, eingeloggtes Verhalten (Q16). Wir messen ausgeloggte Sessions ohne Memory, weil sie die einzige messbare und vergleichbare Baseline sind. Echte Nutzer haben Verlauf, Memory und Personalisierung, und kein Anbieter kann diese Sessions beobachten. Ausgeloggt ist ein Näherungswert, kein Spiegel, und genau so steht es in unserer Dokumentation.
• Repräsentativität für die Grundgesamtheit (Q2). Ohne First-Party-Nutzungsdaten lässt sich für kein Panel beweisen, dass es „den Markt" repräsentiert. Ein getracktes Panel misst das Panel. Bewegungen darin sind zuerst Evidenz über das Panel und erst danach über die Welt.
• Kausalketten bis zum Umsatz (Q27, Q29). „Dein Sichtbarkeits-Score ist gestiegen, also hat die Content-Änderung funktioniert, also Umsatz" ist eine Kette, die in dieser Kategorie noch niemand mit Kontrollen nachgewiesen hat. Wir haben hier einen Vorteil, wie auch einige andere, größere Plattformen in unserem Markt: Unsere Traffic-Analytics erkennen serverseitig echte Besuche von AI-Assistenten, was Marken ein First-Party-Ergebnis zum Korrelieren gibt, statt dass ein Score sich selbst validiert. Aber Korrelation mit Kontrollen ist eine Studie, die wir noch schulden, keine Behauptung, die wir heute aufstellen dürfen.

Die bescheidene Verteidigung

Prompt-Tracking ist ein legitimes Instrument mit einem engeren Auftrag, als die meisten seiner Verkäufer zugeben, und mehr echtem Nutzen, als seine Kritiker zulassen.

Lass ein festes Panel nach Zeitplan laufen, und du hast einen Drift-Detektor: Er sagt dir, wenn sich etwas Wesentliches geändert hat. Das kann ein Modell-Update sein, ein Schritt eines Wettbewerbers, oder deine eigene Arbeit hat verändert, wie Assistenten in deiner Kategorie antworten. Selbst wenn sich die Ursache nicht ableiten und berichten lässt, ist es ein Signal, dem man nachgehen sollte.

Kombiniere das mit periodischen breiten Durchläufen unterschiedlicher Formulierungen, und du kannst deine tatsächliche Präsenz messen und prüfen, ob dein Panel zu warm oder zu kalt läuft. Verankere es in der Retrieval-Schicht (den Suchen, die Assistenten tatsächlich ausführen, und wo du darin rankst), und die verrauschte Output-Metrik bekommt eine deterministische Schicht darunter, auf der du handeln kannst.

Was Prompt-Tracking nicht ist: eine Vollerhebung des Nutzerverhaltens, ein Spiegel personalisierter Sessions oder ein Benchmark der Marktwahrheit. Jeder Anbieter, der es so darstellt, übertreibt mindestens.

Die Kritiker, die harte Methodikfragen stellen, tun dieser Branche einen Gefallen. Das Schlangenöl, auf das sie reagieren, ist real, und der schnellste Weg, sich davon abzusetzen, ist langweilig: Methodik veröffentlichen, Studien prä-registrieren, Daten freigeben, Fehlermargen vor der Rechnung nennen und die Grenzen dort schriftlich festhalten, wo Kunden sie tatsächlich lesen.

An diesem Standard messen wir uns. Wir würden uns freuen, wenn er zum Standard der Branche würde.