Wir haben unsere eigenen synthetischen Prompts gegen 143 echte Menschen getestet

Jedes AI-Visibility-Tool, unseres eingeschlossen, trackt Marken mit Prompts, die nie ein Mensch getippt hat. Kritiker stellen dazu eine faire Frage: Wenn kein Mensch diese Prompts geschrieben hat, was genau beschreiben die Zahlen dann? Eine viel geteilte Liste von 31 Methodikfragen an Anbieter legt die Beweislast auf uns. Die SparkToro-Forschung dazu, wie stark echte Menschen ihre Formulierungen variieren, ebenfalls.

Wir halten das Beweislast-Argument für richtig. Also haben wir den Test auf unser eigenes Produkt gerichtet.

Die wichtigsten Erkenntnisse

• Ein aus der eigenen Website generiertes Prompt-Panel misst das Heimspiel der Marke, also die Kaufsituationen, die ihre Positionierung beansprucht. Es ist keine Messung des Gesamtmarkts.
• Das verlässlichste Signal aus einem markenverankerten Panel ist, dort zu verlieren. Dort zu gewinnen ist das erwartete Ergebnis; ein Wettbewerber, der Sie bei Prompts aus Ihrer eigenen Positionierung schlägt, ist der Befund, auf den Sie reagieren sollten.
• Wettbewerbsabstände aus einem verankerten Panel sind gegen Ihre Wettbewerber verzerrt, nicht zu Ihren Gunsten aufgeblasen. Der Wechsel der Ankermarke verschob den gemessenen Abstand zwischen zwei Wettbewerbern um 41 Punkte.
• Szenariogenerierte synthetische Prompts produzierten Antworten, die statistisch nicht von echten menschlichen Prompts zu unterscheiden waren, und wenn ein synthetischer und ein menschlicher Prompt denselben Sub-Intent teilten, stimmten ihre Antworten vollständig überein.
• Den Sub-Intent-Mix eines synthetischen Panels an echtem Käuferverhalten auszurichten ist ein testbares Rezept für marktrepräsentatives Tracking. Wir haben diesen Test vorregistriert und er erhebt gerade Daten.

Was wir gemacht haben

Wir haben 143 echte Prompts von echten Menschen für eine Kaufabsicht (Kopfhörer als Reisegeschenk, aus den Umfragedaten von SparkToro) fünf Tage lang täglich gegen ChatGPT laufen lassen. Parallel dazu drei synthetische Panels: zwei von unserem Produktions-Prompt-Generator, ausgerichtet auf bose.com und soundcore.com, und eines nur aus dem Kaufszenario generiert, ganz ohne Marke. Gleiche Plattform, gleiche Tage, 1.325 in dieser Studie ausgewertete Läufe.

Die Hypothesen, die statistischen Bänder und der Analysecode wurden eingefroren, bevor wir eine einzige Antwort erhoben haben. Was auch immer herauskam, wir hatten uns zur Veröffentlichung verpflichtet. Die vollständige Studie ist jetzt auf unserer Research-Site live, inklusive des kompletten Texts jedes synthetischen Prompts, damit jeder die Panels selbst nachlaufen lassen und uns überprüfen kann.

Was wir gefunden haben

Ein aus Ihrer Website generiertes Prompt-Panel misst nicht den Markt. Es misst Ihr Heimspiel. Der Generator baut Prompts aus dem, was Ihre Site bewirbt: Ihre Features, Ihre Segmente, Ihre Produktlinien. Diese Prompts stellen die Fragen, die Ihre Positionierung gewinnen will. Als wir das menschliche Panel so umgewichtet haben, dass es denselben Fragemix stellt wie das Bose-Panel, sahen die Menschen fast denselben Markt wie das Panel. Das Panel ist nicht kaputt. Es beantwortet eine engere Frage, als das Label im Dashboard vermuten lässt.

Das Heimspiel schmeichelt Ihnen nicht, und genau das ist der nützliche Teil. Keines der verankerten Panels hat die eigene Marke über das gehoben, was echte Menschen sahen. Und Bose verlor auf jedem Panel gegen Sony, auch auf dem aus bose.com generierten. Diese Asymmetrie ist die praktische Erkenntnis: Auf dem eigenen Panel zu gewinnen ist das erwartete Ergebnis. Auf dem eigenen Panel zu verlieren ist der Alarm, der Ihren Content-Plan umsortieren sollte.

Wettbewerbsabstände aus einem verankerten Panel sind die Zahl, der Sie misstrauen sollten. Als wir den Anker des Generators von einer Marke auf ihren Rivalen umgestellt haben, verschob sich der gemessene Abstand zwischen beiden um 41 Punkte. Nicht weil eines der Panels die eigene Marke aufgeblasen hätte; sondern weil jedes Panel den Rivalen zu selten auftauchen ließ. Wenn Ihr Dashboard sagt, dass Sie einen Wettbewerber bei Prompts schlagen, die auf Ihre eigene Site verankert sind, ist die Zahl des Wettbewerbers die, die am ehesten falsch ist.

Und die gute Nachricht: Es gibt einen echten Weg zu synthetischen Panels, die Menschen spiegeln. Das neutrale, szenariogenerierte Panel produzierte Antworten, die statistisch nicht von Antworten auf menschliche Prompts zu unterscheiden waren. Sein einziges verbleibendes Defizit war der Mix: Es übergewichtete manche Sub-Intents und ließ andere aus, etwa Budgetgrenzen und benannte Empfänger. Als wir nur Prompts verglichen, die einen Sub-Intent teilten, stimmten synthetische und menschliche Antworten vollständig überein. Die Autorschaft spielte keine Rolle. Der Sub-Intent schon.

Dieser letzte Befund ist ein Rezept, nicht nur ein Ergebnis. Wenn man Szenario-Prompts generiert und ihren Sub-Intent-Mix daran ausrichtet, wie echte Käufer tatsächlich fragen, sollte das Panel laut den Daten das menschliche auf jeder Ebene spiegeln. Das Folgeexperiment dazu läuft bereits, mit öffentlich registrierten Vorhersagen, bevor Daten eintreffen.

Was sich in Spyglasses ändert

Wir haben diese Studie an unserem eigenen Generator durchgeführt, die Konsequenzen treffen also zuerst uns:

• Share of Voice aus markenverankerten Prompts bekommt das Label, das ihm zusteht: Ihre Position in den Gesprächen, die Ihre Positionierung beansprucht. Awareness-Prompts schließen wir bereits aus dem Share of Voice aus; das Label macht den Rest der Geschichte explizit.
• Die Panel-Generierung wird szenariobasiert. Der neutrale Generierungsansatz ist der, der den Kontakt mit echten Menschen überstanden hat. Er wird zum Standard, Markenverankerung bleibt der Heimspiel-Frage vorbehalten, die sie tatsächlich beantwortet.
• Formulierungsvielfalt schlägt Prompt-Volumen. Echte Menschen nennen Budgets, benennen den Empfänger und fragen nach den "Top 5 mit Bewertungen". Panels, die das nie tun, messen einen engeren Markt, egal wie viele Prompts sie laufen lassen. Wir bauen diese Verhaltensweisen in die Generierung ein, statt mehr Prompts mit derselben Frage hinzuzufügen.

Auch deshalb sagen wir seit jeher: Messung ist die Beweisschicht, nicht die Arbeit selbst. Prompt Tracking zeigt, wo Sie bei den Fragen stehen, die Sie zu stellen beschlossen haben. Die Antwort verändert man in der Retrieval-Pipeline: die Suchen, die AI ausführt, die Quellen, die sie lesen kann, die Seiten, die sie zitiert. Dieser Teil ist messbar und verbesserbar, unabhängig davon, welches Panel Sie tracken.

Prüfen Sie unsere Arbeit

Die vollständige Studie enthält jede Zahl, die vorregistrierte Spezifikation, beide Datensätze und den kompletten synthetischen Prompt-Text unter CC-BY-Lizenz. Falls Sie bei einem anderen AI-Visibility-Anbieter arbeiten: Die menschliche Baseline ist beschaffbar, die Methode ist dokumentiert, und wir würden Ihre Zahl gern neben unserer sehen.