Wir haben synthetische Prompts an echte menschliche Intention angeglichen. Die Markenliste stimmte. Die Prozentwerte nicht.

Vor vier Tagen haben wir eine Studie zu unserem eigenen Prompt-Generator veröffentlicht und mit einer Wette beendet. Wenn ein synthetisches Prompt-Panel so gebaut wird, dass es der tatsächlichen Formulierungsweise echter Käufer entspricht, Sub-Intent für Sub-Intent, dann sollte es laut Datenlage ein menschliches Panel auf jeder Ebene abbilden. Wir haben diesen Test vorab registriert, die Panels vor jeder Erhebung eingefroren und zugesagt, jedes Ergebnis zu veröffentlichen.

Die Hälfte der Wette ging auf. Die gescheiterte Hälfte erwies sich als das nützlichere Ergebnis.

Die wichtigsten Erkenntnisse

• An echte menschliche Sub-Intents angeglichene synthetische Prompts erzeugten Antworten, die statistisch nicht von menschlichen Prompts zu unterscheiden sind, mit einer Überlappung von 0,516 gegenüber einer Mensch-zu-Mensch-Baseline von 0,517.
• Dasselbe Panel verfehlte den menschlichen Markenanteilsvektor dennoch um 8,9 Prozentpunkte, gegenüber dem vorab registrierten Äquivalenzband von 5 Punkten.
• Die Abweichung betrifft die Häufigkeit, nicht die Zugehörigkeit. Beide Panels zeigten dieselben sechs Marken in nahezu derselben Reihenfolge, mit einer Rangkorrelation von 0,87.
• Innerhalb eines einzelnen Anwendungsfalls zeigten 82 Prozent der menschlichen und 72 Prozent der synthetischen Prompts Apple mindestens einmal, aber 9,5 Prozent gegenüber 0 Prozent zeigten es in allen fünf Tagesläufen.
• Eine Marke ihre eigenen Anwendungsfälle benennen zu lassen repariert den Prozentwert nicht. Beschränkt man den Vergleich auf Prompts mit demselben Anwendungsfall, bleibt die Lücke bei 0,085 gegenüber 0,089 uneingeschränkt.
• Synthetische Prompts sind bei Wiederholung genauso selbstkonsistent wie menschliche, die Lücke ist also systematisch und nicht zufälliges Rauschen.
• Die Genauigkeit hängt vom Rang ab. Die beiden bekanntesten Marken lagen innerhalb von 6 Prozent ihrer echten Werte, die fünfte und sechste waren um 33 und 46 Prozent daneben, und mehrere kleinere Marken tauchten im synthetischen Panel überhaupt nicht auf.

Was wir gemacht haben

Wir haben 143 Prompts genommen, die echte Menschen für eine Kaufintention geschrieben haben, Kopfhörer als Reisegeschenk, aus den Umfragedaten von SparkToro. Dann haben wir ein synthetisches Panel erzeugt, das dem Profil dieses menschlichen Panels über sechs Dimensionen des Fragens entspricht: Reisekontext, Musiknutzung, Budgetgrenzen, benannte Beschenkte, Bauform und Kabellosigkeit. Ein zweites synthetisches Panel erhielt als Kontrolle keinerlei Angleichung. Alle drei liefen fünf Tage lang täglich gegen ChatGPT. 1.230 in dieser Studie ausgewertete Läufe.

Die Hypothesen, die Äquivalenzbänder, die Panels und der Analysecode waren eingefroren, bevor wir eine einzige Antwort erhoben haben. Die vollständige Studie steht auf unserer Research-Site, inklusive des kompletten Texts beider synthetischer Panels, damit jede und jeder sie nachlaufen lassen und uns überprüfen kann.

Was wir gefunden haben

Die Prompts selbst sind inzwischen mit menschlichen austauschbar. Nehmen Sie zufällig einen synthetischen und einen menschlichen Prompt, vergleichen Sie die beiden Antworten, und sie stimmen so stark überein wie zwei unterschiedlich formulierte menschliche Prompts untereinander. Die Überlappung lag bei 0,516 gegenüber einer menschlichen Baseline von 0,517. Unser Äquivalenzband war 0,10, die Differenz kam bei 0,001 heraus. Das ist die engste Übereinstimmung mit menschlicher Formulierung, die wir gemessen haben, und sie übertraf unsere eigene Vorhersage.

Die Prozentwerte des Panels lagen dennoch daneben. Gemittelt über die sechs von Menschen am häufigsten genannten Marken lag das angeglichene Panel 8,9 Punkte vom menschlichen Panel entfernt. Besser als die nicht angeglichene Kontrolle mit 13,7, besser als das neutrale Panel des Vormonats mit 11,2, und trotzdem außerhalb des 5-Punkte-Bands, auf das wir uns festgelegt hatten. Die Vorhersage ist gescheitert, und wir berichten sie als Scheitern.

Aber "die Prozentwerte lagen daneben" beschreibt etwas Engeres, als es klingt. Ein Anteilswert bündelt ein Ja oder Nein pro Antwort. Um 8,9 Punkte danebenzuliegen kann also zweierlei bedeuten: Entweder zeigt das Panel andere Marken, oder es zeigt dieselben Marken unterschiedlich häufig. Wir haben die Statistik aufgeteilt, um das zu klären.

Innerhalb des Anwendungsfalls Reise stimmen die Panels darin überein, welche Marken dazugehören. Zählt man die Prompts, die eine Marke über ihre fünf Läufe mindestens einmal zeigten: Sony 99 Prozent der menschlichen und 96 Prozent der synthetischen Prompts, Bose 95 und 96, Sennheiser 94 und 89, Anker 91 und 100. Selbst im schlechtesten Fall, Apple, waren es 82 gegenüber 72. Beide Panels lieferten dieselbe Auswahl aus sechs Marken in nahezu derselben Reihenfolge.

Wo sie auseinandergehen, ist die Häufigkeit. Apple kam bei 9,5 Prozent der menschlichen Prompts in allen fünf Läufen zurück und bei keinem der synthetischen. Sennheiser: 59 Prozent gegenüber 22. Die beiden Panels sehen denselben Markt und berichten ihn in unterschiedlicher Lautstärke.

Wie weit der Prozentwert danebenliegt, hängt davon ab, wo Sie in der Rangfolge stehen. Das Panel ist an der Spitze nahezu exakt und driftet nach unten stark ab. Gemessen am jeweils eigenen menschlichen Wert der Marke:

Marke	Rang im menschlichen Panel	Abweichung des synthetischen Panels
Bose	2	0,6 Prozent
Sony	1	6,4 Prozent
Anker	4	12,0 Prozent
Sennheiser	3	13,2 Prozent
JBL	6	33,1 Prozent
Apple	5	45,8 Prozent

Unterhalb dieser sechs wird es schlechter. Mehrere Marken, die echte Prompts in 2 bis 4 Prozent der Antworten zeigten, tauchten im synthetischen Panel gar nicht auf, darunter Bowers and Wilkins, Sonos, Focal und Beyerdynamic. Zwei gingen in die andere Richtung, Shokz erschien im synthetischen Panel 2,6-mal häufiger als bei echten Prompts.

Diese Richtung ist wichtig dafür, wie Sie Ihre eigene Zahl lesen. Es ist nicht so, dass kleinere Marken zu niedrig gezählt werden. Es ist so, dass die Zahl unterhalb der ersten paar Ränge in beide Richtungen unzuverlässig wird.

Die eigenen Anwendungsfälle zu benennen repariert den Prozentwert nicht. Der naheliegende Ausweg besteht darin, eine Marke die Anwendungsfälle auflisten zu lassen, die sie interessieren, und dafür Prompts zu erzeugen. Damit umginge man das Abgleichen eines Mixes vollständig. Wir haben es getestet, indem wir nur Prompts mit demselben Anwendungsfall verglichen haben. Die Lücke bewegte sich nicht: 0,085 innerhalb von Reise gegenüber 0,089 im uneingeschränkten Vergleich. Sie erhalten so oder so eine realistische Markenliste, und Sie erhalten keinen belastbaren Prozentwert.

Synthetische Prompts sind nicht unzuverlässig, was unserer eigenen Veröffentlichung vom Vormonat widerspricht. Fünfmal wiederholt ist ein synthetischer Prompt genauso selbstkonsistent wie ein menschlicher. Unsere vorherige Studie maß alle drei synthetischen Panels als deutlich verrauschter als das menschliche Panel und schloss daraus, dass synthetische Prompts einen weniger stabilen Bereich des Antwortraums einnehmen. Diese Studie konnte das nicht replizieren. Die Intervalle beider Studien überlappen sich, es handelt sich also um eine gescheiterte Replikation und nicht um eine Widerlegung, aber die allgemeine Aussage hält nicht stand. Wir berichten das, weil ein Forschungsprogramm, das auf vorab registrierten Vorhersagen aufbaut, die Zahlen zuerst veröffentlichen muss, die gegen es sprechen.

Was das für das Lesen Ihres Dashboards bedeutet

• Lesen Sie die Reihenfolge, nicht den Prozentwert. Stammt ein Share-of-Voice-Wert aus einem synthetischen Panel, sind die Markenliste und die grobe Rangfolge die Teile, die diese Datenlage stützt. Der Prozentwert ist weicher, als er aussieht.
• Die Auswahlliste ist das verlässliche Ergebnis. "Mit wem konkurriere ich in diesem Anwendungsfall, und wo stehe ich ungefähr" ist eine Frage, die synthetische Panels gut beantworten. Das ist für Contentplanung und Wettbewerbspositionierung wirklich nützlich.
• Fragen Sie, was Ihr Panel nie fragt. Unser angeglichenes Panel traf alle sechs Dimensionen, die es treffen sollte, und schwieg zu neun weiteren. Es fragte nie nach Filmen im Flugzeug, was in 31 Prozent der menschlichen Prompts vorkam, nach dem Alter der beschenkten Person oder danach, wie viele Optionen zurückkommen sollen. Es reproduzierte 13 Prozent der unterschiedlichen Arten, wie echte Menschen diese Dimensionen kombinierten. Die Abdeckung genau dieser Kombinationen ist das, was zu hinterfragen sich lohnt.
• Besondere Vorsicht, wenn Sie nicht zu den Marktführern der Kategorie gehören. Die beiden bekanntesten Marken unserer Studie kamen innerhalb von 6 Prozent ihrer echten Werte zurück. Die fünfte und sechste lagen um 33 und 46 Prozent daneben, und Marken darunter fehlten häufig ganz oder waren in zwei Fällen deutlich überzeichnet. Sind Sie der Herausforderer in Ihrer Kategorie, ist Ihre eigene Zahl die unzuverlässigste auf der Seite, und sie kann ebenso zu Ihren Gunsten wie zu Ihren Ungunsten abweichen.

Was sich dadurch in Spyglasses ändert

Wir haben diese Studie an unserer eigenen Methodik durchgeführt, die Verpflichtungen treffen also zuerst uns.

• Wir trennen die beiden Fragen im Produkt. "Welche Marken konkurrieren in diesem Anwendungsfall, und wo stehen Sie" ist das, was die Daten stützen, also bekommt das die prominente Darstellung. Prozentualer Share of Voice behält seinen Platz, die Interpretation trägt die Reihenfolge.
• Formulierungsabdeckung wird eine berichtete Kennzahl, keine interne. Der Anteil unterschiedlicher Käufer-Formulierungsprofile, den ein Panel reproduziert, lag hier bei 13 Prozent. Das ist eine messbare Eigenschaft jedes Panels, und wir zeigen sie lieber, als sie unbetrachtet zu lassen.
• Wir veröffentlichen die Fehler unseres eigenen Instruments. Das Audit dieser Studie ergab, dass unser Markenextraktor Marken mitzählt, die als Plattformverweise auftreten. Das blähte die größte Einzellücke im Artikel um rund 18 Prozent auf, und zwar in die Richtung, die unsere eigene Kernaussage besser aussehen ließ. Es steht in der Studie, mit den korrigierten Zahlen.

Lesen Sie die vollständige Studie, die vorab registrierten Vorhersagen und beide Datensätze.