Die KI-Shortlist hielt einen Monat lang

Im letzten Monat haben wir gezeigt, dass die KI-Shortlist von Tag zu Tag stabil ist. Wenn ChatGPT oder Claude für eine Kauffrage einen Anbieter empfahlen, empfahlen sie ihn in der Regel erneut, wenn wir dieselbe Frage am nächsten Tag stellten. Der genaue Rang und der Top-Tipp schwankten weit stärker.

Eine Woche ist allerdings ein kurzes Zeitfenster. Die meisten Teams vergleichen diesen Monat mit dem letzten. Für das Reporting zählt deshalb die Frage, ob die Shortlist auch dann hält, wenn Wochen zwischen den Antworten liegen, oder ob sie sich langsam von selbst verschiebt.

Sie hält. Unser Forschungsteam hat dieselben Fragen fünf Wochen lang weiter gestellt, und ein Anbieter, der an einem Tag auf der Shortlist stand, stand einen Monat später etwa genauso oft wieder darauf wie ein oder zwei Tage später. Die vollständige Studie enthält Methodik und Daten. Hier ist, was das für Sie bedeutet.

Die wichtigsten Erkenntnisse

• Wenn ChatGPT oder Claude für eine Kauffrage einen B2B-Softwareanbieter empfiehlt, empfiehlt es diesen Anbieter einen Monat später etwa genauso wahrscheinlich erneut wie ein oder zwei Tage später.
• Die Shortlist von Gemini ändert sich von einem Lauf zum nächsten stärker als die von ChatGPT oder Claude, ist über fünf Wochen aber nicht gedriftet.
• Weil sich die Shortlist über einen Monat nicht von selbst verschiebt, lohnt es sich, einer dauerhaften Veränderung nachzugehen, wie oft die KI Sie empfiehlt.
• Der Top-Tipp von Gemini hat sich über den Monat verändert, während seine Shortlist hielt. Die Shortlist ist deshalb ein besseres Ziel als der erste Platz.
• Die Shortlist von ChatGPT hielt auch über ein Modell-Update hinweg, das mitten in die Studie fiel.

Die Studie

Dies ist Phase 2 der Studie hinter unserem ersten Beitrag, deshalb wiederholen wir den Aufbau hier nicht im Detail. Wir haben dieselben 40 Kauffragen zu B2B-Software verwendet, je zwei in 20 Kategorien wie CRM, Lohnabrechnung und Endpoint Security. Jede Frage haben wir an 11 Tagen zwischen dem 3. Oktober und dem 6. November an ChatGPT, Gemini und Claude (über die API) gestellt: in der ersten Woche täglich, danach einmal pro Woche zur selben Tageszeit. Insgesamt wurden in dieser Studie 1.320 neue Antworten ausgewertet. Eine Nebenprüfung nutzte 1.615 ältere ChatGPT-Antworten auf Fragen zu Kopfhörern.

Die Shortlist bedeutet dasselbe wie zuvor: jeder Anbieter, den eine Antwort empfiehlt, ob als erste Wahl oder als eine von mehreren guten Optionen. Dann haben wir Paare von Antworten auf dieselbe Frage verglichen. Standen Anbieter, die in einer Antwort auf der Shortlist waren, auch in der anderen darauf, wenn ein oder zwei Tage zwischen den beiden lagen? Und wenn es 27 Tage oder mehr waren?

Bevor wir irgendwelche Ergebnisse gesehen hatten, auch die aus der ersten Woche, haben wir den Test und seine Toleranz festgelegt. Wiederholte sich die Shortlist im Abstand von einem Monat bis auf 5 Prozentpunkte genauso oft wie im Abstand von ein oder zwei Tagen, würden wir das als keine nennenswerte Veränderung werten.

Was wir herausgefunden haben

Ein Monat Abstand sieht aus wie ein Tag Abstand

Bei ChatGPT stand ein Anbieter von der Shortlist in 82 % der Fälle wieder darauf, wenn ein oder zwei Tage zwischen den Antworten lagen, und in 81 % der Fälle, wenn es ein Monat war. Das liegt deutlich innerhalb unserer Toleranz. Die Shortlist ist also nicht gedriftet.

Claude ging von 79 % auf 76 % zurück. Die Daten sind genau genug, um diesen Rückgang zu erkennen, aber er liegt deutlich innerhalb der Toleranz und ist zu klein, um eine Rolle zu spielen.

Dazwischen verlaufen die Linien flach. Ob drei Tage, zwei Wochen oder drei Wochen zwischen den Antworten lagen, die Shortlist wiederholte sich etwa gleich oft. Eine Trendlinie über alle Abstände zeigt auf allen drei Plattformen dasselbe: eine Veränderung von höchstens wenigen Punkten pro Monat.

Die älteren ChatGPT-Antworten zu Kopfhörern, bis zu 20 Tage auseinander, ergaben dasselbe Bild. Und die Shortlist war weiterhin weit stabiler als die genaue Position eines Anbieters, genau wie in der ersten Woche.

Gemini: weniger stabil, aber ohne Drift

Die Shortlist von Gemini wiederholte sich im Abstand von ein oder zwei Tagen in 64 % der Fälle und im Abstand von einem Monat in 62 %. Das ist weniger als bei ChatGPT und Claude, wie schon in der ersten Woche, und über die Zeit derselbe kleine Abstand wie bei Claude.

Der Unterschied liegt darin, wie sicher wir sein können. Die Antworten von Gemini schwanken stärker, deshalb ist die Spanne der wahrscheinlichen Werte für die Veränderung breiter, und sie reicht knapp über unsere 5-Punkte-Grenze hinaus. Der Test kann einen Rückgang von etwas mehr als 5 Punkten nicht ausschließen, deshalb werten wir ihn als nicht eindeutig. Das ist nicht dasselbe wie eine Drift. Die Linie von Gemini verläuft über alle fünf Wochen flach; sie schwankt stärker von Lauf zu Lauf, nicht stärker über die Zeit.

Bewegt hat sich der Top-Tipp

Eines hat sich über den Monat klar verändert: der Top-Tipp von Gemini. Wenn Gemini eine erste Wahl nannte, war derselbe Anbieter ein oder zwei Tage später in 40 % der Fälle wieder die erste Wahl, einen Monat später nur noch in 23 %. Bei den Top-Tipps von ChatGPT und Claude zeigte sich keine klare Veränderung, allerdings sind Top-Tipps so selten, dass diese Tests die Frage nicht klären konnten.

Das passt zu dem, was wir in der ersten Woche gesehen haben. Der erste Platz wechselt, meist zwischen Anbietern, die auf der Shortlist bleiben. Arbeiten Sie an der Shortlist, nicht am ersten Platz.

Wofür ein Anbieter laut KI „am besten geeignet“ ist, veränderte sich über den Monat bei ChatGPT und Claude kaum, um höchstens wenige Punkte. Bei Gemini verschob es sich etwas stärker, eine kleine, aber echte Veränderung.

Was das für Ihr Tracking bedeutet

Vergleichen Sie Monate mit Zuversicht. Bei ChatGPT und Claude verschiebt sich die Shortlist über einen Monat nicht von selbst. Wenn sich ändert, wie oft Sie empfohlen werden, und das so bleibt, hat sich etwas geändert: Ihre Inhalte, die eines Wettbewerbers oder das Modell. Das sollten Sie sich ansehen.

Geben Sie Gemini mehr Läufe. Gemini driftet nicht, aber jede einzelne Antwort sagt weniger aus. Mitteln Sie über mehr Läufe, bevor Sie von einer Veränderung sprechen.

Setzen Sie Ziele auf Basis der Shortlist, nicht des Top-Tipps. Der Top-Tipp wechselt, und bei Gemini hat er sich über den Monat verschoben. Empfohlen zu werden ist das Ergebnis, das hält.

Was das nicht bedeutet

Fünf Wochen sind eine Saison, und es handelte sich um 40 synthetische Fragen zu B2B-Software, gestellt von einem US-Standort. Eine Frage ist keine Kategorie. ChatGPT und Gemini wurden über einen externen Datendienst abgefragt, Claude über die API; claude.ai war in dieser Phase nicht dabei. Die Einordnungen stammen von einem KI-Klassifikator, und die Studie sagt nichts darüber, was Käufer mit den Antworten tun.

ChatGPT wechselte außerdem mitten in der Studie auf ein neueres Modell, sodass seine Antwortpaare mit einem Monat Abstand diesen Wechsel überspannen. Die Shortlist hielt trotzdem. Auch die Antworten des neueren Modells allein zeigten keine Drift, allerdings bei weniger Paaren.

Eine Trendlinie, der Sie vertrauen können

Genau diese Shortlist misst Spyglasses. Das Daily Prompt Tracking prüft jeden Tag, ob jede Plattform Sie empfiehlt, als erste Wahl oder als eine von mehreren Optionen, und zwar bei den Fragen, die Ihre Käufer stellen. Weil diese Kennzahl über Wochen hält, bekommen Sie eine Trendlinie, der Sie von Woche zu Woche vertrauen können. Es weist jede Plattform einzeln aus, für ChatGPT, Gemini und Google AI Overviews, mit Claude als Add-on.