Dieselbe Frage, eine andere Antwort: warum sich einzelne Prompts erst über mehrere Wochen beurteilen lassen
Es gibt diese eine Frage, die für dein Geschäft mehr zählt als alle anderen. Du willst wissen, was ChatGPT darauf antwortet, heute und auch nächste Woche. Dafür gibt es den Prompt-Check. Und genau hier lauert der häufigste Denkfehler.
Kurz gesagt
Eine KI beantwortet dieselbe Frage nicht jedes Mal gleich. Einzelne Antworten taugen deshalb nicht als Beleg, wohl aber eine Reihe von Antworten über Wochen. Der Prompt-Check stellt eine Frage an ChatGPT, Gemini, Perplexity und Claude, im Test auf Wunsch und in der Beobachtung immer in drei Formulierungen, und wiederholt sie täglich, wöchentlich oder monatlich. Jeder Lauf kostet einen Credit.
Antworten schwanken, und zwar stark
Wer dieselbe Frage zweimal stellt, bekommt oft zwei verschiedene Listen. Das ist kein Fehler, sondern Absicht. Sprachmodelle wählen jedes Wort mit einer gewissen Wahrscheinlichkeit, und mit Websuche können bei jeder Anfrage andere Treffer hinzukommen.
Wie stark das ausschlägt, hat SparkToro gemessen. Etwa 600 Freiwillige stellten zwölf Fragen nach Marken und Produkten insgesamt 2.961-mal an ChatGPT, Claude und Googles KI.[1] Die Chance, zweimal dieselbe Liste zu bekommen, lag unter eins zu hundert, und dieselbe Liste in derselben Reihenfolge kam etwa einmal in tausend Durchläufen vor.[1]
„there's a <1 in 100 chance that ChatGPT or Google's AI, if asked 100X, will give you the same list of brands in any two responses“
Für Googles KI-Übersichten kam Ahrefs auf einen ähnlichen Befund: Ihr Inhalt ändert sich im Schnitt alle 2,15 Tage, und knapp die Hälfte der zitierten Quellen ist danach neu. Die Aussage bleibt dabei meist gleich, die Worte und Belege wechseln.[4]
Dieselbe SparkToro-Studie kommt aber auch zu einem beruhigenden Schluss: Der Anteil der Antworten, in denen eine Marke über viele Durchläufe auftaucht, ist eine brauchbare Messgröße.[1] Darauf baut der Prompt-Check auf. Er schaut auf den Anteil über viele Läufe, nicht auf die einzelne Antwort.
Die Formulierung macht einen Unterschied
Vorsichtig macht auch die Sprache. Menschen mit demselben Anliegen formulieren sehr verschieden. In einem weiteren Versuch von SparkToro ähnelten sich die Prompts von Teilnehmern mit derselben Aufgabe kaum.[2] Dazu kommt die Länge: Laut Semrush sind ChatGPT-Anfragen mit Websuche in den USA von Januar und Februar 2025 bis Januar und Februar 2026 im Schnitt von 4,7 auf 8,7 Wörter gewachsen, und über den größten Teil des Zeitraums passten 65 bis 85 Prozent der Anfragen zu keinem Suchbegriff in der Semrush-Datenbank.[3] Google meldet, dass Anfragen im KI-Modus im Schnitt dreimal so lang sind wie klassische Suchen.[5]
Deshalb kann der Prompt-Check eine Frage in drei Formulierungen stellen: so, wie du sie aufgeschrieben hast, und in zwei Varianten mit derselben Absicht. Zeigen alle drei in dieselbe Richtung, ist der Befund belastbarer als bei einer einzelnen.
So arbeitet der Prompt-Check
- Testen. Du stellst eine Frage einmal an ChatGPT, Gemini, Perplexity und Claude. Sobald eine Antwort ausgewertet ist, siehst du, ob du genannt wirst, an welcher Stelle, wer noch und welche Quellen dahinterstehen.
- Beobachten. Wichtige Fragen legst du in die Beobachtung, täglich, wöchentlich oder monatlich. Jeder Lauf kostet einen Credit.
- Vergleichen. Du siehst die Läufe als Reihe und nicht nur den letzten. So lassen sich Ausschläge nach oben und unten von echten Veränderungen unterscheiden.
Welcher Rhythmus passt, hängt von der Frage ab. Hängt an ihr viel Umsatz und arbeitest du gerade aktiv an deiner Sichtbarkeit, ist wöchentlich ein guter Takt. Willst du sie nur im Blick behalten, reicht monatlich. Täglich lohnt sich selten: Von Tag zu Tag schwankt die Antwort meist stärker, als du in einem Tag verändern kannst.
Drei typische Fehler
- Nach einem Lauf umsteuern. Ein Rückgang in einem einzigen Lauf ist meist Rauschen. Erst wenn sich der Anteil über mehrere Läufe verschiebt, lohnt sich eine Reaktion.
- Nur nach dem eigenen Namen fragen. „Ist Firma X gut?“ misst, was die KI über dich weiß, nicht, ob sie dich von sich aus empfiehlt.
- Eine KI für alle halten. BrightEdge, selbst Anbieter eines Messwerkzeugs, fand, dass ChatGPT und Googles KI-Funktionen bei 61,9 Prozent identischer Fragen unterschiedliche Marken empfahlen.[6] Was in ChatGPT gilt, gilt nicht automatisch für Googles KI.
Auch die Quellen bleiben nicht stehen. Semrush beobachtete, dass ChatGPT Reddit Anfang August 2025 in fast 60 Prozent der Antworten zitierte und Mitte September nur noch in rund 10 Prozent.[7] Wer seine Frage beobachtet, sieht solche Verschiebungen, bevor sie sich in der Gesamtsichtbarkeit zeigen.
Was antwortet die KI auf deine wichtigste Frage?
Kostenlos, ohne Kreditkarte. 30 Credits im Monat.
Häufige Fragen
Was kostet der Prompt-Check?
Jeder Lauf kostet einen Credit. Im kostenlosen Konto gibt es 30 Credits im Monat.
Wie oft sollte ich eine Frage messen?
Wöchentlich, solange du aktiv daran arbeitest, sonst monatlich. Täglich lohnt sich nur in Ausnahmefällen, etwa rund um eine Produkteinführung.
Warum sehe ich im eigenen Chat eine andere Antwort?
Dein Chat kennt deinen Verlauf und oft deinen Standort. Der Prompt-Check fragt über die Schnittstellen der Anbieter, ohne persönlichen Verlauf.
Kann ich nach Konkurrenten fragen?
Ja. Jede Frage zeigt, wer außer dir genannt wird. Fragen nach einem Markt ohne eigene Firma beobachtest du am besten mit dem Markt-Check.
Quellen
- [1]SparkToro (Rand Fishkin, Patrick O'Donnell): NEW Research: AIs are highly inconsistent when recommending brands or products, 28. Januar 2026.
- [2]SparkToro (Amanda Natividad): Why Everyone Prompts AI Differently, Even When They Want the Same Thing, 11. Februar 2026.
- [3]Semrush (Luke Harsel): ChatGPT traffic analysis: Insights from 17 months of clickstream data, Februar 2025, aktualisiert 7. April 2026.
- [4]Ahrefs (Louise Linehan): AI Overviews Change Every 2 Days (But Never Change Their Mind), 11. November 2025.
- [5]Google: Q3 2026 earnings call: Remarks from our CEO, 28. Oktober 2026.
- [6]BrightEdge: ChatGPT vs Google AI: 62% Brand Recommendation Disagreement, 27. August 2025.
- [7]Semrush (Luke Harsel): The Most-Cited Domains in AI: A 3-Month Study, 10. November 2025.
Messwerte zu einzelnen Firmen stammen aus eigenen VISIWING-Messungen mit dem genannten Datum. Die Firmen sind keine Kunden von VISIWING. Externe Quellen zuletzt abgerufen am 11. November 2026.