Gleiche Frage, andere Antwort: KI ist nicht reproduzierbar
Dieselbe Eingabe liefert beim zweiten Versuch etwas anderes. Das ist kein Fehler, sondern die Bauweise: Jedes Wort wird aus einer Verteilung gezogen.
Aufwand:
ca. 20 Min.
Voraussetzung:
Ein Ablageort für die tatsächlich verwendete Antwort, Zugriff auf die Modelleinstellungen, falls vorhanden, Etwas Geduld für zwei Gegenproben
Gilt für:
Chat-Dienste mit Sprachmodell, KI-Funktionen in Anwendungen, Automatisierungen an einer Modell-Schnittstelle, Prüf- und Freigabeprozesse mit KI-Beteiligung
Das Symptom
Gestern kam eine brauchbare Antwort. Heute, mit demselben Text im Eingabefeld,
kommt eine andere: anders gegliedert, anders formuliert, an einer Stelle sogar
mit einer anderen Zahl. Der Kollege, dem du den Prompt weitergegeben hast,
bekommt eine dritte Fassung. Niemand hat etwas geändert, es gibt keine
Fehlermeldung, und es lässt sich auch nicht nachstellen – was die Sache besonders
unangenehm macht, wenn jemand fragt, woher denn nun die Angabe stammt, die im
Bericht steht.
Die „Layer 8“-Wahrheit
Ein Sprachmodell ist keine Nachschlagetabelle, sondern ein Auswahlverfahren, das
Token für Token durchlaufen wird. In jedem Schritt entsteht eine
Wahrscheinlichkeitsverteilung über das gesamte Vokabular, und aus dieser
Verteilung wird ein Token gezogen – beeinflusst von der Temperatur und den
übrigen Samplingparametern. Danach hängt das Modell dieses Token an die Sequenz
und rechnet den nächsten Schritt. Zufall ist damit kein Nebeneffekt, sondern der
Motor. Microsoft schreibt das als Standardverhalten hin: Wer dasselbe Modell
mehrmals mit derselben Frage konfrontiert, bekommt wahrscheinlich eine andere
Antwort, und deshalb gelten die Antworten als nicht deterministisch.
Der naheliegende Ausweg – Temperatur auf null, fertig – funktioniert nur
teilweise, und der Hersteller sagt es selbst. Selbst bei Temperatur 0 seien
Sprachmodelle nicht vollständig deterministisch; kleine Abweichungen könnten durch
Gleitkommaarithmetik, Batching und Unterschiede in der Infrastruktur entstehen.
Direkt daran schließt sich der Satz an, der die eigentliche Anweisung an den
Anwender ist: keine Systeme entwerfen, die von identischer Ausgabe für identische
Eingaben abhängen. Auch der eigens gebaute Startwert für reproduzierbare Ausgaben
kommt mit dem Zusatz, dass Determinismus damit nicht garantiert ist.
Daraus folgt keine Entwarnung und keine Panik, sondern eine Umstellung der
Arbeitsweise. Die Antwort ist das Arbeitsergebnis, nicht der Prompt: Was
brauchbar ist, wird sofort gesichert, nicht später neu erzeugt. Was
weiterverarbeitet wird, hängt an einer Struktur und nie an einer Formulierung.
Und die Streuung, die übrig bleibt, ist kein Ärgernis, sondern ein kostenloses
Messgerät – wenn zwei Durchgänge in der Zahl, dem Paragrafen oder dem
Befehlsschalter auseinandergehen, hat mindestens einer davon geraten. Wer das
beobachtet, statt sich darüber zu ärgern, erfährt genau an der Stelle etwas, an
der es darauf ankommt.
Die echte, verifizierte Lösung
1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:
1.
Aufhören, Reproduzierbarkeit zu erwarten
Der teuerste Fehler ist die Annahme, man könne eine gute Antwort später einfach noch einmal erzeugen. Man kann es nicht zuverlässig. Wer eine Antwort brauchbar findet, sichert sie in dem Moment, in dem sie da ist – als Text, nicht als Erinnerung an einen Prompt. Der Prompt ist die Anleitung zum Würfeln, nicht das Ergebnis.
2.
Das Ergebnis ablegen, nicht den Weg dorthin
In Dokumentationen, Tickets und Übergaben gehört die tatsächlich verwendete Ausgabe hinein, dazu Datum, Dienst und Modellbezeichnung, falls sichtbar. Ein Verweis nach dem Muster ‚frag die KI nach X‘ ist keine Dokumentation, weil er beim nächsten Aufruf etwas anderes liefert – möglicherweise ohne dass es jemand merkt.
3.
Wo möglich, die Streuung senken
In Anwendungen mit Zugriff auf die Parameter senkt eine niedrige Temperatur die Variationsbreite spürbar; die Herstellerempfehlung für zuverlässiges, gleichförmiges Verhalten liegt im unteren Bereich, während kreative Aufgaben von höheren Werten profitieren. Nur einen der beiden Regler anfassen – Temperatur oder den zweiten Samplingparameter, nicht beide gleichzeitig, so die ausdrückliche Empfehlung im Leitfaden.
4.
Das Format erzwingen statt den Wortlaut zu erhoffen
Wenn eine Ausgabe weiterverarbeitet wird, darf nicht ihr Wortlaut die Schnittstelle sein, sondern nur ihre Struktur. Eine feste Gliederung, eine Tabelle oder ein maschinenlesbares Format zu verlangen, macht die verbleibende Streuung harmlos: Die Formulierung darf wandern, die Felder nicht. Alles, was auf eine bestimmte Formulierung angewiesen ist, bricht irgendwann.
5.
Bei wichtigen Fragen mehrfach fragen und vergleichen
Zwei bis drei Durchgänge in frischen Gesprächen kosten eine Minute und zeigen die Variationsbreite. Übereinstimmende harte Angaben sind ein gutes Zeichen, abweichende sind ein Alarm. Diese Gegenprobe ersetzt keine Prüfung an der Primärquelle, aber sie sagt zuverlässig, wo eine nötig ist.
6.
Keine Gleichheitsprüfung auf Modellausgaben bauen
Automatisierungen, die zwei Modellantworten auf Zeichengleichheit vergleichen, Zwischenstände zwischenspeichern und wiederverwenden oder Testfälle gegen einen erwarteten Antworttext prüfen, sind gegen genau die Eigenschaft gebaut, die der Hersteller ausschließt. Geprüft wird auf Eigenschaften – enthält die Pflichtfelder, liegt im Wertebereich, nennt eine prüfbare Fundstelle –, nicht auf Wortgleichheit.
Häufige Fragen (FAQ)
?Ich habe wortwörtlich dieselbe Frage gestellt. Warum kommt etwas anderes heraus?
Weil das der dokumentierte Normalfall ist, nicht die Ausnahme. Microsoft schreibt in der Anleitung zur reproduzierbaren Ausgabe: „Standardmäßig erhalten Sie wahrscheinlich eine andere Antwort, wenn Sie ein Azure OpenAI Chat Completion-Modell mehrmals mit derselben Frage konfrontieren. Die Antworten werden daher als nicht deterministisch betrachtet.“ In der Übersicht der Modelleigenschaften steht dieselbe Eigenschaft als eine von mehreren Einschränkungen aufgeführt: nicht deterministisch, „Dieselbe Eingabeaufforderung kann unterschiedliche Antworten über Anrufe hinweg erzeugen.“ Ein Programm, das bei gleicher Eingabe zwei verschiedene Ausgaben liefert, wäre anderswo ein Fehlerbericht. Hier ist es die Spezifikation.
?Was macht die Temperatur, von der alle reden?
Sie steuert, wie stark gewürfelt wird. Die Antwort entsteht Token für Token, und Microsoft beschreibt den einzelnen Schritt so: Das Modell erzeugt eine Wahrscheinlichkeitsverteilung über sein Vokabular, und dann: „Ein Token wird aus dieser Verteilung ausgewählt (beeinflusst durch Temperatur und andere Samplingparameter).“. Bei Temperatur 0 gilt laut derselben Quelle: „das Modell wählt jedes Mal das höchstwahrscheinliche Token aus“; bei höheren Werten zieht es aus einer breiteren Verteilung. Im Leitfaden zum Prompt Engineering steht die Wirkung im Alltag: Ein höherer Wert „macht die Ausgabe zufälliger und erzeugt mehr abweichende Antworten“, ein niedrigerer macht sie fokussierter. Wichtig ist die Reihenfolge der Ursachen: Die Streuung ist nicht das Ergebnis eines Fehlers, sondern eines Auswahlverfahrens.
?Dann stelle ich die Temperatur auf 0 und habe Ruhe?
Nein, und der Hersteller sagt das ungewöhnlich klar. In der Grundlagendokumentation steht unter einem eigenen Warnhinweis: „Selbst bei Temperatur 0 sind LLMs nicht vollständig deterministisch. Kleine Abweichungen können aufgrund von Gleitkommaarithmetik, Batching und Infrastrukturunterschieden auftreten. Entwerfen Sie keine Systeme, die von identischer Ausgabe für identische Eingaben abhängen.“ Auch der eigens dafür gebaute Startwert hilft nur bedingt: Zu ihm heißt es, „Der Determinismus ist nicht mit reproduzierbaren Ergebnissen garantiert“, und selbst bei gleichem Startwert sei eine gewisse Variabilität derzeit nicht ungewöhnlich. Weniger Streuung ist erreichbar. Keine Streuung ist es nicht.
?Heißt das, eine der beiden Antworten war falsch?
Nicht zwangsläufig – zwei verschiedene Formulierungen desselben richtigen Sachverhalts sind kein Widerspruch. Nützlich ist der Unterschied trotzdem, und zwar als Messgerät: Weicht nur der Satzbau ab, ist die Sache stabil. Weichen die harten Angaben ab – eine andere Zahl, ein anderer Paragraf, ein anderer Befehlsschalter –, dann hat mindestens einer der beiden Durchgänge geraten, und du weißt jetzt, dass du nachschlagen musst. Das ist kein Beweis für Richtigkeit, wenn beide übereinstimmen, aber ein sehr brauchbarer Alarm, wenn sie es nicht tun.
Belege
Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.