SWLästig
Der Chatbot vergisst mitten im Gespräch – das Kontextfenster
Nach vielen Nachrichten fällt der Anfang aus dem Gespräch. Das Modell hat kein Gedächtnis: Es sieht nur, was gerade in sein Kontextfenster passt.
// Symptom
Der KI-Dienst antwortet nicht mehr oder wird immer schlechter
Zwei völlig verschiedene Lagen sehen von außen gleich aus. Bei der ersten kommt gar nichts: Eine 429 heißt nicht Ausfall, sondern Deckel – gezählt werden dabei nicht nur Anfragen, sondern auch Eingabe- und Ausgabe-Token, und eine gerissene Grenze genügt, während die anderen Zähler fast leer sind. Bei der zweiten kommt etwas, nur wird es schlechter: Im langen Gespräch fällt nichts hinten heraus, aber mit wachsender Token-Zahl nehmen Genauigkeit und Trefferquote ab – der Hersteller nennt das „context rot“. Der Reflex, zur Sicherheit noch drei PDFs dazuzulegen, ist deshalb keine Abhilfe, sondern die Ursache: Mehr Kontext ist nicht automatisch besser.
Mögliche Ursachen (7)
Sortiert nach Schadenspotenzial: Was Daten oder Hardware kosten kann, steht oben. Nicht, weil es am wahrscheinlichsten ist – sondern weil es am teuersten wird, wenn man es übersieht.
SWLästig
Der lange Chat wird schlechter, obwohl nichts fehlt
Der Satz steht noch im Verlauf, das Modell findet ihn nur nicht mehr: Mit der Token-Zahl sinken Genauigkeit und Trefferquote. Context rot.
SWLästig
Gleiche Frage, andere Antwort: KI ist nicht reproduzierbar
Dieselbe Eingabe liefert beim zweiten Versuch etwas anderes. Das ist kein Fehler, sondern die Bauweise: Jedes Wort wird aus einer Verteilung gezogen.
SWLästig
429KI-Dienst meldet 429: zu viele Anfragen
Zu viele Anfragen, Kapazität erschöpft, 429: Der KI-Dienst ist nicht ausgefallen, sondern gedeckelt. Wiederholen hilft nur bei einer der Ursachen.
SWAnfängerfehler
Die KI kennt Neueres nicht – der Trainingsstichtag
Preise, Fristen, Versionen, Menüpfade: Ein Sprachmodell kennt nichts, was nach seinem Training passiert ist. Es merkt das nicht und sagt es nicht.
SWAnfängerfehler
Die KI rechnet falsch und klingt dabei völlig sicher
Summen, Prozente, Fristen: Ein Sprachmodell rechnet nicht, es wählt das wahrscheinlichste nächste Token. Der gezeigte Rechenweg ist auch nur Text.
SWAnfängerfehler
Die KI-Antwort ist kein Beleg – erfundene Quellen erkennen
Ein Sprachmodell antwortet auch dann, wenn die Grundlage fehlt. Erfundene Paragrafen, Befehle und Studien klingen dabei genauso sicher wie richtige.