Die KI kennt Neueres nicht – der Trainingsstichtag
Preise, Fristen, Versionen, Menüpfade: Ein Sprachmodell kennt nichts, was nach seinem Training passiert ist. Es merkt das nicht und sagt es nicht.
Aufwand:
ca. 20 Min.
Voraussetzung:
Die aktuelle Fassung der Vorschrift oder Dokumentation, Ein Kalender für den Stand der Dinge, Die Bereitschaft, eine flüssige Antwort zu verwerfen
Gilt für:
Chat-Dienste mit Sprachmodell, KI-Antworten in Suchmaschinen, Programmierassistenten, Offline betriebene Sprachmodelle
Das Symptom
Die Auskunft klingt souverän und ist es nicht mehr. Der beschriebene Menüpunkt
heißt seit zwei Versionen anders. Die genannte Frist wurde geändert. Der Preis
stimmte einmal. Die empfohlene Programmoption gibt es, aber sie ist seit dem
letzten Jahr abgekündigt. Nichts davon ist erfunden – all das war richtig, nur
eben früher. Und weil die Antwort in derselben ruhigen, gut sortierten Sprache
kommt wie jede richtige, gibt es keinen Moment, in dem etwas stutzig macht.
Die „Layer 8“-Wahrheit
Ein Sprachmodell ist eine Momentaufnahme. Die Hersteller schreiben es als
schlichte Eigenschaft hin: Die Trainingsdaten des Modells haben einen Stichtag,
und es kennt keine Ereignisse nach dem Training. Es gibt in einem Modell keinen
Kalender, keinen Abgleich mit der Welt und keine Stelle, an der ein überholter
Eintrag als überholt markiert wäre. Was nach dem Stichtag geschah, ist nicht
falsch gespeichert – es ist überhaupt nicht vorhanden. Deshalb kann das Modell
auch nicht bemerken, dass ihm etwas fehlt, und deshalb kommt keine Einschränkung,
sondern eine Antwort.
Die naheliegende Gegenmaßnahme – das Modell nach seinem eigenen Stichtag fragen –
ist genau die falsche, weil diese Auskunft auf demselben Weg entsteht wie alle
anderen. Dieselbe Dokumentation, die den Stichtag benennt, führt zwei Zeilen
darunter auf, dass Sprachmodelle sichere, aber sachlich falsche Antworten
erzeugen können, weil sie plausiblen Text erfinden, statt geprüfte Fakten
abzurufen. Und die zweite naheliegende Gegenmaßnahme – der Chatbot sucht ja im
Web – hilft nur, wenn in genau diesem Durchgang tatsächlich ein Werkzeug gelaufen
ist. Ein Modell kann von sich aus weder das Web durchsuchen noch eine Datenbank
abfragen; es kann nur Text erzeugen, der eine Suche anfordert. Ausführen muss die
Anwendung. Ob sie es getan hat, erkennt man an den genannten und aufrufbaren
Fundstellen, nicht daran, wie aktuell die Antwort klingt.
Gefährlich ist dabei nicht das völlige Nichtwissen, sondern die halbe Aktualität.
Das BSI beschreibt die Wissensgrundlage der Modelle als probabilistisches
Weltwissen aus teilweise veralteten und widersprüchlichen Textkorpora, inhärent
unscharf und nicht verifizierbar. Praktisch heißt das: Alles mit einem Datum ist
verdächtig – Fristen, Beträge, Versionen, Zuständigkeiten, Bedienwege, Rechtsstand.
Für solche Fragen ist die Reihenfolge umzudrehen. Erst die geltende Fassung
besorgen, dann das Modell damit arbeiten lassen. So wird aus einer Wissensfrage,
für die es der falsche Apparat ist, eine Textaufgabe, für die es der richtige ist.
Die echte, verifizierte Lösung
1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:
1.
Den eigenen Stand in die Frage schreiben
Datum, Produktversion, Land und Rechtsstand gehören in die Frage, nicht in die Annahme. Das verhindert nicht, dass ein Modell veraltete Angaben liefert, aber es macht den Widerspruch sichtbar: Wer nach dem Stand von heute fragt und eine Antwort zur vorletzten Version bekommt, merkt es an den genannten Details – wer ohne Bezugspunkt fragt, merkt es nicht.
2.
Prüfen, ob wirklich eine Quelle abgerufen wurde
Bei jeder Aussage mit Datum eine benannte, aufrufbare Fundstelle verlangen. Kommt keine, hat das Modell aus dem Gedächtnis geantwortet, und das Gedächtnis endet am Stichtag. Kommt eine, wird sie angeklickt – nicht überflogen. Ein Link beweist nur, dass eine Suche lief; ob dort steht, was behauptet wird, entscheidet das Aufschlagen.
3.
Das Material selbst mitliefern
Für alles Aktuelle ist die Reihenfolge umzudrehen: erst die geltende Fassung besorgen, dann das Modell damit arbeiten lassen. Ein eingefügter Auszug aus der aktuellen Verordnung, dem aktuellen Handbuch oder der aktuellen Preisliste schlägt jede Erinnerung des Modells – und macht aus einer Wissensfrage eine Textaufgabe, für die Sprachmodelle tatsächlich gebaut sind.
4.
Alles Datierte gegenprüfen, bevor jemand danach handelt
Fristen, Beträge, Versionsnummern, Zuständigkeiten, Menüpfade und Rechtslagen sind die Kategorien, in denen Veralten die Regel und nicht die Ausnahme ist. Sie werden bei der zuständigen Stelle nachgeschlagen: das Gesetz im amtlichen Angebot, die Programmoption in der Herstellerdokumentation, der Preis beim Anbieter. Das kostet Minuten und ersetzt eine Entschuldigung.
5.
Nicht das Modell nach seinem eigenen Stichtag fragen
Diese Auskunft wird generiert wie jede andere und kann daneben liegen. Wer es genau wissen will, sucht die Angabe des Anbieters zum eingesetzten Modell. Und selbst die ist eine Obergrenze, keine Garantie: Ein Stichtag sagt, wann die Trainingsdaten enden, nicht, wie gut ein bestimmtes Thema darin vertreten war.
6.
Zeitkritisches gar nicht erst dort anfangen
Für Fahrpläne, Kurse, Verfügbarkeiten, laufende Verfahren und alles, was sich wöchentlich ändert, ist der Umweg über ein Sprachmodell selbst mit funktionierender Websuche der langsamere und unsicherere Weg. Die zuständige Stelle hat die Angabe im Original – dorthin zuerst, und das Modell höchstens, um das Gefundene zu erklären.
Häufige Fragen (FAQ)
?Warum kennt das Modell die neue Version oder die neue Regelung nicht?
Weil sein Wissen an einem Tag aufhört. Microsoft führt das in der Grundlagendokumentation als erste von mehreren Einschränkungen auf, unter der Überschrift keine Echtzeitkenntnisse: „Die Schulungsdaten des Modells haben einen Stichtag. Es kennt keine Ereignisse nach dem Training.“ In der Beschreibung der eigenen Wissensanbindung steht derselbe Punkt als Begründung für das ganze Produkt: „Das Foundry-Modell, auf dem ein Agent basiert, verfügt über eine Wissensgrenze und kann von sich aus nicht auf Ihre proprietären Daten zugreifen.“ Ein Modell ist damit kein Nachschlagewerk, das jemand vergessen hat zu aktualisieren – es ist eine Momentaufnahme, die durch Nachtraining ersetzt und nicht ergänzt wird.
?Kann ich das Modell einfach fragen, bis wann es Bescheid weiß?
Fragen ja, glauben nein. Die Antwort auf diese Frage entsteht auf demselben Weg wie jede andere Antwort – sie wird generiert, nicht ausgelesen. Dieselbe Herstellerdokumentation, die den Stichtag benennt, führt zwei Zeilen darunter Halluzinationen als eigene Einschränkung auf: „LLMs können sichere, aber sachlich falsche Antworten generieren. Sie ‚träumen‘ plausiblen Text, anstatt überprüfte Fakten abzurufen.“ Ein Datum ist plausibler Text wie jeder andere. Verlässlich ist nur die Angabe des Anbieters zum konkreten Modell, und selbst die sagt nichts darüber, wie vollständig oder wie aktuell einzelne Themen abgedeckt sind.
?Mein Chatbot durchsucht doch das Web. Dann ist er aktuell?
Nur wenn in genau diesem Durchgang wirklich eine Suche gelaufen ist. Ein Sprachmodell kann von sich aus nichts abrufen; Microsoft schreibt: „LLMs können nur Token generieren – sie können das Web nicht durchsuchen, eine Datenbank abfragen oder eine API selbst aufrufen.“ Und zur Arbeitsteilung: „Die LLM führt niemals etwas aus. Sie generiert nur die Anforderung.“ Ausgeführt wird sie von einem Werkzeug – die Werkzeugübersicht zur Dateisuche verweist für das Durchsuchen des öffentlichen Webs nach aktuellen Informationen ausdrücklich auf ein eigenes Websuchtool. Ob dieses Werkzeug angeschaltet ist und ob es beim konkreten Aufruf tatsächlich lief, sieht man an den genannten Belegen, nicht am Tonfall der Antwort.
?Was ist am veralteten Wissensstand eigentlich gefährlich?
Dass er selten total ist. Ein Modell, das gar nichts wüsste, würde niemanden täuschen. Gefährlich ist die halbe Aktualität: Der Menüpfad hieß einmal so, die Frist betrug einmal so viele Tage, die Programmoption gab es einmal, der Preis stimmte einmal. Solche Antworten sind nicht erkennbar falsch, sie sind veraltet – und veraltet sieht genauso aus wie richtig. Das BSI beschreibt die Wissensgrundlage der Modelle im Lagebericht entsprechend als „probabilistisches Weltwissen, das aus teilweise veralteten und widersprüchlichen Textkorpora abgeleitet wird“, und nennt sie „inhärent unscharf, schemenhaft und nicht verifizierbar“. Betroffen ist damit alles, was ein Datum hat: Recht, Preise, Versionen, Bedienoberflächen, Zuständigkeiten.
Belege
Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.
Homebrew installiert, aber 'zsh: command not found: brew' auf dem Mac? Auf Apple Silicon fehlt /opt/homebrew im PATH. So richtest du brew dauerhaft ein.
Automatische Erkennung von Fälschungen ist ein Hinweis, kein Urteil. Warum ein grünes Ergebnis nichts freispricht und ein Chatbot dafür untauglich ist.