Die KI-Antwort ist kein Beleg – erfundene Quellen erkennen
Ein Sprachmodell antwortet auch dann, wenn die Grundlage fehlt. Erfundene Paragrafen, Befehle und Studien klingen dabei genauso sicher wie richtige.
Aufwand:
ca. 20 Min.
Voraussetzung:
Eine Kommandozeile zum Nachschlagen, Die Primärquelle, um die es geht, Die Bereitschaft, eine schöne Antwort wegzuwerfen
Gilt für:
Chat-Dienste mit Sprachmodell, KI-Antworten in Suchmaschinen, Programmierassistenten, Zusammenfassungen von Dokumenten
Das Symptom
Die Antwort kommt sofort, sie ist gut gegliedert, sie klingt kompetent, und sie
nennt sogar eine Quelle. Ein Paragraf mit Absatz und Satz. Ein Schalter für die
Kommandozeile, der genau das tut, was man braucht. Eine Studie mit Autor und
Jahreszahl. Erst beim Nachschlagen stellt sich heraus: Den Absatz gibt es in
dieser Vorschrift nicht, das Programm kennt den Schalter nicht, und die Studie
findet keine Bibliothek der Welt. Zwischen der falschen und der richtigen Antwort
war im Ton kein Unterschied zu hören.
Die „Layer 8“-Wahrheit
Ein Sprachmodell setzt Text fort. Es schlägt nicht nach, es hat keine Ablage, in
der ein Eintrag fehlen könnte, und deshalb gibt es in ihm auch keinen Zustand
„dazu habe ich nichts“. Das BSI formuliert das für Verbraucher unmissverständlich:
Eine Antwort kann es auch dann geben, wenn die Antwortgrundlagen fehlen – dann
erfindet die KI oftmals Inhalte, sie halluziniert. Im Lagebericht steht die
technische Fassung derselben Sache: Halluzinationen sind Aussagen, die formal
korrekt erscheinen, inhaltlich jedoch falsch oder irreführend sind, und die
zugrunde liegende Wissensbasis ist inhärent unscharf, schemenhaft und nicht
verifizierbar. Beides beschreibt kein Versagen, sondern den Normalbetrieb.
Der eigentliche Ärger liegt deshalb nicht in falschen Antworten – die gibt es
überall – sondern darin, dass die Falschheit keine Oberfläche hat. Ein Mensch, der
etwas nicht weiß, zögert, schränkt ein oder schaut nach. Ein Modell tut nichts
davon, weil es dafür keinen Mechanismus hat. Und weil es die Form von Belegen
besonders gut beherrscht, ist ausgerechnet der scheinbar hart belegte Teil der
anfälligste: Paragrafen, Schalter, Aktenzeichen, Literaturangaben. Wer sich vom
Nachweis beruhigen lässt, prüft genau dort nicht mehr, wo es nötig wäre.
Daraus folgt kein Grund zur Panik und schon gar keiner, das Werkzeug wegzulegen.
Es folgt nur eine Einstufung: Eine KI-Antwort ist ein Entwurf und ein Hinweis,
wo man suchen könnte – nie die Fundstelle selbst. Prüfen heißt, die genannte
Stelle beim Herausgeber aufzuschlagen, den Befehl in seiner Handbuchseite zu
suchen, die Studie im Katalog zu finden. Das Modell noch einmal zu fragen, ob es
sich sicher sei, ist keine Prüfung, sondern dieselbe Maschine ein zweites Mal.
Diese Seite hat für unbelegte Behauptungen ohnehin nur eine Verwendung, und die
ist nicht das Zitieren.
Die echte, verifizierte Lösung
1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:
1.
Entscheiden, ob die Antwort überhaupt geprüft werden muss
Nicht jede Antwort verdient Aufwand. Bei einer Formulierungshilfe, einem Namensvorschlag oder einer Gliederung ist der Schaden gering. Sobald aber jemand danach handelt – ein Befehl wird ausgeführt, ein Betrag überwiesen, eine Frist berechnet, ein Text nach außen gegeben –, gilt die Antwort als unbelegte Behauptung und nicht als Auskunft.
2.
Behauptung und Beleg voneinander trennen
Streiche in der Antwort alles an, was wie ein Nachweis aussieht: Paragrafen, Normnummern, Aktenzeichen, Versionsangaben, Studientitel, Befehlsnamen, Funktionsnamen, URLs. Genau diese Elemente werden geprüft, und zwar zuerst – nicht der Fließtext drumherum. Der Fließtext ist meist ungefähr richtig; die harten Fundstellen sind es entweder ganz oder gar nicht.
3.
Jede Fundstelle bei der Primärquelle nachschlagen
Nicht nach dem Titel suchen und sich mit einem Treffer zufriedengeben, der ähnlich heißt, sondern die Stelle beim Herausgeber aufschlagen: das Gesetz beim amtlichen Angebot, die Norm beim Normungsgremium, die Programmoption in der offiziellen Dokumentation. Wenn die Fundstelle dort nicht existiert, existiert sie nicht – auch dann nicht, wenn die Erklärung dazu vernünftig klang.
4.
Genannte Befehle vor der Ausführung verifizieren
Ein Befehl lässt sich auf dem eigenen System in Sekunden gegen die Wirklichkeit halten: Gibt es das Programm überhaupt, und kennt seine Handbuchseite den genannten Schalter? Erst wenn beides zutrifft, wird ausgeführt – und bei allem, was löscht, überschreibt oder Rechte ändert, vorher ein Backup:
type -a rsync
man rsync
5.
Die Antwort einmal ohne Vorlage wiederholen lassen
Dieselbe Frage in einer frischen Sitzung stellen und die harten Angaben vergleichen. Erfundene Fundstellen sind selten stabil: Beim zweiten Durchgang steht dort oft ein anderer Paragraf, ein anderes Jahr, ein anderer Schalter. Das ist kein Beweis für Richtigkeit, wenn beide Antworten übereinstimmen – aber ein sehr brauchbarer Alarm, wenn sie es nicht tun.
6.
Ungeprüftes als ungeprüft kennzeichnen
Wenn eine KI-Antwort weitergegeben wird, gehört dazu, woher sie stammt und was davon nachgeschlagen wurde. Ein Satz genügt. Das ist die einzige Stelle, an der sich der Fehler noch billig stoppen lässt – danach wandert er als scheinbar geprüfte Auskunft durch die Organisation und niemand weiß mehr, wer ihn eigentlich verantwortet.
Häufige Fragen (FAQ)
?Warum sagt das Modell nicht einfach, dass es die Antwort nicht weiß?
Weil Nichtwissen in seiner Arbeitsweise keine eigene Kategorie ist. Ein Sprachmodell setzt Text fort; es fragt nicht bei einer Wissensdatenbank nach und bekommt dort ein Nein. Das BSI beschreibt den Effekt in seiner Verbraucherinformation ungewöhnlich direkt: Eine Antwort kann es auch dann geben, wenn die Antwortgrundlagen fehlen und die KI nach menschlichem Ermessen eigentlich ausgeben müsste, dass keine Antwort verfügbar ist – „Stattdessen erfindet die KI oftmals Inhalte – sie ‚halluziniert‘.“ Das ist kein Aussetzer und keine Panne, sondern dieselbe Maschinerie, die auch die richtigen Antworten erzeugt. Deshalb sieht man einer Antwort nicht an, welche der beiden gerade vorliegt.
?Warum klingt gerade der falsche Teil so überzeugend?
Weil Form und Inhalt hier getrennte Dinge sind. Das BSI definiert Halluzinationen im Lagebericht als „Aussagen, die formal korrekt erscheinen, inhaltlich jedoch falsch oder irreführend sind“. Die Wissensgrundlage der Modelle nennt es „probabilistisches Weltwissen, das aus teilweise veralteten und widersprüchlichen Textkorpora abgeleitet wird“ – und charakterisiert diese Grundlage als „inhärent unscharf, schemenhaft und nicht verifizierbar“. Ein Modell hat sehr gut gelernt, wie ein Paragraf aussieht, wie ein Kommandozeilenschalter aussieht, wie eine Literaturangabe aussieht. Die Form trifft es zuverlässig. Ob es den Inhalt dazu gibt, ist eine andere Frage – und ausgerechnet die perfekte Form ist es, die den Leser einschläfert.
?Was sind die gefährlichsten Fälle?
Die, bei denen die Erfindung wie ein Beleg aussieht. Drei Muster tauchen immer wieder auf. Erstens erfundene Fundstellen: ein Paragraf, den es in dieser Norm nicht gibt, eine Studie mit plausiblen Autoren und plausiblem Jahr, ein Urteil mit sauber formatiertem Aktenzeichen. Zweitens erfundene Befehle und Schalter: ein Kommandozeilenparameter, den das Werkzeug nicht kennt – harmlos, weil es abbricht – oder schlimmer einer, den es kennt und der etwas anderes tut. Drittens erfundene Bibliotheken und Funktionen, die es nie gab. Gemeinsam ist allen dreien, dass sie nicht nach Meinung aussehen, sondern nach Nachweis. Wer nur auf Behauptungen achtet und Belegen vertraut, prüft genau an der falschen Stelle.
?Kann man das durch bessere Fragen abstellen?
Verringern ja, abstellen nein. Es hilft, das Ausgangsmaterial mitzugeben, statt aus dem Gedächtnis des Modells zu schöpfen, und es hilft, ausdrücklich eine Antwort ohne Belege zuzulassen. Was nicht hilft, ist das Modell zu fragen, ob es sich sicher ist: Die Bewertung entsteht auf demselben Weg wie die Antwort und kann genauso erfunden sein. Eine selbstbewusste Bestätigung ist kein Prüfergebnis. Das BSI empfiehlt schlicht, Ausgaben gegenzuchecken und Informationen einem Faktencheck zu unterziehen – die Prüfung muss außerhalb des Modells stattfinden, sonst ist sie keine.
Belege
Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.
Automatische Erkennung von Fälschungen ist ein Hinweis, kein Urteil. Warum ein grünes Ergebnis nichts freispricht und ein Chatbot dafür untauglich ist.