Die KI rechnet falsch und klingt dabei völlig sicher
Summen, Prozente, Fristen: Ein Sprachmodell rechnet nicht, es wählt das wahrscheinlichste nächste Token. Der gezeigte Rechenweg ist auch nur Text.
Aufwand:
ca. 15 Min.
Voraussetzung:
Ein Taschenrechner oder eine Tabellenkalkulation, Die Ausgangszahlen im Original, Die Bereitschaft, ein schönes Ergebnis nachzurechnen
Gilt für:
Chat-Dienste mit Sprachmodell, KI-Funktionen in Tabellenkalkulationen, Programmierassistenten, Agenten mit Werkzeugzugriff
Das Symptom
Die Aufstellung sieht aus wie aus dem Lehrbuch: Posten untereinander,
Zwischensummen, Prozentsatz, Endbetrag, dazu ein sauber formulierter Rechenweg in
drei Schritten. Nur stimmt die Summe nicht. Die einzelnen Zahlen sind richtig
abgeschrieben, der beschriebene Weg ist richtig beschrieben, und trotzdem steht
unten ein Betrag, der um ein paar hundert Euro danebenliegt. Auf den Hinweis hin
entschuldigt sich das Modell freundlich, rechnet neu – und liefert eine dritte
Zahl.
Die „Layer 8“-Wahrheit
Es hat nie gerechnet. Was in einem Sprachmodell passiert, beschreiben die
Hersteller schrittweise: Für die nächste Stelle im Text entsteht eine Bewertung
über das gesamte Vokabular, und das Modell wählt daraus das wahrscheinlichste
Token aus, um die Sequenz fortzusetzen. Dann hängt es dieses Token an und beginnt
von vorn. In diesem Ablauf gibt es keine Additionseinheit, kein Register und
keinen Zwischenspeicher für einen Übertrag – es gibt nur die Frage, welches
Zeichen als Nächstes am besten passt. Bei kleinen, tausendfach gesehenen
Rechnungen passt zufällig das richtige Ergebnis. Bei fünf ungeraden Beträgen und
einem krummen Prozentsatz passt eben etwas, das aussieht wie ein Ergebnis.
Microsoft führt das unter den bekannten Grenzen der Technik: Sprachmodelle können
Fehler in präzisen Berechnungen und formaler Logik machen.
Der gezeigte Rechenweg beruhigt an dieser Stelle mehr, als er darf, denn er ist
mit demselben Verfahren entstanden wie das Ergebnis. Er ist geschrieben, nicht
durchgeführt. Dass schrittweises Vorgehen hilft, ist dokumentiert – es reduziert
die Möglichkeit ungenauer Ergebnisse und macht die Antwort leichter prüfbar. Es
reduziert sie. Und Modelle, die vor der Antwort systematisch Zwischenschritte
erzeugen, sind bei Mathematik und Logik nachweislich besser, was eine Aussage über
Häufigkeit ist und keine über Zuverlässigkeit. Erschwerend kommt hinzu, dass eine
Zahl für das Modell gar keine Zahl ist, sondern eine Zeichenfolge, die ein
Tokenizer nach eigenen Regeln zerlegt – die Herstellerdokumentation nennt diese
Zerlegung selbst kontraintuitiv und führt es ausgerechnet an Datumsformaten vor.
Die Lösung ist unspektakulär und wirkt sofort: das Rechnen an etwas abgeben, das
rechnet. Entweder an ein eingeschaltetes Werkzeug, das den Code wirklich ausführt
– und nur dann, wenn nachprüfbar ist, dass es im konkreten Durchgang gelaufen ist,
denn das Modell selbst führt niemals etwas aus, sondern erzeugt nur die
Anforderung dazu. Oder an dich, mit einer Tabellenkalkulation und dreißig
Sekunden. Am produktivsten ist die Umkehrung der Bestellung: nicht das Ergebnis
verlangen, sondern die Formel. Dann macht das Sprachmodell den Teil, den es
beherrscht, und die Arithmetik macht ein Gerät, das dafür gebaut wurde.
Die echte, verifizierte Lösung
1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:
1.
Jede Zahl aus einer KI-Antwort als unbelegt behandeln
Nicht die Rechnung ist verdächtig, sondern das Ergebnis – auch dann, wenn zehn andere Zahlen im selben Text gestimmt haben. Zahlen, nach denen jemand handelt, sind eine Behauptung: Rechnungsbeträge, Fristen, Dosierungen, Umrechnungen, Prozentsätze, Kapazitäten. Sie werden geprüft, bevor sie in ein Dokument, eine Überweisung oder eine Zusage wandern.
2.
Mit dem passenden Gerät nachrechnen
Taschenrechner oder Tabellenkalkulation, dreißig Sekunden. Bei Listen die Summe selbst bilden statt die genannte zu übernehmen; bei Prozenten die Gegenprobe rechnen; bei Datums- und Fristberechnungen den Kalender aufschlagen, weil dort Monatslängen, Wochenenden und Feiertage tatsächlich stimmen. Wer nur die Plausibilität prüft, findet die groben Fehler und übersieht die teuren.
3.
Das Rechnen auslagern statt es zu bestellen
Statt nach dem Ergebnis zu fragen, nach dem Weg dorthin fragen: die Formel für die Tabellenkalkulation, die Rechenvorschrift, das kleine Programm. Dann rechnet ein Werkzeug, das rechnen kann, und das Sprachmodell tut das, was es gut kann – die Aufgabe in eine Form bringen. Als Nebeneffekt bleibt die Rechnung nachvollziehbar und beim nächsten Mal wiederholbar.
4.
Wo vorhanden, die Codeausführung einschalten und nachsehen, ob sie lief
Viele Dienste können Code schreiben und tatsächlich ausführen. Das ist der einzige Weg, auf dem im Chatfenster wirklich gerechnet wird. Entscheidend ist die Kontrolle: Wurde in diesem Durchgang Code ausgeführt und ist das Ergebnis von dort? Ein Modell kann eine Codeausführung auch nur beschreiben – dann steht dort ein Ergebnis, das niemand berechnet hat.
5.
Zahlen sauber übergeben
Ausgangswerte gehören eindeutig und knapp in die Frage: eine Zahl pro Zeile, mit Einheit, ohne Tausenderpunkte, Datumsangaben ausgeschrieben. Das ist keine Kosmetik – die Zerlegung in Token macht aus einem Betrag mit Trennzeichen mehrere Bruchstücke. Je weniger Zerlegungsarbeit die Eingabe erzwingt, desto weniger Gelegenheit gibt es, dass unterwegs eine Ziffer verrutscht.
6.
Größenordnung und Einheiten getrennt prüfen
Zwei Fehlerklassen fallen nicht beim Nachrechnen auf, sondern nur beim Hinsehen: die verrutschte Größenordnung und die falsche Einheit. Also zusätzlich fragen, ob das Ergebnis überhaupt in der richtigen Zehnerpotenz liegt, ob Einheiten und Währungen zueinander passen und ob die Teile in der Summe aufgehen. Diese Prüfung dauert Sekunden und fängt genau die Fehler, die später am meisten kosten.
Häufige Fragen (FAQ)
?Es ist doch ein Computerprogramm. Wie kann es sich verrechnen?
Weil es nicht rechnet. Microsoft beschreibt den einzelnen Schritt in der Dokumentation zu Token so: „Während der Ausgabegenerierung prognostiziert das Modell einen Vektorwert für das nächste Token in der Sequenz“, und dann: „Das Modell wertet dann alle potenziellen Token aus diesen Vektoren aus und wählt das wahrscheinlichste aus, um die Sequenz fortzusetzen“. Das ist Textfortsetzung, nicht Arithmetik. Es gibt in diesem Ablauf keine Additionseinheit, die man richtig oder falsch benutzen könnte. In der Grundlagendokumentation steht die Folge davon unter der Überschrift begrenzte Mathematik und Logik: Es „können LLMs Fehler in präzisen Berechnungen und formaler Logik machen“. Dass die meisten kleinen Rechnungen trotzdem stimmen, liegt daran, dass sie in den Trainingsdaten millionenfach vorkamen – nicht daran, dass sie ausgerechnet wurden.
?Aber es zeigt mir doch den kompletten Rechenweg!
Der Rechenweg entsteht auf demselben Weg wie das Ergebnis: Er wird geschrieben, nicht durchgeführt. Ein plausibel aussehender Zwischenschritt ist kein Beleg für das, was danach kommt. Nützlich ist die Technik trotzdem, und der Hersteller sagt auch, wie weit sie trägt: Wird das Modell angewiesen, schrittweise vorzugehen und alle beteiligten Schritte darzustellen, dann werde „die Möglichkeit der Ungenauigkeit von Ergebnissen reduziert und die Bewertung der Modellantwort vereinfacht“. Reduziert und leichter prüfbar – nicht ausgeschlossen. Sogenannte Denkmodelle, die vor der Antwort systematisch Zwischenschritte erzeugen, schneiden laut derselben Dokumentation bei mathematischen und logischen Aufgaben deutlich besser ab. Besser bleibt aber eine Aussage über die Häufigkeit von Fehlern, nicht über ihre Abwesenheit.
?Was hat die Tokenisierung damit zu tun?
Eine Zahl ist für das Modell keine Zahl, sondern eine Zeichenfolge, die ein Tokenizer nach seinen eigenen Regeln zerteilt. Die Zerlegung erfolgt je nach Modell in Wörter, Zeichen oder Teilwörter; GPT-Modelle verwenden laut Microsoft eine Teilwort-Zerlegung namens Byte-Pair Encoding. Wie unintuitiv das ausfällt, sagt der Leitfaden zum Prompt Engineering selbst: „Token können manchmal kontraintuitiv sein, wie im folgenden Beispiel dargestellt, das Tokengrenzen für verschiedene Datumsformate veranschaulicht“ – dort ist ein ausgeschriebener Monatsname sparsamer als ein rein numerisches Datum. Für den Anwender folgt daraus vor allem eines: Lange Zahlen, Beträge mit Trennzeichen und Datumsangaben sind für ein Sprachmodell keine besonders klaren Eingaben, sondern besonders unübersichtliche.
?Was hilft denn wirklich, außer alles nachzurechnen?
Ein Werkzeug, das tatsächlich rechnet. Genau dafür gibt es die Codeausführung: Wird sie eingeschaltet, kann der Agent laut Herstellerdokumentation „Python Code iterativ schreiben und ausführen, um Datenanalyse- und mathematische Aufgaben zu lösen“. Wichtig ist die Arbeitsteilung dahinter, die dieselbe Dokumentation ausdrücklich benennt: „Die LLM führt niemals etwas aus. Sie generiert nur die Anforderung.“ Ausgeführt wird außerhalb des Modells – und nur was dort ausgeführt wurde, ist gerechnet. Deshalb der zweite Teil der Antwort: nachsehen, ob im konkreten Durchgang wirklich Code lief, statt es an einem selbstbewussten Tonfall abzulesen.
Belege
Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.
Homebrew installiert, aber 'zsh: command not found: brew' auf dem Mac? Auf Apple Silicon fehlt /opt/homebrew im PATH. So richtest du brew dauerhaft ein.