Prompt Injection: Der KI-Assistent gehorcht fremdem Text
Ein KI-Assistent mit Zugriff auf Mails, Dateien und Webseiten befolgt Anweisungen, die in diesen Inhalten stehen. Das BSI nennt es intrinsisch.
Aufwand:
ca. 45 Min.
Voraussetzung:
Zugriff auf die Einstellungen des KI-Assistenten, Überblick über die angebundenen Datenquellen, Die Bereitschaft, Automatisierung wieder abzuschalten
Gilt für:
KI-Assistenten mit Postfachzugriff, Dokumenten-Chats und RAG-Systeme, Browser-Erweiterungen mit Sprachmodell, Agenten mit Werkzeugzugriff
Das Symptom
Der KI-Assistent hängt am Postfach, am Dokumentenordner oder am Browser und
erledigt brav, worum er gebeten wird: zusammenfassen, sortieren, beantworten. Und
dann tut er plötzlich etwas, das niemand bestellt hat. Eine Zusammenfassung lässt
den entscheidenden Absatz weg. Eine Antwortmail enthält einen Link, den niemand
hineingeschrieben hat. Ein Vorgang wird als erledigt markiert, obwohl er es nicht
ist. Nichts stürzt ab, nichts meldet einen Fehler, und in der Oberfläche sieht
alles normal aus – die bestellte Ausgabe steht ja da.
Die „Layer 8“-Wahrheit
Für das Modell gibt es keinen Unterschied zwischen deinem Auftrag und dem Text,
den es zur Bearbeitung bekommt. Systemvorgabe, deine Eingabe und der Inhalt der
fremden Mail landen als ein einziger Strom Zeichen in derselben Eingabe. Steht in
dieser Mail ein Satz in der Form einer Anweisung, hat er dieselbe Bauform wie
deine Anweisung – und kann entsprechend wirken. Das BSI hat dafür einen eigenen
Warnhinweis herausgegeben und nennt es eine intrinsische Schwachstelle: Sie
gehört zur Konstruktion, nicht zu einer bestimmten Anwendung. Angreifende, so das
BSI, manipulieren die Daten in den angebundenen Quellen und platzieren dort
unerwünschte Anweisungen für das Sprachmodell. Der Anwender merkt davon nichts,
weil er das Ergebnis sieht und nicht den Weg dorthin.
Daraus folgt eine unbequeme, aber ziemlich klare Konsequenz: Die Frage ist nicht,
ob man das Modell besser überreden kann, sich an die Hausordnung zu halten. Die
Frage ist, was passiert, wenn es sich nicht daran hält. Ein Assistent, der nur
lesen und antworten darf, richtet dann Verwirrung an. Einer, der senden, schreiben
und bestellen darf, richtet Schaden an. Sicherheit entsteht hier nicht im Prompt,
sondern in der Rechtevergabe, in der Trennung von Lesen und Handeln und in einem
Menschen, der vor der Handlung mit Außenwirkung noch einmal hinschaut. Das ist
weniger elegant als die Vorstellung eines Assistenten, der alles allein erledigt –
dafür hält es.
Die echte, verifizierte Lösung
1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:
1.
Aufschreiben, was der Assistent lesen darf
Erst die Angriffsfläche kennen. Notiere jede Quelle, aus der der Assistent Text bezieht: Postfach, Dateiablage, Ticketsystem, Kalender, Webseiten, hochgeladene PDFs. Jede dieser Quellen ist ein Kanal, über den jemand von außen Text in die Eingabe des Modells bekommt. Quellen, die von Fremden befüllt werden können, sind die kritischen – ein Postfach steht in dieser Liste immer ganz oben.
2.
Aufschreiben, was der Assistent tun darf
Danach die Werkzeugliste: Mails senden, Dateien schreiben, Termine anlegen, Webhooks aufrufen, Code ausführen, im Netz nachladen. Jede Fähigkeit ist ein möglicher Schaden. Streiche alles, was für den konkreten Zweck nicht gebraucht wird. Das BSI empfiehlt für KI-Anwendungen ausdrücklich, nur „Zugriff auf Ressourcen, die zur Aufgabenerfüllung nötig sind“ zu gewähren – das ist hier keine Formalie, sondern die eigentliche Schutzmaßnahme.
3.
Lesen und Handeln trennen
Die gefährliche Kombination ist Zugriff auf fremde Inhalte plus Recht zu handeln in einem Arbeitsschritt. Trenne beides: Ein Assistent, der fremde Mails zusammenfasst, bekommt keine Sendeberechtigung. Ein Assistent, der Rechnungen anlegt, bekommt keinen ungefilterten Webzugriff. Wo sich beides nicht trennen lässt, gehört eine Bestätigung durch einen Menschen dazwischen – und zwar eine, die den fertigen Text zeigt und nicht nur fragt, ob es weitergehen soll.
4.
Automatische Auslöser abschalten
Regeln nach dem Muster „jede eingehende Mail wird vom Assistenten verarbeitet“ machen aus einem Angriff eine Selbstbedienung: Der Angreifer bestimmt den Zeitpunkt, den Inhalt und die Wiederholung. Solange der Mensch den Startknopf drückt und das Ergebnis liest, bleibt wenigstens eine Kontrollinstanz übrig.
5.
Ausgehende Wege eng halten
Datenabfluss braucht einen Kanal nach draußen. Prüfe, ob der Assistent beliebige URLs aufrufen, Bilder von fremden Servern nachladen oder an beliebige Adressen senden darf. Wo eine Freigabeliste möglich ist, gehört sie gesetzt. Ein Assistent ohne Weg nach außen kann Vertrauliches zwar immer noch falsch behandeln, aber nicht verschicken.
6.
Protokolle einschalten und stichprobenartig lesen
Prompt Injection fällt im Alltag nicht auf, weil die bestellte Ausgabe ja korrekt aussieht. Wenn das System aufzeichnet, welche Werkzeuge mit welchen Argumenten aufgerufen wurden, wird das Unsichtbare wenigstens nachträglich sichtbar. Ohne Protokoll gibt es keinen Vorfall – nur ein ungutes Gefühl.
Häufige Fragen (FAQ)
?Ist das ein Fehler in der Anwendung, den der Hersteller einfach patchen kann?
Nein, und genau das ist der unangenehme Teil. Das BSI hat dazu eine eigene Cybersicherheitswarnung veröffentlicht, und schon deren Titel sagt alles: „Indirect Prompt Injections – Intrinsische Schwachstelle in anwendungsintegrierten KI-Sprachmodellen“. Intrinsisch heißt: Die Lücke steckt nicht in einer schlampigen Zeile Code, sondern in der Bauweise. Ein Sprachmodell bekommt Systemvorgabe, Nutzereingabe und den Inhalt der angebundenen Mail, Datei oder Webseite als einen einzigen Strom Text. Es gibt darin keinen technischen Trennstrich zwischen „das ist Auftrag“ und „das ist Material“. Ein Satz in einer fremden Datei kann deshalb genauso wirken wie eine Anweisung des Nutzers. Filter und Systemprompts erschweren das, aber sie schaffen die Trennung nicht nachträglich herbei. Wer auf einen künftigen Patch wartet, wartet auf die falsche Sache.
?Wie sieht so eine versteckte Anweisung in der Praxis aus?
Unauffällig. Das BSI beschreibt den Ablauf nüchtern: Sprachmodelle werden eingesetzt, „um Textdokumente automatisiert zu verarbeiten“, und dabei sind sie anfällig für sogenannte Indirect Prompt Injections: „Angreifende können die Daten in diesen Quellen manipulieren und dort unerwünschte Anweisungen für LLMs platzieren“. Die Quelle kann eine E-Mail sein, ein PDF im geteilten Ordner, ein Kommentar in einer Tabelle, der Text einer Webseite, die der Assistent zusammenfassen soll. Der Text muss für den Menschen nicht einmal sichtbar sein – weiße Schrift, ein Kommentarfeld, eine Fußzeile reichen. Der Anwender sieht die Zusammenfassung, die er bestellt hat. Was der Assistent nebenbei noch getan hat, steht nirgends.
?Was kann dabei überhaupt passieren?
So viel, wie der Assistent darf – nicht mehr, aber auch keinen Deut weniger. Ein Modell, das nur Text ausgibt, kann durch untergeschobene Anweisungen falsch zusammenfassen, etwas verschweigen oder den Nutzer in eine bestimmte Richtung schubsen. Das BSI weist im Lagebericht darauf hin, dass maliziöse Akteure LLMs bereits manipulieren, „um bestimmte Narrative zu verstärken, Produktwahl oder Preise zu verändern“. Ein Modell mit Werkzeugen ist eine andere Nummer: Wer Mails lesen und senden darf, kann Inhalte nach außen tragen; wer Dateien schreiben darf, schreibt Dateien; wer Bestellungen auslöst, löst Bestellungen aus. Die Rechte des Assistenten sind die Obergrenze des Schadens. Das ist die einzige Stellschraube, die wirklich zuverlässig wirkt.
?Hilft es, dem Modell in der Systemvorgabe zu sagen, es solle Anweisungen in Dokumenten ignorieren?
Es hilft ein bisschen und trägt nicht. So eine Anweisung ist selbst nur Text im selben Eingabestrom – sie konkurriert mit dem untergeschobenen Text, statt über ihm zu stehen. Das ist kein Rechteschutz, sondern eine Bitte. Nimm sie mit, weil sie billig ist, aber baue keine Entscheidung darauf. Die belastbaren Maßnahmen liegen außerhalb des Modells: weniger Rechte, kein automatischer Versand, eine Bestätigung durch einen Menschen vor jeder Handlung mit Außenwirkung.
Belege
Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.