Layer 8Ehrlicher Tech-Support

Der Deepfake-Detektor sagt echt – das beweist nichts

Automatische Erkennung von Fälschungen ist ein Hinweis, kein Urteil. Warum ein grünes Ergebnis nichts freispricht und ein Chatbot dafür untauglich ist.

Aufwand:
ca. 15 Min.
Voraussetzung:
Das fragliche Material im Original, nicht als Weiterleitung, Die ursprüngliche Fundstelle, Die Bereitschaft, ein Ergebnis nicht zu glauben
Gilt für:
Werkzeuge zur Erkennung KI-generierter Bilder, Deepfake-Detektoren für Video und Audio, Chatbots, die zur Echtheitsprüfung befragt werden

Das Symptom

Ein Video kursiert, das nicht stimmen kann, oder ein Bewerbungsfoto wirkt zu glatt. Also durch einen der Online-Dienste geschickt, die Fälschungen erkennen sollen. Nach zwei Sekunden kommt ein Balken, eine Prozentzahl, ein grünes Häkchen: wahrscheinlich echt. Damit ist die Sache erledigt – die Datei wird weitergeleitet, das Bewerbungsfoto akzeptiert, der Verdacht abgehakt. Aus „ein Werkzeug hat nichts gefunden“ ist auf dem Weg dorthin unbemerkt „ist geprüft“ geworden.

Die „Layer 8“-Wahrheit

Ein Detektor beantwortet eine andere Frage, als man ihm stellt. Er sagt nicht, ob etwas echt ist, sondern ob es den Fälschungen ähnelt, die in seinen Trainingsdaten standen. Das BSI benennt das als Hauptproblem der ganzen Verfahrensklasse und schreibt, bei automatisierten Detektionsmethoden sei darauf hinzuweisen, dass sie häufig nur unter gewissen Rahmenbedingungen zuverlässig funktionieren; wechsle die Angriffsmethode, sei die Korrektheit der Ausgaben häufig nicht mehr gegeben. Für KI-generierte Bilder hält das BSI in seiner Verbraucherinformation fest, es sei aktuell keine Methode bekannt, die Bilder vieler Generatoren zuverlässig erkennt. Die Größenordnung liefert es gleich mit: In der Deepfake Detection Challenge 2020 erreichte selbst das beste Modell im Schnitt 65,18 Prozent – bei 50 Prozent für reines Raten.

Dazu kommt, dass ein Detektor nicht nur an neuen Verfahren scheitert, sondern gezielt zum Scheitern gebracht werden kann. Das BSI beschreibt ein Rauschen, das über das gefälschte Bild gelegt wird, für Menschen unsichtbar bleibt und den Detektor dazu bringt, die Fälschung nicht als solche einzustufen. Und es zieht in seinem Text zur Biometrie die nüchterne Bilanz, dass Angreifer, die ihre Methoden an die Gegenmaßnahmen anpassen, nach derzeitigem Stand nicht effektiv abgewehrt werden können – Gegenmaßnahmen erhöhen den Aufwand, mehr nicht.

Der Fehler liegt deshalb nicht darin, ein solches Werkzeug zu benutzen. Er liegt in der Asymmetrie, die dabei regelmäßig übersehen wird: Ein Treffer ist ein guter Grund, misstrauisch zu werden. Ein Nicht-Treffer ist kein Grund, es nicht mehr zu sein. Das gilt auch für den bequemsten Weg, einen Chatbot danach zu fragen – dessen Hersteller schreibt in der eigenen Dokumentation, das Modell könne nicht feststellen, ob ein Bild KI-generiert sei, und man solle sich dafür nicht darauf verlassen. Eine Antwort bekommt man trotzdem, in ganzen Sätzen und mit Begründung. Layer 8 ist hier der Wunsch nach einem Knopf, der die Frage beantwortet. Den gibt es nicht; es gibt nur die langweilige Alternative, nach der Herkunft zu fragen statt nach den Pixeln.

Die echte, verifizierte Lösung

1000 % faktenbasiert. Jeder Befehl ist real, jeder Pfad existiert. Schritt für Schritt:

  1. 1.

    Die Fragestellung richtig stellen

    Ein Detektor beantwortet nicht die Frage „ist das echt?“, sondern die Frage „ähnelt das den Fälschungen, die ich kenne?“. Das sind zwei verschiedene Fragen, und nur die zweite lässt sich mit einem trainierten Modell überhaupt beantworten. Wer das im Kopf hat, wird ein Ergebnis nie wieder als Urteil lesen.

  2. 2.

    Ein unauffälliges Ergebnis nicht als Entwarnung werten

    Das ist der eigentliche Fehler. Ein Treffer ist ein brauchbarer Alarm; ein Nicht-Treffer ist gar nichts. Das BSI schreibt zu den käuflichen und kostenlosen Erkennungsdiensten für KI-Bilder: „Diese Dienste garantieren aktuell zwar keine zuverlässige Erkennung, sie können aber überprüfbare Hinweise liefern und werden ständig verbessert.“ Überprüfbare Hinweise – nicht Ergebnisse.

  3. 3.

    Das Ergebnis nicht weitergeben, ohne es einzuordnen

    Sobald ein Prüfergebnis eine Ebene weitergereicht wird, verliert es seine Bedingungen: Aus „ein Werkzeug hat nichts gefunden“ wird in der nächsten Nachricht „geprüft, ist echt“. Wenn ein Detektorergebnis genannt wird, gehört dazu, welches Werkzeug es war und dass ein negatives Ergebnis nichts belegt. Ein Satz genügt, und er ist der einzige, der die Kette noch stoppt.

  4. 4.

    Auf Herkunft prüfen statt auf Pixel

    Das ist der Teil, der auch dann funktioniert, wenn die Fälschung technisch perfekt ist: Wer hat das Material zuerst veröffentlicht, wann, und gibt es unabhängige Aufnahmen desselben Vorgangs? Das BSI empfiehlt für Bilder ausdrücklich die Rückwärtssuche, das Hinterfragen der Quelle und die Suche nach weiteren Aufnahmen – und merkt an, dass es KI-generierte Bilder meistens nur aus einer Perspektive gibt, während es von realen Ereignissen häufig Aufnahmen mehrerer Augenzeugen gibt.

  5. 5.

    Bei ernsten Fällen an die Forensik abgeben, statt weiterzuklicken

    Das BSI trennt zwischen automatisierter Detektion und medienforensischer Untersuchung und schreibt zur zweiten, dass es damit für Expertinnen und Experten möglich sei, Fälschungen nachvollziehbar zu erkennen. Wenn an dem Material etwas hängt – eine Anzeige, eine Kündigung, eine Zahlung, ein öffentlicher Vorwurf –, ist das der Weg. Das Originalmaterial dafür unverändert aufbewahren: Weiterleitungen über Messenger rechnen es neu und zerstören genau die Spuren, um die es geht.

  6. 6.

    Die eigene Erwartung an die Zukunft anpassen

    Das BSI erwartet ausdrücklich, dass die manuelle Erkennung von Fälschungen in Zukunft immer schwieriger werden wird und die benötigte Datenmenge weiter sinkt. Wer seine Sicherheit darauf aufbaut, Fälschungen zu erkennen, baut auf ein Verfahren, das planmäßig schlechter wird. Wer sie darauf aufbaut, Herkunft und Kanal zu prüfen, nicht.

Häufige Fragen (FAQ)

?Warum funktionieren die Detektoren nicht einfach zuverlässig?

Weil sie selbst KI-Systeme sind und deren grundsätzliche Probleme erben. Das BSI schreibt dazu: „Insbesondere bei der Klasse der automatisierten Detektionsmethoden sollte darauf hingewiesen werden, dass sie häufig nur unter gewissen Rahmenbedingungen zuverlässig funktionieren.“ Als Hauptproblem nennt es die mangelhafte Generalisierbarkeit: Ein Detektor arbeitet auf Daten, die seinen Trainingsdaten ähneln, relativ zuverlässig – wechselt aber die Angriffsmethode, ist die Korrektheit der Ausgaben häufig nicht mehr gegeben. Für Bilder formuliert es das BSI noch deutlicher: „Es gibt zwar technische Möglichkeiten der Detektion, jedoch handelt es sich hierbei um ein aktives Forschungsfeld und es ist aktuell noch keine Methode bekannt, die zuverlässig Bilder vieler Generatoren erkennt.“

?Gibt es eine Zahl dazu, wie gut die Erkennung wirklich ist?

Das BSI nennt eine, und sie ist ernüchternd. Als Beleg für die mangelnde Generalisierbarkeit verweist es auf die Deepfake Detection Challenge (2020), „in welcher selbst das beste Modell lediglich eine durchschnittliche Genauigkeit von 65,18 Prozent erreichen konnte, wobei eine Genauigkeit von 50 Prozent durch bloßes Raten erreicht werden würde“. Das ist die Zahl aus einem Wettbewerb mit definierten Bedingungen, kein allgemeiner Messwert für heutige Werkzeuge – aber sie zeigt die Größenordnung des Abstands zwischen dem Anspruch eines Detektors und dem, was er im Ernstfall leistet.

?Kann man einen Detektor gezielt austricksen?

Ja, und zwar auf eine Weise, die man nicht sieht. Das BSI beschreibt adversariale Angriffe am konkreten Beispiel: Ein Angreifer legt ein gezieltes Rauschen über das manipulierte Bild. „Dieses Rauschen kann so klein sein, dass es für den menschlichen Betrachter nicht zu bemerken ist, hat jedoch für das Detektionsverfahren den Effekt, dass es die Fälschung nicht als solche klassifiziert.“ In seinem Text zur Biometrie zieht das BSI die allgemeine Bilanz: „Nach derzeitigem Stand können Angreifer, die ihre Methoden adaptiv an verwendete Gegenmaßnahmen anpassen, nicht effektiv abgewehrt werden. Dennoch können Gegenmaßnahmen den Aufwand für erfolgreiche Angriffe erhöhen.“ Aufwand erhöhen ist ein sinnvolles Ziel. Ein Urteil ist es nicht.

?Kann ich nicht einfach einen Chatbot fragen, ob ein Bild echt ist?

Das BSI führt diese Möglichkeit in seinen Empfehlungen auf – als eine Art, sich Hinweise geben zu lassen und diese anschließend selbst nachzuprüfen. Der Hersteller des Modells sagt dazu allerdings etwas sehr Deutliches. In der Dokumentation zur Bildverarbeitung von Claude steht unter den Grenzen wörtlich: „Claude cannot determine whether an image is AI-generated and might be incorrect if asked. Do not rely on it to detect fake or synthetic images.“ Auf Deutsch: Das Modell kann nicht feststellen, ob ein Bild KI-generiert ist, kann bei dieser Frage falsch liegen, und man soll sich für die Erkennung gefälschter oder synthetischer Bilder nicht darauf verlassen. Eine Antwort bekommt man trotzdem immer – und genau das ist die Falle.

Belege

Diese Seite ist gegen die folgenden Primärquellen geprüft – Hersteller, Standard oder Gesetzestext. Wer es nicht glaubt, muss es nicht: Da steht, wo es nachzulesen ist.

Zuletzt geprüft am . Dokumentation altert – ein Datum daneben ist der einzige ehrliche Umgang damit.

  • #Detektion
  • #Medienforensik
  • #Generalisierung
  • #BSI
  • #Adversariale Angriffe
  • #Grenzen der Technik

Verwandte Fehler

SWLästig

Fake-Shop erkennen: woran wirklich

Schloss-Symbol und Gütesiegel beweisen nichts. Woran ein Shop nach § 5 DDG und § 312j BGB messbar scheitert – und warum das mehr sagt als ein Bauchgefühl.