Deepfake-Erkennung Fraunhofer SIT zeigt Deepfake-Detektor für Videokonferenzen

Ein Prototyp des Fraunhofer SIT soll in laufenden Videocalls gefälschte Gesichter und Stimmen erkennen. Auf Benchmark-Datensätzen erreicht er einen F1-Score von 0,93. Für echte Konferenzbedingungen ist er noch nicht getestet, und bei unbekannten Fälschungsverfahren bricht die Erkennung ein.

Forscher des Fraunhofer-Instituts für Sichere Informationstechnologie (SIT) haben einen Deepfake-Detektor für Live-Videokonferenzen entwickelt. Der Prototyp ist ein funktionsfähiger Forschungsaufbau, aber noch kein marktreifes Produkt. Für jedes Gesicht im Bild berechnet das System, wie wahrscheinlich es per Face Swapping ausgetauscht oder KI-generiert ist. Die Stimme prüft es ebenfalls. Vorgestellt wurde der Detektor auf der it-sa in Nürnberg am Stand des Forschungszentrums ATHENE.

Das Einsatzszenario ist CEO-Fraud per Videocall. Angreifer geben sich mit einem Deepfake als Vorgesetzte aus und veranlassen Mitarbeiter zu Überweisungen. Der Ingenieurkonzern Arup verlor so rund 25 Millionen US-Dollar.

Wie verbreitet solche Angriffe inzwischen sind, zeigt die Wirtschaftsschutzstudie des Bitkom: Acht Prozent der deutschen Unternehmen ist im vergangenen Jahr ein Schaden durch Deepfakes entstanden, doppelt so viele wie im Vorjahr. Bei automatisierten Robo-Calls stieg der Anteil laut der Befragung von 1.003 Unternehmen von drei auf 14 Prozent.

Mit bloßem Auge sind solche Fälschungen kaum zu erkennen. Laut einer Erhebung von BSI und Polizei trauen sich das zwar 47 Prozent der Internetnutzer in Deutschland zu, 32 Prozent haben aber noch nie eine gängige Prüfmethode angewendet.

Vom Fact-Checking zur Vertrauensarchitektur

Gartner: Wie Behörden bis 2028 die Deepfake-Krise eindämmen wollen

Zwei Modelle

Das primäre Modell ist ein Klassifikator, trainiert mit echten und manipulierten Videodaten. Er analysiert jedes erkannte Gesicht einzeln und gibt einen Wahrscheinlichkeitswert aus. In einem zweiten Modus markiert eine farbige Heatmap per Grad-CAM (Gradient-weighted Class Activation Mapping) die Bildbereiche, die das Urteil am stärksten beeinflusst haben.

Das zweite Modell, ein Segmentierungsmodell, sei noch in Entwicklung. Es analysiere lokale Unterschiede im Bildrauschen: Wo ein Gesichtsbereich ausgetauscht wurde, verhalte sich das Rauschen anders als im übrigen Bild, so das Fraunhofer SIT. Weil das Modell keine Artefakte bestimmter Fälschungswerkzeuge sucht, soll es auch Verfahren erkennen, die es nie gesehen hat. Dasselbe Ziel verfolgen die FAU Erlangen-Nürnberg und Secunet bei manipulierten Bildern, allerdings mit vortrainierten neuronalen Netzen.

Benchmark-Werte gelten nicht für Live-Calls

Auf vier Benchmark-Datensätzen erreicht das Gesichtsmodell nach Angaben des Instituts einen gemittelten F1-Score von 0,93. Der Wert fasst Trefferquote und Präzision zusammen, 1,0 wäre fehlerfrei. Die Audio-Erkennung kommt auf Testsets auf 0,9.

Diese Zahlen seien nicht repräsentativ für Live-Deepfakes, räumt das Institut selbst ein, da Videos in der Praxis andere Eigenschaften hätten. Wie stark Kompression, schwankende Bandbreite, Gesichtsfilter oder schlechtes Licht die Genauigkeit senken, hat das Team noch nicht untersucht.

Das größere Problem sei die Generalisierung. Bei Fälschungsverfahren, die nicht im Training vorkamen, breche die Erkennungsrate ein. Zwei SIT-Wissenschaftler hatten das bereits in einem Gastbeitrag zur Deepfake-Forensik beschrieben: Klassische Verfahren seien jeweils nur für eine bestimmte Angriffsart empfindlich, KI-Detektoren müssten laufend nachtrainiert werden. Teilweise gleicht der neue Detektor das mit einer Mehrheitsentscheidung über mehrere Frames aus. Da sich die Personen in einem Videocall kaum ändern, lasse sich das Urteil über die Zeit absichern. Das helfe vor allem, wenn ein Gesicht nicht frontal zur Kamera zeigt.

Horizon-Europe-Projekt COMPASS untersucht Deepfake-Anfälligkeit

Wer fällt auf KI-Fälschungen herein?

Ein Frame alle 1,25 Sekunden, alles lokal

Das Gesichtsmodell analysiert alle 1,25 Sekunden einen Frame. Mit jedem weiteren Gesicht im Bild steigt die Latenz. Das Segmentierungsmodell braucht länger, bleibt aber laut Institut unter drei Sekunden. Für einen Betrugsversuch im Gespräch sei das schnell genug.

Die Analyse läuft vollständig auf einem leistungsstarken Gaming-Laptop, Videodaten gehen nicht an externe Server. Das erleichtert den Einsatz mit Blick auf Datenschutz und Betriebsrat. Den Videostrom greift der Detektor derzeit direkt ab oder liest das Bild vom Bildschirm aus. In einer fertigen Anwendung soll er direkt im Konferenzwerkzeug laufen.

Für die Stimme gibt es auch andere Ansätze. Das Projekt PADSE, an dem das Fraunhofer IDMT beteiligt ist, gleicht Audios mit Stimmprofilen realer Personen ab, statt nach generischen Merkmalen synthetischer Stimmen zu suchen. Die ETH Zürich setzt ganz auf Herkunft: Ihr Sensorchip signiert Aufnahmen schon im Gerät, damit sich die Echtheit nachweisen lässt, ohne Fälschungen erkennen zu müssen.

Partner gesucht

Ein Produkt gibt es noch nicht. Das Fraunhofer SIT will die Technik lizenzieren und sucht Partner für die prototypische Weiterentwicklung. Wann der Detektor marktreif sein könnte, hänge von der Resonanz der Anwender ab. Integrieren lasse sich der Detektor nur gemeinsam mit Anbietern von Videokonferenzlösungen, und dafür müsse man zuerst klären, mit welcher Bildqualität zu rechnen ist und wie die Einbindung ins Produktivsystem aussieht. Entwickelt wurde er am Fraunhofer Heilbronn Forschungs- und Innovationszentrum (HNFIZ).

(ID:50996107)