Forschung gegen Deepfakes Fraunhofer-Institut bekämpft Desinformation

Anbieter zum Thema

Fraunhofer-Institut für Sichere Informations- technologie SIT

Fujitsu Technology Solutions GmbH

FTAPI Software GmbH

Arvato Systems GmbH

Deepfakes und Rage Bait erreichen Jugendliche online massenhaft. Das Fraunhofer SIT entwickelt im Projekt „Vampir“ Maßnahmen für Plattformen und Schulen, um Desinformation schneller einzudämmen.

Falsche oder irreführende Informationen verbreiten sich heutzutage rasend schnell. Jungen Menschen erreichen diese vor allem über TikTok, Instagram, YouTube oder andere Social-Media-Kanäle und Videoplattformen. Diese sind ein attraktives Ziel für Desinforma­tions­kam­pag­nen. Deshalb untersuchen Forschende des Fraunhofer-Instituts für Sichere Infor­ma­tions­tech­no­logie (SIT) gemeinsam mit einem interdisziplinären Team Methoden zur Erkennung und Bekämpfung von Desinformationen in Videos. Ziel des neu gestarteten Projekts „Vampir – Videonutzung in der Adoleszenz: Manipulation, Propaganda, Information und Resilienz“ ist die Entwicklung von technischen und pädagogischen Hilfsmitteln zur Desinformations­be­kämpf­ung bei Jugendlichen. Die Ergebnisse richten sich an Plattformbetreiber, Schulen und Ju­gend­schutz-Organisationen.

Schutz vor Reputationsschäden und Sabotage

So bedroht Desinformation Unternehmen

Analyse von Desinformation in Video und Bild

Dem Fraunhofer-Institut nach sind besonders emotional aufgeladene Beiträge („Rage Bait“) sowie von KI erzeugte Deepfakes und „Cheapfakes“, also einfache Manipulationen, die Vi­deo­plattformen überfluten, problematisch. Diese würden gezielt zur politischen Beeinflus­sung eingesetzt und zudem oft der Verleumdung einzelner Personen sowie der bewussten Ma­ni­pu­lation von Zuschauerinnen und Zuschauern dienen. Im Rahmen des Projekts Vampir sollen auch die Rollen von Beteiligten am Ökosystem der Desinformationen werden betrachtet, bei­spielsweise die von Influencern.

Technisch analysieren die Forschenden des Fraunhofer SIT, wie sich Desinformationen und Deepfakes von Randplattformen wie Telegram auf Mainstream-Dienste wie TikTok ausbreiten. Über die Analyse großer Datenmengen aus den Plattformen sollen typische Ver­brei­tungs­mus­ter erkannt und automatisierte Erkennungsmethoden entwickelt werden. Darüber hinaus werden die Forschenden KI-gestützte Verfahren zur Erkennung von Deepfakes, manipulierten Videos und Bildern entwickeln. Hierfür untersuchen sie die Metadaten von Bild- und Au­dio­daten sowie Bildern und analysieren diese mithilfe datenbasierter und modellgestützter Ver­fahren aus dem Bereich Computervision und Audio-Processing.

Forschende aus Medienpsychologie und Kommunikationswissenschaften im Vampir-Team untersuchen parallel dazu, wie sich bildgestützte Desinformation von textbasierter un­ter­schei­det und welche spezifische Wirkung Fake-Bilder und -Videos auf Jugendliche haben. Darauf aufbauend entwickeln die Forschenden Strategien zur Stärkung der Medienkompetenz bei Jugendlichen. Wichtig ist dem Institut dabei, kein pauschales Misstrauen gegenüber allen Medien zu erzeugen.

Daneben sollen Rechtswissenschaftlerinnen und -wissenschaftler den rechtlichen Rahmen beleuchten: Welche Regeln gelten bereits, etwa durch den Digital Services Act oder die KI-Verordnung der Europäischen Union? Wo bestehen Lücken beim Schutz junger Nutzerinnen und Nutzer?

KI-Fälschungen sind visuell kaum noch erkennbar

Wie IT-Forensiker Deepfakes aufdecken

Werkzeugkasten gegen Desinformation

Das Ziel des Projekts ist die Entwicklung eines Werkzeugpakets. Technischen Desinformations-Erkennungsmethoden sollen Plattformbetreiber künftig zur Verfügung gestellt werden. Me­dienaufsichtsbehörden, Jugendschutzorganisationen, Schulen und andere Bildungs­ein­rich­tungen erhalten die medienpsychologischen Erkenntnisse sowie die entwickelten päda­go­gischen Maßnahmen. Die rechtlichen Empfehlungen richten sich an politische Ent­schei­dungs­trä­ger und seien auf weitere Bereiche digitaler Informationsverbreitung anwendbar. Dazu ge­hören auch Workshops, etwa für Journalistinnen und Journalisten sowie Juristinnen und Ju­risten und Kooperationen mit zivilgesellschaftlichen Initiativen.

Das Projekt des Fraunhofer-Instituts in Zusammenarbeit mit Kommunikations­wis­sen­schaft­lerinnen und -wissenschaftlern der Hochschule der Medien Stuttgart, Rechtswis­sen­schaft­ler der Universität Kassel, Kommunikationswissenschaftler der Technischen Hochschule Köln sowie Medienpsychologinnen und -psychologen der Universität Duisburg-Essen läuft vom 1. April 2026 bis 31. März 2029 und wird vom Bundesministerium für Forschung, Technologie und Raumfahrt gefördert.

Nato-Cyberabwehrübung „Locked Shields“

Hybride Attacken nehmen weiter zu

(ID:50826352)