Deepfakes, Betrug und unsichere Inhalte 2025 gab es 346 KI-Vorfälle, ChatGPT am häufigsten beteiligt

Anbieter zum Thema

Fsas Technologies GmbH

Mit der zunehmenden Nutzung von Künstlicher Intelligenz steigt auch die Anzahl der Vorfälle, bei denen diese missbraucht oder manipuliert wird. 2025 gab es AI Incidentens 346 KI-Vorfälle. An 35 davon war ChatGPT be­teiligt.

346 KI-Vorfälle wurden 2025 dokumentiert – zumindest AI Incidentens zufolge. Dabei han­delt es sich um eine Datenbank, die von Responsible AI Collaborative (RAIC), einer un­ab­häng­igen gemeinnützigen Organisation, betrieben und gepflegt wird. Cybernews hat sich diese Datenbank und die darin gelisteten Sicherheitsvorfälle des vergangenen Jahres genauer an­ge­sehen.

Cybercrime 2.0

Cyberkriminelle steigern ihre Effizienz mit Agentic AI

KI wird am häufigsten für Deepfakes missbraucht

Das Forschungsteam von Cybernews hat die KI-Vorfälle in die drei Kategorien Deepfake, Betrung und unsichere Inhalte eingeteilt. Deepfakes war mit 179 gelisteten Vorfällen die häufigste Kategorie, wofür Stimmen-, Video- oder Bildimitationen genutzt wurden. Die Opfer reichten von Politikern, CEOs und anderen Persönlichkeiten des öffentlichen Lebens bis hin zu Privatpersonen. Betrug liegt mit 132 gelisteten Fällen auf Platz zwei, wobei 107 Fälle mit Deep­fake-Technologie verursacht wurde.

Viele dieser Betrügereien seien aufgrund ihrer zielgerichteten und realistischen Darstellung erfolgreich gewesen, da die Opfer glaubten, mit vertrauten Personen, darunter auch An­ge­hör­igen, zu sprechen. Cybernews hob einen Fall hervor, in dem eine Frau aus Florida 15.000 US-Dollar verlor, nachdem Betrüger die Stimme ihrer Tochter mit Deepfake-Technologie nach­ahm­ten. Ein weiteres Paar aus Florida verlor 45.000 US-Dollar, da sich Betrüger sich mit Deep­fakes als Elon Musk ausgaben, dem Paar ein Auto versprachen und gefälschte Inves­ti­tions­mög­lich­keiten präsentierten. In einem weiteren Fall verlor eine britische Witwe eine halbe Million Pfund durch einen Liebesbetrug, bei dem sich Kriminelle als Schauspieler Jason Momoa aus­ga­ben.

KI-Vorfälle der Kategorie „unsichere Inhalte“ gab es Cybernews zufolge 37 im Jahr 2025. Immer mehr Menschen suchen bei KI-Chatbots Rat und emotionale Unterstützung. Dementsprechend gab es viele Fälle, in denen diese Chatbots gefährliche oder sogar lebensbedrohliche Ratschläge gaben. Das erschreckendste Beispiel ist das eines 16-jährigen Jungen der Suizid beging, nach­dem ChatGPT angeblich seine Suizidgedanken bestärkt hatte, anstatt ihm zu raten, sich Hilfe zu holen. OpenAI bestreitet jedoch jeglichen Zusammenhang zwischen ChatGPT und dem Tod des Jugendlichen. Den Recherchen der Cybernews-Forscher zufolge reichen die derzeitigen Schutz­mechanismen in gängigen Chatbots nicht aus und können manipuliert werden, wes­wegen sie unsichere Inhalte ausgeben. Um dies nachzuweisen, hat ein australischer IT-Experte den bel­gischen Chatbot Nomi getestet, der ihn auf entsprechende Aufforderungen hin, darin be­stätigt hat, einen Mord zu begehen.

KI-Betrug

Wissenschaft und Industrie gegen die Deepfake-Gefahr

ChatGPT am häufigsten an KI-Vorfällen beteiligt

In einigen Fällen, die der AI-Incidentens-Datenbank gelistet sind, wurden die genutzten KI-Tools namentlich genannt. Dabei wurde ChatGPT mit 35 Fällen am häufigsten erwähnt. Die Vorfälle mit ChatGPT reichten von Urheberrechtsverletzungen vor einem deutschen Gericht bis hin zu dokumentierten Fällen, in denen Nutzer – darunter auch Personen ohne frühere psychische Probleme – schizophrene Symptome oder voll ausgeprägte psychotische Episoden erlebten, nachdem sie längere Zeit mit generativen AI-Chatbots interagiert hatten, was in ein­igen Fällen sogar zu psychiatrischen Krankenhausaufenthalten oder Suizidversuchen führte.

Grok, Claude und Gemini folgten jeweils mit elf Vorfällen auf AI Incidents. Da in den meisten genannten Fällen aus der Datenbank kein bestimmtes KI-Tool genannt wurde, gehen die For­scher von Cybernews davon aus, dass die tatsächliche Anzahl der Fälle, die mit diesen Tools verbunden sind, deutlich höher ist.

Out of Control?

So halten Sie KI-Bots in Schach

Security-Learning

Die registrierten sicherheitskritischen Vorfälle mit Künstlicher Intelligenz zeigen, dass Nutzer den Antworten der Chatbots vertrauen. Dies wird durch Deepfakes begünstigt, die oftmals so realistisch sind, dass selbst die betroffen Personen einer Täuschung unterliegen. Die Fälle ver­deutlichen, wie riskant es ist, wenn KI ohne die nötigen Sicherheitsvorkehrungen eingesetzt wird, insbesondere bei sensiblen Themen wie emotionaler Unterstützung und Krisen­be­wäl­ti­gung. Wer KI und Chatbots nutzt, sollte die Antworten kritisch hinterfragen, da diese mani­pu­liert sein könnten. Gleichzeitig sind die Hersteller aufgerufen, robustere Sicher­heits­mecha­nis­men zu entwickeln. Für Unternehmen sind klare Richtlinien für den Einsatz von Chatbots und Large Language Models essenziell.

Kommentar von Alexander Waldmann, Applause

KI-Agenten und IT-Sicherheit – neue Herausforderungen für Unternehmen

(ID:50702065)