Risiken für Künstliche Intelligenz Data Poisoning – die schleichende Gefahr für KI und Gesellschaft

Anbieter zum Thema

Fsas Technologies GmbH

FAST LTA GmbH

FTAPI Software GmbH

Angreifer vergiften Trainingsdaten und lenken KI in falsche Bahnen. Security-Teams können Manipulation durch Data Poisoning und Risiken für LLM und RAG mit einer „AI Bill of Materials“, Anomalieerkennung und gezielten Schutzmaßnahmen erkennen verhindern und so die Integrität von Entscheidungen sicherstellen.

Künstliche Intelligenz (KI) hat sich längst zu einem fundamentalen Element vieler Entscheidungsprozesse entwickelt. Sprachmodelle wie ChatGPT oder KI-Assistenten wie Mistral Le Chat bestimmen mit, wie wir sowohl im beruflichen als auch privaten Kontext Informationen aufnehmen, Inhalte generieren und Strategien entwickeln – häufig auch ohne, dass dies offen kommuniziert wird. KI-Agenten können sogar autonom handeln und dynamisch auf ihre Umgebung reagieren. Doch je stärker wir KI-Systeme in zentrale Prozesse einbinden, desto größer wird auch das Risiko. Eine der aktuell am meisten unterschätzten Bedrohungen: Data Poisoning – die gezielte Manipulation von Trainingsdaten, auf deren Grundlage KI ihre Entscheidungen trifft oder Schlussfolgerungen zieht.

Im Unterschied zu klassischen Cyberangriffen, bei denen Systeme direkt angegriffen oder infiltriert werden, ist die Gefahr des Data Poisoning subtiler. Angreifer platzieren gezielt falsche oder verzerrte Inhalte in öffentlich zugängliche Quellen ein – in der Hoffnung, dass diese später von KI-Systemen als Trainingsdaten verwendet und verarbeitet werden. Solche Angriffe erfordern keinen Systemzugriff, da die Veröffentlichung manipulierter Daten oder Modelle oft legitim erscheint. Besonders betroffen sind sogenannte Retrieval-Augmented Generation (RAG)-Modelle, die fortlaufend auf externe Informationen zugreifen – selbst nach der Trainingsphase.

OWASP LLM Security Top 10

Die größten KI-Risiken – und wichtigsten Schutzmaßnahmen

Ein weit verbreitetes Missverständnis besteht darin, dass minimale Veränderungen in Trainingsdaten keine spürbaren Effekte hätten. Studien zeigen allerdings, dass allein die Manipulation von 0,01 Prozent der Daten ausreichen kann, um das Verhalten großer Sprachmodelle messbar zu verändern. Selbst kleinste Mengen manipulierter Inhalte können also langfristig zu inhaltlichen Verzerrungen führen, Desinformation verstärken oder automatisierte Entscheidungen negativ beeinflussen – häufig, ohne dass es Nutzerinnen und Nutzern überhaupt auffällt. Die Grenze zwischen Manipulation, Fehlern und legitimer Vielfalt ist schwer zu ziehen. Hinzu kommt, dass bei kommerziellen Modellen meist keine Transparenz darüber besteht, auf welchen Daten sie basieren, und damit auch nicht darüber, wie anfällig sie für solche Eingriffe sind.

Wenn KI zur Zielscheibe geopolitischer Interessen wird

Zwei Entwicklungen machen Data Poisoning zu einer realen und akuten Bedrohung: Einerseits steigt die Abhängigkeit von KI-gestützten Systemen rapide, da immer mehr Unternehmen, Institutionen und Privatpersonen diese für Informationsgewinnung oder Entscheidungsfindung nutzen, wodurch gesellschaftliche und wirtschaftliche Prozesse zunehmend verwundbar werden. Andererseits beobachten wir angesichts geopolitischer Spannungen eine Professionalisierung von Des­in­for­ma­ti­ons­kampagnen, die gezielt auf das Training oder die Informationsbeschaffung von KI-Assistenten zielen, um die Wahrnehmung ihrer Nutzer zu beeinflussen.

Anfang des Jahres konnte beispielsweise gezeigt werden, wie pro-russische Akteure gezielt öffentlich zugängliche Online-Quellen manipuliert haben, um Einfluss auf KI-Systeme zu nehmen. Dabei wurden über Monate hinweg zahlreiche scheinbar harmlose Beiträge in Diskussionsforen, Blog-Kommentaren und Online-Enzyklopädien platziert – etwa mit Falschaussagen wie „der Ukraine-Konflikt, der bereits 2014 durch westliche Provokationen ausgelöst wurde“. Die Inhalte waren so gestaltet, dass sie automatisierten Systemen Seriosität und inhaltliche Unbefangenheit suggerieren. Weil viele KI-Modelle auf solche frei verfügbaren Inhalte zurückgreifen – sei es im Training oder in Echtzeitanfragen –, können manipulierte Narrative unbemerkt in ihren Output einfließen und dort als vermeintlich neutrale Fakten erscheinen. Als Folge dieser Des­in­for­ma­ti­ons­kampagne ließen sich in mehreren Fällen manipulierte Formulierungen direkt in den Antworten großer Sprachmodelle nachweisen.

ChuanhuChatGPT, Lunary und LocalAI

Schwere Sicherheitslücken in KI-Sprachmodellen

Was Unternehmen jetzt tun müssen

Unternehmen sind dieser Entwicklung jedoch keineswegs hilflos ausgeliefert. Entscheidend ist, die Risiken ernst zu nehmen und sie in dem Maß zu behandeln, in dem KI-Technologien eingesetzt werden. Für Unternehmen, die KI-Modelle trainieren, bedeutet das unter anderem, externe Trainingsdaten zu prüfen und zu filtern, ungewöhnliche Muster oder Veränderungen zu identifizieren und unzuverlässige Daten zu entfernen. Ebenso wichtig ist es, private Daten und interne IT-Systeme mit modernen Sicherheitsmaßnahmen zu schützen, um Manipulationen innerhalb der eigenen Infrastruktur zu verhindern. Eine vollständige Dokumentation aller Trainingsquellen – ein sogenannter „AI Bill of Materials“ – ist ein erster notwendiger Schritt, um Risiken wie Data Poisoning zu erkennen und zu minimieren. Mehr Transparenz über verwendete Datenquellen kann den Nutzern von KI-gestützten Tools zudem eine eigene Risikobewertung ermöglichen.

Weiter können Unternehmen, die KI-basierte Tools entwickeln oder intensiv nutzen, durch systematische Anomalieerkennung, Cross-Validierung mit mehreren Modellen oder Ansätzen sowie Performance-Monitoring nach unerwarteten Verhaltensänderungen suchen. Im Falle von Abweichungen sollten Daten- und Modellquellen auf mögliche Manipulationen untersucht werden. Gleichzeitig müssen Mitarbeitende, die mit KI-Assistenten oder Agenten arbeiten, für die möglichen Risiken geschult und sensibilisiert werden. Denn nur, wer Quellen kritisch hinterfragt und Ergebnisse regelmäßig validiert, kann Manipulation frühzeitig erkennen – und Gegenmaßnahmen ergreifen.

OWASP Machine Learning Security – Top 10

Die zehn größten Bedrohungen für ML

Die Zukunft gestalten: Klare Regeln, offener Diskurs

Langfristig reichen technische Lösungen allein nicht aus. Es braucht eine politische Debatte darüber, wer festlegt, welche Daten als Trainingsgrundlage akzeptabel sind und wie solche Entscheidungen demokratisch legitimiert werden können. Derzeit liegt diese Verantwortung bei wenigen großen Tech-Konzernen, die sowohl die Auswahl der Trainingsdaten als auch die Festlegung ethischer Leitlinien und Kontrollmechanismen bestimmen. Diese Intransparenz birgt das Risiko, dass KI-Systeme unbeabsichtigt bestimmte Narrative verstärken oder Falschinformationen verbreiten.

Vertrauen in KI entsteht nicht allein durch Technologie, sondern durch Transparenz, klare Regeln, unabhängige Kontrolle und einen offenen gesellschaftlichen Diskurs. Wenn wir diese Diskussion nicht führen, wird aus einer bislang unsichtbaren Schwachstelle ein systemisches Risiko. Data Poisoning ist keine entfernte Zukunftsbedrohung, sondern eine akute Herausforderung. Je stärker wir auf KI vertrauen, desto wichtiger wird es, sie aktiv vor Manipulation zu schützen. Unternehmen, Politik und Gesellschaft sind gefordert, jetzt zu handeln – besonnen, faktenbasiert und mit Weitblick.

Über den Autor: Pierre Delcher ist Head of Cyber Threat Research bei HarfangLab.

Generative KI

Risiken von Large Language Models

(ID:50517933)