Datenvergiftung und Manipulation von KI Wie unsichere KI-Systeme zur Bedrohung für Unternehmen werden

Anbieter zum Thema

Box Deutschland GmbH

sysob IT-Distribution GmbH & Co. KG

FAST LTA GmbH

FTAPI Software GmbH

Die Nutzung von unsicheren KI-Systemen birgt für Unternehmen erhebliche Risiken, da unkontrollierte Datenmanipulation zur Datenvergiftung führen kann. Es gilt daher Sicherheitsrichtlinien entwickeln, um sensible Informationen zu schützen und die KI-Ergebnisse zu überprüfen. Noch fehlen aber Mechanismen, maschinell generierten Code zu identifizieren und potenzielle Schwachstellen zu verhindern.

Mit der zunehmenden Nutzung von künstlicher Intelligenz im Geschäftsumfeld stehen Qualität und Sicherheit der zugrundeliegenden Daten immer mehr im Mittelpunkt. Denn die mangelnde Kontrolle über den Input vieler Daten in ein Large Language Model (LLM) kann zu Datenvergiftung führen und macht angemessene Sicherheitsstandards unverzichtbar.

In diesem Kontext beschreibt der Begriff Datenvergiftung die Manipulation von Trainingsdaten, um die Leistung und das Verhalten einer KI zu verfälschen. Die großen, wichtigen LLMs sind in gewisser Weise für jedermann zugänglich – sie operieren offen, ohne spezielle Beschränkungen für ihre Nutzer oder Kontrolle darüber, was diese in das Modell einspeisen. Diese Systeme sind weder dafür ausgelegt, Daten zu “vergessen”, noch können fehlerhafte Daten entfernt werden. Daher müssen Sicherheitsverantwortliche gewährleisten, dass KI-Tools nur die richtigen Informationen erhalten und das System ausschließlich für einen gewissen Personenkreis zugänglich ist.

Viele Unternehmen sind sich über die Risiken der KI-Nutzung im Klaren – jedoch nicht darüber, wie sie sich dagegen schützen können. Bis dato gibt es weder eine Daten-Firewall noch eine Möglichkeit, externe KI-Modelle vollständig zu sanktionieren. Daher sollte unsere Aufmerksamkeit auf der Sicherheit und dem Wahrheitsgehalt der Daten liegen, mit denen wir die Modelle füttern, sowie auf den Ergebnissen, die diese letztendlich liefern.

Nutzerabhängigkeit fällt KI zur Last

Eines der größten Probleme in diesem Zusammenhang ist das fehlende Wissen darüber, wie die Plattformen funktionieren und wer ihre Nutzer sind. Durch die große Abhängigkeit der KI-Systeme von ihren Nutzern können Daten eingefügt werden, die fehlerhaft sind, ohne sie zunächst als solche zu erkennen. Es ist also fast unmöglich, festzustellen, woher Inhalte stammen und wie wahrheitsgemäß diese sind. Das beginnt bereits im Training der Modelle. Häufig wissen wir nicht, wie die großen, offenen KI-basierten Systeme ausgebildet wurden und welchen Richtlinien sie folgen. Klar ist: Sie wird von ihren Nutzern geformt. Und zwar nicht nur von denen des eigenen Unternehmens, sondern auch von anderen Unternehmen.

Das bringt eine Reihe an Sicherheitsherausforderungen mit sich, denn die Modelle können nicht verlernen und Unternehmen müssen daher vorab sicherstellen, dass sensible Daten nicht an die falsche Zielgruppe gelangen. Je nach Modell kann ein solches Data Leak die Wahrscheinlichkeit für etwaige Cyberangriffe erhöhen, was wiederum das Vertrauen von Organisationen in die KI beeinträchtigt.

Jede Industrie braucht eigene Sicherheitsrichtlinien

Um diesen Risiken zu begegnen, müssen Unternehmen Überprüfungs- und Validierungsverfahren für KI-Modelle und deren Ergebnisse einführen. Ähnlich zu den Industriestandards braucht es ein “Qualitätssiegel” für KI-Modelle. Unternehmen und deren Mitarbeiter müssen wissen, wie Technologieanbieter mit ihren Daten umgehen, diese sichern und verschlüsseln. Damit ein KI-Modell in Unternehmen sicher eingesetzt werden kann, sollte es zudem auf einen bestimmten Benutzerkreis beschränkt sein, um einen unbefugten Zugriff auf vertrauliche oder geschützte Daten zu verhindern. Dieses kann dann schrittweise erweitert werden, unter Berücksichtigung der Erkenntnisse aus der initialen Nutzung.

Es ist und bleibt auch in Zukunft eine große Herausforderung, maschinell erzeugten Code von menschlich geschriebenem zu unterscheiden. Sollte maschinengeschriebener Code problematisch sein, muss er markiert werden, um eine schnelle Entfernung oder Korrektur zu ermöglichen. Aktuell integriert sich der von KI erzeugte Code nahtlos in den bestehenden Code, wodurch es schwierig wird, die Quelle zu identifizieren. Da die Übergänge fließend sind, benötigen wir einen klaren Mechanismus zur Abgrenzung oder Identifizierung von KI-basiertem Material.

Erfahrungswerte sind der Schlüssel für nachhaltige Integration

Um das wahre Risiko von KI wirklich messen zu können, muss ihre Nutzung ähnlich wie bei etablierten Technologien wie der Cloud ausgeweitet und die Datenmenge erhöht werden. Je mehr KI eingesetzt und missbraucht wird, desto mehr Risiken werden wir entdecken. Die Gefahr besteht jedoch darin, gewisse Risiken nicht rückgängig machen zu können. Daher muss sichergestellt werden, dass ein Modell aus unseren Daten lernt, und der Zugriff auf seine Ergebnisse streng kontrolliert wird, um sensible Informationen zu schützen.

Für Sicherheitsexperten ist “Zero Trust” zu einem Mantra geworden. Starke Sicherheitsinfrastrukturen sind die Grundlage für sichere Plattformen, weshalb es das Hauptziel von CISOs ist, sicherzustellen, dass KI richtig eingesetzt wird und ihre Funktionen sicher sind. Es ist von entscheidender Bedeutung, dass alle grundlegenden Sicherheitsaspekte bei der Bewertung von KI-Tools berücksichtigt werden. Dazu gehören Identitäts- und Zugriffsmanagement, Verschlüsselung, Benutzerkontrolle, Schwachstellen-Patching und vieles mehr. Bereits vorgenommene Versuche, Sicherheitsstandards für die Entwicklung und den Einsatz von KI zu schaffen, adressieren diese Bedenken und spiegeln die Idee des “Zero Trust” wider. Unter Berücksichtigung der bestehenden Risiken und der Entwicklung von Sicherheitsstandards wird das Vertrauen in KI weiterwachsen.

Über den Autor: Julien Soriano ist CISO von Box.

(ID:50151695)