KI-Agenten vor Missbrauch schützen KI-Willkür: 3 Risiken und ihre Lösung

Anbieter zum Thema

Box Deutschland GmbH

Fsas Technologies GmbH

FAST LTA GmbH

FTAPI Software GmbH

Die Sicherheitsrisiken durch KI-Agenten sind ähnlich hoch wie deren Potenziale. Längst versuchen Angreifer, Schwachstellen zu finden, sie zu nutzen und Daten oder Geld abzugreifen. Sicherheitsverantwortliche stehen vor drei zentralen Herausforderungen, die jedoch alle eine Lösung haben.

KI-Agenten übernehmen zunehmend kritische Aufgaben – von der Berichtserstellung bis hin zum E-Mail-Versand an Kunden – und bringen damit neue Schwachstellen für Un­ter­neh­men mit sich. Gartner prognostiziert, dass bis Ende 2026 bereits 40 Prozent der Un­ter­neh­mens­an­wen­dun­gen aufgabenspezifische KI-Agenten integrieren werden. Aktuell nutzen bereits 87 Prozent der Organisationen KI-Agenten in irgendeiner Form, davon setzen 41 Prozent auf fortgeschrittene, vollständig autonome Abläufe, die zu deutlich höheren Produktivitätsgewinnen führen. Vor diesem Hintergrund ist es entscheidend, dass Un­ter­neh­men die drei dringendsten Sicherheitsrisiken angehen, bevor sie den Einsatz von KI-Agenten un­ter­neh­mens­weit ausweiten.

Neue Spielregeln für Un­ter­neh­men

Die große Hoffnung ist, dass KI möglichst viele Aufgaben übernimmt, im Idealfall sogar völlig autonom und dass wir dadurch alle produktiver werden. Un­ter­neh­men sämtlicher Branchen sind hierbei unterschiedlich weit fortgeschritten, doch so gut wie jeder beschäftigt sich mit diesem Thema. Doch weil dem alten Spruch nach Chance und Risiko immer Hand in Hand gehen, kommt mit großer KI-Autonomie auch große Verantwortung einher. Je mehr Un­ter­neh­men KI-Agenten für sich arbeiten lassen, umso mehr müssen sie sich auch um deren Sicherheit kümmern.

Wer heute als CISO (Chief Information Security Officer) in einem Un­ter­neh­men Verantwortung trägt, muss im Hinblick auf Agenten diverse neue Risiken bedenken, die automatisch mit dem Einsatz dieser Agenten einhergehen. Wenn Daten das Gold von heute sind und KI mit Daten arbeitet, dann werden neben Goldschürfern auch kriminelle Akteure hellhörig. Vor allem drei Punkte ragen bei der Reihe an Sicherheitsrisiken durch KI heraus.

Security-Insider Podcast – Folge 98

Wo Daten lagern, lauern Risiken!

Sicherheitsherausforderung 1: Mangelnde Diskretion

Eines der größten Sicherheitsrisiken bei der Nutzung von agentischer KI ist das Potenzial für das Offenlegen sensibler Inhalte. Im Gegensatz zu Menschen fehlt KI-Agenten die Diskretion. Sie geben alle Informationen weiter, die ihnen zugeführt wurden, selbst wenn diese ver­seh­ent­lich bereitgestellt wurden. Jedes Un­ter­neh­men, das mit Finanzdaten, Kundendaten oder sogar Gesundheitsdaten arbeitet, steht damit vor einer enormen Herausforderung. Gelangen diese an Unbefugte, droht ein Alptraum.

Zu den wichtigsten Sicherheitsmaßnahmen gehört das Prinzip der geringsten Privilegien bei Zugriffsrechten. Eine KI-Plattform sollte sicherstellen, dass Agenten ausschließlich auf Daten zugreifen können, für die sie tatsächlich autorisiert sind – und dafür regelmäßig die entsprechenden Berechtigungen prüfen. Entscheidend ist eine sichere RAG-Architektur (Retrieval-Augmented Generation), bei der sowohl Nutzer- als auch Agentenzugriffe sowie die Nutzung von KI-Funktionen strengen Berechtigungskontrollen unterliegen. Ohne solche Schutzmechanismen riskieren CISOs gravierende Datenlecks, die das Vertrauen der Kunden und die Einhaltung von Compliance-Vorgaben gefährden könnten.

Sicherheitsherausforderung 2: KI handelt unvorhersehbar

KI verhält sich anders als klassische Software. Dass sie nicht streng nach einem „Wenn A, dann B“-Schema handelt, ist ihr ureigenes Prinzip und kein Bug, sondern ein Feature. Dass KI auf dieselbe Eingabe mit unterschiedlichen Antworten reagieren kann, bringt durch eben diese Unvorhersehbarkeit leider aber auch Risiken. Das kann vom Offenlegen sensibler Informationen bis hin zum versehentlichen Löschen von Daten gehen.

Sicherheitsverantwortliche müssen sicherstellen, dass KI-Agenten nicht unrechtmäßig handeln. Trotz aller Automatisierung bleibt die beste Lösung, eine Ebene menschlicher Aufsicht einzubinden. Ein „Human in the Loop“-Ansatz sorgt dafür, dass Entscheidungen nicht vollständig autonom von den Agenten getroffen werden. Diese Aufsicht sollte durch robuste Tools und Sicherheitsvorkehrungen ergänzt werden, die kritische Aktionen der KI verhindern oder zumindest warnen und eine Freigabe erfordern. Durch diesen Freigabe-Layer lässt sich die Anzahl potenzieller Probleme deutlich reduzieren, die durch autonomes KI-Handeln aufgrund fehlerhafter Logik oder unvorhergesehener Situationen entstehen könnten.

Sicherheitsherausforderung 3: Angreifer verdrehen der KI den Kopf

Schon bei Menschen gilt, dass ihre Intelligenz zur Ursache für den eigenen Fall werden kann. Dieses Prinzip lässt sich insofern auf KI-Agenten übertragen, als dass auch hier eben jene Befähigung zur Intelligenz eine Chance für Angreifer ist. Das Stichwort lautet Manipulation.

Seit es das Internet gibt, haben Privatleute wie auch Un­ter­neh­men mit Phishing-Versuchen zu tun. Manchmal sind diese platt, andere sind maximal ausgefeilt und brandgefährlich. Sie alle finden aber regelmäßig ihre Opfer. Und genauso wie Menschen, ist auch KI anfällig für Strategien, die ihre Logiksysteme zu täuschen wollen, um unerwünschte Handlungen hervorzubringen.

Taktiken wie „Prompt Injection“ oder „Data Poisoning“ liefern KI-Agenten absichtlich irreführende Eingaben, um diese zu manipulieren. Meist zielt solche Täuschung auf sensible Daten ab, aber auch das Umgehen von Schutzvorkehrungen oder das Überweisen unbefugter Zahlungen können beispielsweise Ziel der Angreifer sein. Den bisherigen Erfahrungen nach sind so gut wie alle KI-Modelle dafür anfällig, durch bestimmte Prompts unerwünschte Ergebnisse zu liefern. Neben den genannten Szenarien sind wir alle wohl schon auf Berichte gestoßen, in denen KI zum Lügner wird, das Urheberrecht verletzt oder lebensgefährliche Ratschläge bei Mental Health Problemen gibt.

Neuen Bedrohungskategorie

Check Point entdeckt Prompt-Injection-Versuch

Un­ter­neh­men müssen sich also davor schützen, dass Angreifer gefährliche Prompts in das System einschleusen. Deshalb ist auch hier wieder eine menschliche Kontrollinstanz erforderlich Sicherheitsteams müssen die Interaktionen der Agenten aktiv überwachen und schädliche Dateneingaben filtern. Sie müssen sicherstellen, dass die KI sich ordnungsgemäß an die Berechtigungen und Autorisierung der einzelnen Benutzer hält und nicht plötzlich darüber hinaus handelt.

Ein Sicherheits-Gesetzbuch für die KI

Auch wenn KI-Agenten wie in diesen drei Beispielen ein neuer Risikofaktor sind, ist die gute Nachricht also, dass auch dieses Problem Lösungen hat. Menschen geben sich Gesetze, damit ihre Gesellschaft wie gewünscht funktioniert. Und wenn wir nun häufig davon sprechen, dass KI „wie ein zusätzliches Team-Mitglied“ agieren wird, dann braucht auch sie einen klaren Kontrollrahmen.

Bei aller Automatisierung bleibt der Faktor Mensch wichtig. Menschliche Aufsicht muss ein Teil der Workflows bleiben, um kritische Entscheidungen zu überprüfen oder selbst zu treffen. Sorgfältige Zugangsberechtigungen und Autorisierungsstufen – sowohl für KI-Agenten als auch die Nutzer – werden für Un­ter­neh­men wichtiger denn je. Und bei beiden müssen Sicherheits-Teams dafür sorgen, dass sie diese Zugriffsregeln respektieren. Ein umfangreiches Zugriffs-Management mit integrierten Sicherheitsfunktionen ist daher Pflicht. Nicht zuletzt muss über den Zugriff auf Inhalte hinaus ebenso klar definiert sein, welche Handlungen KI durchführen darf und welche Tools sie benutzen darf. Es gilt, die Gefahr von unerwünschten Aktionen so weit wie möglich zu minimieren.

Dass KI die Spielregeln für Un­ter­neh­men verändert, ist eine beliebte Floskel unserer Gegenwart, trägt aber trotzdem viel Wahrheit in sich. Sie gilt aber nicht nur für Produktivität und Wettbewerb, sondern auch für Cybersecurity. CISOs und ihre Teams dürfen nicht bei traditionellen Sicherheitsvorkehrungen stehenbleiben, sondern müssen sich mit den neuen Rahmenbedingungen beschäftigen. In der jetzigen Anfangsphase suchen sowohl Angreifer als auch Verteidiger nach Best Practices. Gewinner werden diejenigen sein, die sich dem aktuellen State-of-the-Art widmen und den Mut haben, Early-Adopter zu sein.

Über den Autor: Michael Pietsch ist Vice President DACH & Eastern Europe bei Box. Er beschäftigt sich intensiv mit er digitalen Transformation, der Zukunft der Arbeit und den Auswirkungen von KI auf Un­ter­neh­men. Er ist seit über 20 Jahren in Führungspositionen bei Oracle, Rubrik, Boomi, EMC und Dell tätig. Dadurch verfügt er über umfangreiche Expertise zu SaaS, Un­ter­neh­mens­technologie und Cybersecurity-Lösungen.

Constitutional Classifiers

KI testet Algorithmus zum verlässlichen Unterbinden von „KI-Jailbreaks“

(ID:50687665)