CyberArks FuzzyAI Die dunkle Seite der generativen KI

Anbieter zum Thema

CyberArk Software (DACH) GmbH

Fsas Technologies GmbH

Die zunehmende Nutzung der generativen KI ist nicht aufzuhalten. Sie beinhaltet aber auch Sicherheitsrisiken und Schwachstellen. Einen neuen Sicherheitsansatz stellt dabei das Fuzzy-AI-Konzept dar, das einen effizienten Detektionsmechanismus auf Modellebene beinhaltet.

Generative KI zählt zu den revolutionärsten Entwicklungen unserer Zeit und hat das Potenzial, praktisch jede Branche zu verändern. Durch den Einsatz intelligenter Systeme wie Chatbots, die auf Large Language Models (LLMs) basieren, können Unternehmen ihre Produktivität um einen enormen Faktor steigern. Aufgrund ihrer komplizierten Struktur sind neuronale Netze jedoch eine Art „Black Box“. Diese Intransparenz macht diese Systeme anfällig für Angriffe, bei denen böswillige Akteure versteckte Schwachstellen ausnutzen und so die Ergebnisse manipulieren können.

Die potenziellen Folgen eines fehlenden Schutzes generativer KI können weitreichend sein und verschiedenste Branchen und Implementierungen betreffen. So sind etwa Banken, die einen Chatbot verwenden, um das Kaufverhalten ihrer Kunden zu analysieren und optimale Kreditlaufzeiten zu ermitteln, einem Risiko ausgesetzt. Ohne entsprechende Sicherheitsvorkehrungen ist es für einen Angreifer möglich, den Chatbot so zu manipulieren, dass er sensible Risikoanalysedaten oder Kundeninformationen preisgibt. Ein weiteres Beispiel wäre ein KI-gesteuertes Outlook-Plugin in Unternehmen, das E-Mails priorisiert. Mittels einer manipulierten E-Mail könnte es dazu kommen, dass das Plugin falsche oder bösartige Antworten an Kunden sendet und so möglicherweise Schaden anrichtet. Auch im Gesundheitswesen gibt es Bedrohungen. So kann ein Therapie-Chatbot, der Behandlungsprogramme auf der Grundlage von Patientendaten maßschneidert, von böswilligen Akteuren in die Irre geführt werden, indem er falsche Berichte erstellt und ungenaue Empfehlungen ausspricht.

Angriffe zielen vielfach auf die absichtliche Manipulation von Eingabedaten ab, um ein Machine-Learning-Modell dazu zu bringen, falsche oder schädliche Entscheidungen zu treffen. Im Falle von Chatbots können Angreifer etwa irreführende Eingaben machen, um das Modell dazu zu bringen, bösartige oder falsche Antworten zu geben. Dieser Ansatz nutzt die Unfähigkeit eines Chatbots oder KI-Systems aus, solche Eingaben zu erkennen, was zu erheblichen Sicherheitsrisiken in verschiedenen Bereichen führt.

LLMs begründen eine neue Art von Schwachstellen

Erschwerend kommt hinzu, dass auf LLMs basierende Anwendungen eine neue Art von Schwachstellen einführen, da Sicherheitsmaßnahmen auf andere Weise durchgesetzt werden als bei Standardapplikationen. Der Grund dafür ist die Tatsache, dass LLMs auf vertrauliche Informationen zugreifen und den logischen Ablauf von Anwendungen manipulieren können. Im Gegensatz zu klassischen Applikationen, bei denen die Sicherheitsmechanismen in der Regel durch eine Reihe deterministischer Bedingungen durchgesetzt werden, erfolgt dies bei LLMs auf statistische Weise. Das heißt, die derzeitigen Fähigkeiten von LLMs beinhalten keine harten und deterministischen Sicherheitsgrenzen, und solange dies der Fall ist, sollten LLMs nicht als Komponenten für die Umsetzung von Sicherheitsrichtlinien verwendet werden.

Wie kann man sich nun gegen Angriffe schützen?

Derzeit gibt es nur sehr wenige Lösungen, die eine LLM-Abwehr bieten. Zum einen konzentrieren sie sich auf die Sicherung der LLM-Umgebung und nicht auf das Modell selbst, und zum anderem adressieren sie die Modellabwehr (auch bekannt als Guardrails), indem sie entweder die Eingabe oder die Ausgabe klassifizieren.

Im Gegensatz zu den meisten heute verfügbaren Optionen zielt FuzzyAI von CyberArk auf einen effizienten Detektionsmechanismus ab, der auf der Nutzung von Model-Level-Awareness, kontinuierlichen Angriffen und Immunisierung basiert.

Um die angeführten Schwachstellen zu beheben, beinhaltet FuzzyAI eine umfassende Verteidigung, die kontinuierliches Fuzzing mit Echtzeit-Erkennung kombiniert, um Angriffe zu identifizieren und zu unterbinden. Fuzzing ist in diesem Kontext eine automatisierte Testtechnik, die verschiedene, gut strukturierte Eingaben generiert, um die Reaktion eines Chatbots zu überprüfen. Diese Methode deckt Schwachstellen hinsichtlich der Art und Weise auf, wie der Chatbot mit unerwarteten oder bösartigen Eingaben umgeht, indem ein feindliches Verhalten simuliert wird. Systematisches kontinuierliches Fuzzing kann potenzielle Schwachstellen aufdecken und dazu beitragen, die Verteidigung zu stärken, bevor sie umgangen wird.

Darüber hinaus zeichnet die Lösung die Model-Aware-Detection aus, die die Überwachung der LLM-Neuronen oder neuronalen Pfade auf schädliche Muster beinhaltet. Der Hauptvorteil eines solchen Ansatzes besteht darin, dass die Erkennungslogik de facto keinen zusätzlichen Laufzeit-Overhead verursacht und die ursprüngliche Eingabe nicht manipuliert wird.

Der Weg in die Zukunft

Generative KI stellt die nächste Stufe der Entwicklung intelligenter Systeme dar, birgt aber auch Sicherheitsrisiken. Die Komplexität großer Sprachmodelle macht sie anfällig für versteckte Schwachstellen, die Angreifer ausnutzen können. Durch die Verschmelzung von kontinuierlichem Fuzzing mit der Echtzeit-Erkennung basierend auf der Kenntnis neuronaler Modellmuster kann dieser FuzzyAI-Ansatz dazu beitragen, KI-Modelle vor zunehmenden Bedrohungen zu schützen. Schließlich muss es immer ein Ziel sein, eine sicherere KI-Umgebung aufzubauen, denn nur die Entwicklung einer zuverlässigen Lösung zur Abwehr von Angriffen auf Modelle der generativen KI wird die Einführung von LLMs noch weiter beschleunigen können.

Die Autoren

Eran Shimony ist Principal Vulnerability Researcher bei CyberArk,
Mark Cherp ist Vulnerability Research Team Leader bei CyberArk.

(ID:50104591)