Agentic AI – handelnde KI Sicherheitsstrategien für Retrieval Augmented Generation

Anbieter zum Thema

TREND MICRO Deutschland GmbH

cidaas by Widas ID GmbH

FAST LTA GmbH

FTAPI Software GmbH

Mit steigendem KI-Einsatz wächst der Bedarf an individuellen Lösungen. Retrieval Augmented Generation (RAG) adressiert dies, birgt aber Risiken durch ungeschützte Vektorspeicher und LLM-Hosting-Plattformen, die Datenlecks und unbefugte Zugriffe begünstigen.

Mit dem zunehmenden Einsatz von Künstlicher Intelligenz (KI) in Unternehmensprozessen wächst die Nachfrage nach maßgeschneiderten KI-Lösungen, die firmenspezifischen Anforderungen gerecht werden können. Hier kommt Retrieval Augmented Generation (RAG) ins Spiel: Mit der Technologie können Unternehmen individuelle und kosteneffiziente Anwendungen auf Basis privater Daten entwickeln. Doch die Implementierung von RAG-Systemen birgt erhebliche Sicherheitsrisiken, wie ungeschützte Vektorspeicher und LLM-Hosting-Plattformen, die Datenlecks und unbefugte Zugriffe begünstigen. Eine umfassende Sicherheitsstrategie ist daher unerlässlich.

RAG kombiniert Vektorspeicher und Large Language Models (LLMs), um relevante Informationen effizient abzurufen und zu verarbeiten. Vektorspeicher, wie ChromaDB und Weaviate, speichern wiederum Textbausteine und helfen, relevante Daten zu finden. LLMs, wie llama.cpp und Ollama, verarbeiten diese Daten anschließend weiter. Beide Komponenten sind jedoch anfällig für Sicherheitslücken: Fehler bei der Datenvalidierung und Denial-of-Service-Angriffe sind häufig – und der schnelle Entwicklungszyklus von RAG-Systemen erschwert die Behebung von Schwachstellen.

Generative KI

Risiken von Large Language Models

Exponierte Systeme und ihre Gefahren

Die Sicherheitslücken in RAG-Systemen sind vielfältig und betreffen sowohl die Infrastruktur als auch die Datenverarbeitung. Ungeschützte Vektorspeicher können beispielsweise sensible Informationen preisgeben, die für unbefugte Dritte zugänglich sind. Dies betrifft insbesondere personenbezogene Daten und geschäftskritische Informationen, die in den Vektorspeichern abgelegt sind. Ein weiteres Risiko besteht in der Manipulation der gespeicherten Daten, was die Integrität der generierten Ergebnisse gefährden kann.

Untersuchungen von Trend Micro zeigen, dass viele RAG-Komponenten ungeschützt im Internet zugänglich sind, wobei Deutschland im internationalen Vergleich auf Rang 3 der Länder mit den meisten exponierten RAG-Systemen steht und somit besonders stark betroffen ist. Insgesamt wurden bei den Untersuchungen 80 exponierte llama.cpp-Server identifiziert, von denen 57 keine Authentifizierung erforderten. Ollama-Server waren noch stärker betroffen, mit über 3.000 frei zugänglichen Instanzen. Angreifer können hier selbst ohne ausreichende Authentifizierung auf die Modelle zugreifen, sie manipulieren oder sogar löschen, was verheerende Folgen haben kann – insbesondere, wenn die Modelle in geschäftskritischen Anwendungen eingesetzt werden. Die Möglichkeit, Modelle zu kopieren oder zu löschen, stellt demnach ein erhebliches Risiko für das geistige Eigentum eines Unternehmens dar.

ChuanhuChatGPT, Lunary und LocalAI

Schwere Sicherheitslücken in KI-Sprachmodellen

Sicherheitsmaßnahmen für RAG-Systeme

Um die Sicherheit von RAG-Systemen zu gewährleisten und sich gegen Risiken zu wappnen, sollten Unternehmen eine Reihe von Maßnahmen ergreifen. Dabei muss sowohl die Kommunikation zwischen Frontend und Backend angemessen geschützt werden, als auch der Zugriff der Benutzer auf das System.

Um die Kommunikation innerhalb des Systems zu sichern, sind folgende Maßnahmen zu empfehlen:

• Starke Authentifizierung: Die Implementierung robuster Mechanismen wie einer Multi-Faktor-Authentifizierung (MFA) zwischen Front- und Backend kann eine zusätzliche Sicherheitsebene bieten und so unbefugten Zugriff verhindern. Um eine solche Maschine-zu-Maschine-MFA umzusetzen, kann beispielsweise zusätzlich zu einem Token (wie JSON Web Token) ein Client-Side-Zertifikat genutzt werden. Damit kann der Server anhand zweier verschiedener Kriterien feststellen, ob es sich um eine legitime Verbindung handelt.

• TLS-Verschlüsselung: Durch den Einsatz von Transport Layer Security (TLS) kann die Kommunikation zwischen den Komponenten verschlüsselt werden. Dies schützt die Daten während der Übertragung vor unberechtigtem Zugriff und Manipulation.

Mit künstlicher Intelligenz zu mehr IT-Sicherheit

KI jenseits der Cyberrisiken

Um den Zugriff von Usern auf RAG-Systeme sicher zu gestalten, helfen Maßnahmen wie:

• Zero-Trust-Ansatz: Die Einführung eines Zero-Trust-Sicherheitsmodells, bei dem jede Verbindung als potenziell unsicher betrachtet wird, bietet zusätzlichen Schutz. Nur autorisierte Verbindungen sollten zugelassen werden, was durch strikte Zugangskontrollen und kontinuierliche Überwachung erreicht werden kann.

• Sicherheitsbewusstsein und Schulung: Mitarbeiterschulungen für den verantwortungsvollen Umgang mit sensiblen Daten und die Erkennung von Sicherheitsbedrohungen sind zudem unverzichtbar. Nur ein gut geschultes Team kann potenzielle Risiken frühzeitig erkennen und darauf reagieren.

• Datenzugriffskontrollen: Strenge Zugriffskontrollen für Vektorspeicher und LLMs stellen sicher, dass nur autorisierte Benutzer Zugriff auf sensible Daten erhalten. Außerdem sollten alle Zugriffe protokolliert und überwacht werden.

Zudem können durch regelmäßige Sicherheitsaudits und Penetrationstests Schwachstellen identifiziert und behoben werden. Dies hilft außerdem, um die Sicherheitslage kontinuierlich zu verbessern.

CyberArks FuzzyAI

Die dunkle Seite der generativen KI

Fazit

Die Zukunft der KI liegt in agentenbasierten Systemen, die LLMs, Speicher und Workflows miteinander integrieren. Diese Systeme bieten neue Möglichkeiten, erfordern jedoch auch erweiterte Sicherheitsstrategien. Unternehmen müssen sicherstellen, dass ihre Daten und Systeme vor Missbrauch geschützt sind, um die Vorteile von GenAI-Technologien voll auszuschöpfen.

RAG bietet erhebliche Vorteile für die Entwicklung effizienter Anwendungen, birgt jedoch auch Sicherheitsrisiken. Unternehmen müssen daher umfassende Sicherheitsstrategien implementieren, um ihre Systeme und Daten zu schützen. Die Integration von Zero-Trust-Prinzipien und die Sicherstellung einer robusten Authentifizierung sind dabei entscheidend, um die Integrität und Vertraulichkeit von RAG-Systemen zu gewährleisten. Die strategische Bedeutung von RAG für die IT-Branche liegt in der Balance zwischen Innovation und Sicherheit.

Über den Autor: Dr. Morton Swimmer ist Principal Threat Researcher bei Trend Micro.

(ID:50326021)