Neue Risiken in der E-Mail-Security durch manipulierte KI-Tools Wie Angreifer KI-Assistenten über E-Mails manipulieren

Anbieter zum Thema

Barracuda Networks AG Zweigniederlassung Deutschland

Fsas Technologies GmbH

FTAPI Software GmbH

Angreifer nutzen KI nicht mehr nur für raffinierte Phishing-Kampagnen, sondern richten sich zunehmend direkt gegen KI-basierte Un­ter­neh­mens­werk­zeu­ge. Versteckte Prompts in E-Mails können KI-Assistenten unbemerkt manipulieren, Daten exfiltrieren oder unautorisierte Aktionen auslösen.

Generative KI ermöglicht es sowohl Einzelpersonen als auch Unternehmen, viele Aufgaben besser und schneller zu erledigen. In Unternehmen kommt KI beispielsweise zunehmend zum Einsatz, um Produktivität, Effizienz und Cybersicherheit zu verbessern. Gleichzeitig wird die Technologie von Cyberangreifern genutzt, um Spam-E-Mails zu erstellen und zu versenden und gezielte, überzeugend wirkende Phishing-Angriffe durchzuführen.

Diese KI-gestützten Cyberbedrohungen entwickeln sich kontinuierlich weiter – und sind nicht die einzigen Arten und Weisen, wie Cyberangreifer sich KI zu Nutze machen. Inzwischen zielen Angreifer zunehmend auch auf die KI-basierten Business-Tools und Cybersicherheitsmaßnahmen von Unternehmen ab, um diese zu manipulieren und zu kompromittieren, die Cyberabwehr der Unternehmen zu schwächen und Daten zu stehlen.

Laut Hostinger nutzen mittlerweile fast acht von zehn Unternehmen (78 Prozent) weltweit KI, um mindestens eine ihrer Geschäftsfunktionen auszuführen oder zu unterstützen. Für knapp die Hälfte der Unternehmen (45 Prozent) trifft dies auf drei oder mehr Geschäftsfunktionen zu. Diese wachsende Abhängigkeit von KI-basierten Tools und Anwendungen führt dazu, dass diese zu immer attraktiveren Zielen für Cyberkriminelle werden.

Generative KI

Risiken von Large Language Models

E-Mail-Angriffe zielen auf KI-Assistenten ab

KI-Assistenten und die großen Sprachmodelle (LLMs), auf denen sie basieren, sind anfällig für Missbrauch. So haben Sicherheitsforscher beispielsweise Vorfälle beobachtet, bei denen Anweisungen an KI, sogenannte Prompts, in legitim erscheinenden E-Mails versteckt wurden. Angreifer setzen darauf, dass diese schädlichen Prompts von den KI-Tools des Zielunternehmens gescannt und verarbeitet werden, die dann kompromittiert und anfällig für Manipulation werden.

Dieser Ansatz wurde zum Beispiel kürzlich in Copilot beobachtet, dem KI-Assistenten von Microsoft 365. Zwar wurde die Sicherheitslücke behoben, aber sie konnte es jedem ermöglichen, Informationen aus einem Netzwerk zu stehlen, ohne die üblichen Autorisierungsprozesse durchlaufen zu müssen. Angreifer können diese Sicherheitslücke ausnutzen, um sensible Informationen über ein Ziel zu sammeln und zu extrahieren.

Dafür senden Angreifer zunächst einem oder mehreren Mitarbeitern eines Unternehmens eine scheinbar harmlose E-Mail, die versteckte und eingebettete schädliche Prompts für KI-Assistenten enthält. Diese E-Mail erfordert keine Interaktion durch einen menschlichen Nutzer und verbleibt unbemerkt im E-Mail-Posteingang. Sobald der betroffene Mitarbeiter jedoch einen KI-Assistenten nutzt, durchsucht dieser ältere E-Mails, Dateien oder Daten, um Kontext für die Aufgabe zu erhalten. Dabei wird der KI-Assistent unbemerkt über den schädlichen Prompt in der zuvor gesendeten E-Mail kompromittiert. Der Prompt könnte den KI-Assistenten zum Beispiel dazu auffordern, sensible Informationen unbemerkt zu extrahieren, schädliche Befehle auszuführen oder Daten zu verändern.

Eine weitere Methode, mit der Angreifer versuchen, mithilfe von E-Mails KI-Assistenten zu manipulieren, besteht darin, das „Gedächtnis“ der KI oder die Art und Weise zu beeinflussen, wie sie Daten findet und verarbeitet. Zum Beispiel können einige KIs auf Informationen aus Quellen außerhalb ihres LLM-Trainingsmodells zugreifen und diese nutzen. Dieser Ansatz nennt sich RAG (Retrieval-Augmented Generation). RAG-Implementierungen sind anfällig für Manipulationen, die dazu führen, dass KI-Assistenten falsche Entscheidungen treffen, falsche Informationen liefern oder unbeabsichtigte Aktionen auf der Grundlage verfälschter Daten ausführen.

Umgehung von Sicherheitsfunktionen

Erste Zero-Click-Schwachstelle in Copilot entdeckt

Manipulation von KI-basierten Schutzmaßnahmen

Darüber hinaus manipulieren Angreifer auch zunehmend die KI-basierten Komponenten von Cybersicherheitstechnologien. Viele E-Mail-Sicherheitsplattformen sind beispielsweise inzwischen mit KI-gestützten Funktionen ausgestattet, die ihre Nutzung einfacher und effizienter machen. Dazu zählen automatische Antworten, „smarte“ Weiterleitung, automatisches Erkennen und Entfernen von Spam, automatisches Erstellen von Tickets zur Problemlösung und viele weitere. Diese nützlichen Funktionen vergrößern jedoch auch die potenzielle Angriffsfläche, die ein Angreifer ausnutzen kann.

Ein Angreifer, dem es gelingt, diese Funktionen zu kompromittieren, könnte zum Beispiel E-Mail-Sicherheits-Tools dazu bringen, E-Mails automatisch zu beantworten – mit sensiblen Daten als Inhalt der Antwort-E-Mail – und diese so einfach zu stehlen. Alternativ könnte ein Angreifer auch die KI-basierten Funktionen ausnutzen, um Helpdesk-Tickets ohne weitere Überprüfung zu eskalieren, und so Zugriff auf wichtige Systeme oder Daten erhalten. Oder er könnte schädliche Aktivitäten automatisiert auslösen, beispielsweise um Malware zu platzieren oder kritische Daten zu verändern und so Geschäftsprozesse großflächig zu unterbrechen.

KI-basierte Tools werden immer öfter so konzipiert, dass sie mit einem hohen Maß an Autonomie arbeiten. Dies führt dazu, dass diese Tools dazu gebracht werden können, sich als legitime Nutzer auszugeben. In einem solchen Fall können Angreifer sie nutzen, um im Unternehmensnetzwerk Aktionen auszuführen, für die eigentlich nur besonders vertrauenswürdige Mitarbeiter die entsprechenden Berechtigungen haben. Oder die Angreifer bringen das System über die Tools dazu, sensible Daten preiszugeben oder betrügerische E-Mails zu versenden.

ChatGPT, Copilot und DeepSeek getäuscht

Neue Jailbreak-Taktik zwingt LLMs dazu, Passwörter zu stehlen

Wie sich E-Mail-Sicherheitsmaßnahmen anpassen müssen

Herkömmliche E-Mail-Sicherheitsmaßnahmen wie ältere E-Mail-Gateways, traditionelle Authentifizierungsprotokolle und Standard-IP-Blacklists reichen nicht länger aus, um diese neuen Bedrohungen abzuwehren. Unternehmen benötigen vielmehr eine E-Mail-Sicherheitsplattform, die gegen die Möglichkeiten von generativer KI gefeit ist.

Um ein Unternehmen gegen immer komplexere, KI-gestützte Angriffe zu schützen, sollte die Plattform in der Lage sein, neben dem Inhalt der E-Mails auch deren Kontext (Thema, Empfänger, Typ usw.), Ton und Verhalten zu verstehen. Außerdem sollten KI-basierte Filter zum Einsatz kommen, die verdächtige E-Mails nicht nur erkennen und blockieren, sondern auch nach und nach lernen, Manipulationen zu verhindern.

Zudem sollten KI-Assistenten isoliert arbeiten und Unternehmen sollten Maßnahmen treffen, um zu verhindern, dass die Assistenten Anweisungen ausführen, die vorher nicht ordnungsgemäß überprüft wurden. Nur weil beispielsweise eine E-Mail angeblich „vom CEO“ versendet wird und Details zu vertraulichen Strategieplänen verlangt, bedeutet dies nicht, dass die KI sofort automatisch darauf reagieren sollte. Dafür müssen die Tools so eingestellt sein, dass sie vor der Ausführung jede Anweisung überprüfen.

KI-Chatbots lassen sich manipulieren

Microsoft meldet Jailbreak für GPT, Llama und Gemini

Die Zukunft der E-Mail-Sicherheit

Die in Unternehmen eingesetzten KI-Tools basieren zunehmend auf sogenannter „Agentic AI“. Dabei handelt es sich um KI-Systeme, die in der Lage sind, unabhängige Entscheidungen zu treffen und autonom zu handeln. Die Systeme können überlegen, planen, Maßnahmen durchführen und sich in Echtzeit anpassen, um bestimmte Ziele zu erreichen. Gleichzeitig können diese leistungsstarken Funktionen jedoch von Angreifern ausgenutzt werden, weshalb Sicherheits-Tools mehr auf proaktive Bedrohungsmodellierung statt passiver Filterung setzen sollten.

E-Mails sind dafür ein ideales Beispiel, da in diesem Bereich zunehmend KI zum Einsatz kommt und E-Mails nach wie vor einer der häufigsten Angriffsvektoren sind. Sicherheitsstrategien sollten E-Mails daher nicht als reinen Kommunikationskanal, sondern als eine Ausführungsumgebung betrachten, die Zero-Trust-Prinzipien und eine kontinuierliche, KI-spezifische Validierung erfordert.

Über den Autor: Ashok Sakthivel ist Director of Engineering, Email Protection, bei Barracuda Networks und leitet die Entwicklung sicherer, integrierter und skalierbarer Cybersicherheitslösungen. Zuvor war er als Engineering Manager im Bereich Cisco SASE und Cisco Cloud Security bei Cisco tätig und hatte verschiedene Positionen unter anderem bei Hewlett Packard Enterprise, IBM und Affiliated Computer Systems inne.

Security-Risiko KI

Die fünf größten Security-Risiken bei Microsoft Copilot

Black Hat 2024 – 15 Ways to Break Your Copilot

Sicherheitsforscher zeigt wie man Copilot missbrauchen kann

(ID:50629531)