Google Gemini KI-Schwachstelle macht Kalender­einladungen zum Einfallstor

Von Melanie Staudacher 3 min Lesedauer

Anbieter zum Thema

Analysten haben eine Sicherheitslücke in Googles KI-Tool Gemini entdeckt, die es Angreifern ermöglicht, über Kalendereinladungen auf sensible Daten zuzugreifen. Diese Schwachstelle verdeutlicht, wie KI-Funktionen neue Ri­siken schaffen, die proaktive Schutzmaßnahmen erfordern.

Sicherheitsforschende haben eine Schwachstelle in Google Gemini entdeckt, bei der böswillige Akteure eine unauffällige Payload in eine Kalendereinladung einbetten, die es ihnen ermöglicht, die Datenschutzmaßnahmen zu umgehen und sensible Daten des Nutzers zu stehlen, ohne dass dieser interagieren muss.(Bild:  Dall-E / Vogel IT-Medien GmbH / KI-generiert)
Sicherheitsforschende haben eine Schwachstelle in Google Gemini entdeckt, bei der böswillige Akteure eine unauffällige Payload in eine Kalendereinladung einbetten, die es ihnen ermöglicht, die Datenschutzmaßnahmen zu umgehen und sensible Daten des Nutzers zu stehlen, ohne dass dieser interagieren muss.
(Bild: Dall-E / Vogel IT-Medien GmbH / KI-generiert)

Sicherheitsforscher des Herstellers Miggo haben eine Sicherheitslücke in Googles An­wen­dungs­öko­system entdeckt, die es böswilligen Akteuren ermöglicht, über das KI-Tool Gemini auf sensible Daten zuzugreifen. Dafür würden sie eine unauffällige Payload in eine Standard-Google­-Kalendereinladung einbetten, die die Datenschutzmaßnahmen der Terminplanungs-App umgehe. Die Forscher von Miggo hätten diese Schwachstelle bereits für ihre Unter­su­chun­gen getestet, um auf private Besprechungsdaten zuzugreifen und eigene, gefälschte Ka­len­der­ein­trä­ge zu erstellen. Und dies geschehe alles ganz ohne Zutun des betroffenen Nutzers.

Prompt Injection bei Google Gemini

Wer Gemini als KI-Funktion in Google Calender aktiviert hat, profitiert zwar von vielen nütz­lichen Funktionen, wie der automatischen Erstellung und Verwaltung von Terminen und Veranstaltungen aus dem Kontext von E-Mails heraus, könnte den Untersuchungen von Miggo zufolge damit jedoch auch zur Zielscheibe für Cyberangreifer werden.

Die Schwachstelle wird als Prompt Injection bezeichnet. Ein Angreifer, der sich in die Lage versetzt, das Beschreibungsfeld eines Ereignisses im Kalender eines Nutzers kontrollieren zu können, könne eine Prompt-Anweisung einfügen, die Gemini dann ausführe. Die Sicher­heits­forscher betonen, dass das besondere an ihrer Entdeckung sei, dass sie eine „strukturelle Ein­schränkung“ in der Art und Weise aufzeige, wie KI-integrierte Produkte die Nutzerabsicht innerhalb sprachbasierter KI interpretieren würden. Obwohl Google in Gemini bereits Me­cha­nis­men zur Erkennung schädlicher Eingabeaufforderungen implementiert hat, konnten die Forscher eigenen Angaben nach die Schwachstelle durch natürliche Sprache ausnutzen.

Die Schlussfolgerung ist den Forschern nach eindeutig: Native KI-Funktionen eröffnen eine neue Art von Schwachstellen. Denn KI-Anwendungen ließen sich über die Sprache mani­pu­lier­en, die sie eigentlich verstehen sollen. Sicherheitslücken würden sich nicht mehr auf den Code beschränken, sondern sie würden nun in der Sprache liegen, im Kontext und im KI-Verhalten zur Runtime. Die Runtime bezieht sich auf den Zeitraum, in dem eine Anwendung aktiv ist und Eingaben verarbeitet, wodurch Sicherheitslücken im Verhalten der KI zur Sprache und im Kontext während dieser Phase entstehen können.

Schutz vor Prompt Injection

Die Gemini-Schwachstelle verdeutliche, warum die Absicherung von LLM-basierten (Large Language Models) Anwendungen eine grundlegend andere Herausforderung darstellen würden. Die neue Herausforderung liege in Syntax versus Semantik. Die Sicherheitsforscher erklären diese Herausforderung so: Herkömmliche Anwendungssicherheit (AppSec) ist größtenteils syntaktisch. Analysten und Erkennungslösungen suchen nach verdächtigen Zeichenketten und Mustern, wie SQL-Payloads, Skript-Tags oder Escape-Sequenzen. Diese werden blockiert oder bereinigt. Im Gegensatz dazu, schreiben die Forscher, sind Schwach­stellen in LLM-basierten Systemen semantischer Natur. Das bedeute, dass es sich dabei nicht um offensichtlich gefährliche Zeichenketten handle, sondern um plausible Anweisungen, die die Nutzer legitimerweise geben. Die Gefahr entstehe hier aus dem Kontext, der Absicht und der Handlungsfähigkeit des Modells. Somit würden musterbasierte Verteidigungs­me­cha­nis­men nicht mehr ausreichen, da Angreifer ihre Absicht in ansonsten harmloser Sprache ver­bergen und sich auf die Interpretation des Modells dieser Sprache verlassen können.

Deshalb müssten Verteidiger sich langfristig von der reinen Keyword-Blockierung weiter­ent­wickeln. Effektiver Schutz erfordere Laufzeitsysteme, die semantisch argumentieren, In­ten­tio­nen zuordnen und die Datenherkunft nachverfolgen. Es müssten Sicherheitskontrollen ein­ge­setzt werden, die LLMs als vollwertige Anwendungsschichten mit sorgfältig zu verwaltenden Berechtigungen behandeln.

Um sich akut vor Sicherheitsrisiken wie Prompt Injection zu schützen, sollten Unternehmen diese Maßnahmen beachten:

  • Strenge Richtlinien für die Nutzung von KI-Tools: Unternehmen sollten klare Richtlinien festlegen, die definieren, welche KI-Anwendungen verwendet werden dürfen, und si­cher­stellen, dass diese Tools regelmäßig auf Sicherheitsrisiken überprüft werden.
  • Schulung der Mitarbeiter: Mitarbeiter sollten für potenzielle Bedrohungen durch se­man­tische Angriffe sensibilisiert werden, indem sie in den sicheren Umgang mit KI-Tools geschult werden, insbesondere im Hinblick auf das Erkennen manipulativer Inhalte und verdächtiger Anfragen.
  • Regelmäßige Sicherheitsüberprüfungen und Monitoring: Unternehmen sollten kon­tin­uier­liche Überprüfungen und Monitoring der Anwendungen durchführen, um unregelmäßige Aktivitäten oder Sicherheitsvorfälle frühzeitig zu erkennen und schnell zu reagieren, bevor Schaden entsteht.

(ID:50707405)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung