Einblicke in Googles Red Team So rüsten sich Red Teamer gegen KI-Angriffe in Maschinengeschwindigkeit

Anbieter zum Thema

Google Germany GmbH

cidaas by Widas ID GmbH

secunet Security Networks AG

FTAPI Software GmbH

Im Google Safety Engineering Center in München entwickeln über 300 Fachleute Sicherheits- und Datenschutzprodukte. Googles Red Team erklärt, wie KI Angriffe verändert und wo die größten Risiken liegen.

Angriffe werden heute nicht mehr von Hand geschrieben, sondern von Bots automatisiert, variiert und skaliert. Menschliche Reaktionszeiten reichen zur Abwehr deshalb nicht mehr aus. So beschrieb Jessica Schäfer, Program Managerin im Google Safety Engineering Center (GSEC) München, die Lage bei einem hybriden Pressefrühstück am 29. September 2026. Unter dem Titel „Cybersecurity in der agentischen Ära“ gaben Fachleute aus den Sicherheitsteams des Konzerns Einblicke in ihre Arbeit.

Sicherheitslücken identifizieren, Angriffe abwehren

Purple Teaming: Die nächste Evolutionsstufe der Cyberabwehr

Globales Zentrum in München

Das GSEC München ist laut Google ein globales Zentrum für die Entwicklung von Datenschutz- und Sicherheitsprodukten, mehr als 300 Ingenieurinnen und Ingenieure arbeiten dort. Google betreibt in Europa weitere Safety Engineering Center mit anderen Schwerpunkten. Im GSEC Dublin bekämpfen Trust-and-Safety-Fachleute illegale und schädliche Inhalte, etwa Darstellungen sexuellen Kindesmissbrauchs. Das GSEC Málaga befasst sich mit Cybersicherheit.

Doch warum hat sich Google mit dem Safety Engineering Center ausgerechtnet in Deutschland niedergelassen? Weil nirgendwo der Anspruch an Präzision und das Bewusstsein für Datenschutz so hoch seien wie hier, erklärte Schäfer. Das GSEC arbeite unter anderem mit der TU München, dem Fraunhofer-Institut und dem Sicherheitsnetzwerk München zusammen.

Netzverteidigung durch Reinforcement Learning neu denken

Autonome Netzwerk-Agenten lernen Verteidigung und Angriff

Worauf sich Googles Red Team vorbereitet

Daniel Fabian leitet das globale Red Team von Google. Das Team greift die eigenen Systeme mit simulierten Ende-zu-Ende-Angriffen an, um Schwachstellen zu finden, bevor echte Angreifer sie ausnutzen. Nach Einschätzung von Fabian helfe KI Angreifern auf drei Wegen: Sie mache Angriffe raffinierter, sie erlaube Skalierung ohne zusätzliches Personal, etwa bei Ransomware, und sie beschleunige die Bewegung im Netzwerk auf Maschinengeschwindigkeit. Dafür könnten Angreifer sogar interne Chatbots eines Unternehmens nutzen, um Sicherheitsmaßnahmen auszukundschaften.

Als wichtigste Szenarien nannte der Teamleiter:

• Phishing und Social Engineering, die KI automatisch und passgenau auf einzelne Zielpersonen zuschneidet

• Automatisierte Angriffsketten, bei denen ein KI-Agent sich nach dem ersten Zugriff selbstständig bis zu den gesuchten Daten vorarbeitet

• Lieferkettenangriffe wie beim Hintertür-Fall in XZ Utils. Was einen Angreifer dort Jahre gekostet habe, könne KI künftig gegen hunderte Projekte parallel versuchen.

• Mangelnde Sicherheitshygiene wie schwache oder mehrfach genutzte Passwörter, auf Festplatten gespeicherte kryptografische Schlüssel und zu weit gefasste Zugriffsrechte

• Den letzten Punkt hält Fabian für besonders unterschätzt. In den Übungen seines Teams gehe es meist nicht um Zero-Day-Schwachstellen, sondern um solche grundlegenden Fehler. KI-Agenten seien besonders gut darin, sie schnell zu finden und auszunutzen.

Security-Insider Podcast – Folge 86

Backdoor in xz-Tools erschüttert die IT-Welt

Verteidiger mit Heimvorteil

Googles Verteidiger haben laut Fabian entscheidende Vorteile. Zum einen kennen sie ihre Netze am besten und wissen, wo die wichtigsten Daten liegen. Zudem hätten sie denselben Zugang zu KI-Werkzeugen wie die Angreifer und derzeit noch einen deutlichen Vorsprung. Diesen müssten sie nutzen, auch bei der Erkennung von Angriffen. Löst ein Alarm aus, reiche es künftig nicht mehr, ein Ticket zu eröffnen und stundenlang auf eine Reaktion zu warten. Bis dahin habe der Agent eines Angreifers die Daten längst abgezogen. Stattdessen müssten KI-gestützte Systeme in Echtzeit reagieren und etwa das betroffene Konto sofort deaktivieren.

Ein Beispiel für KI in der Verteidigung ist Googles Projekt „Big Sleep“, das vor allem in Zürich und teilweise in München entwickelt worden sei. Ein KI-Agent untersuche große Mengen an Code automatisiert auf Schwachstellen. Dass KI-Modelle darin immer besser werden, sieht Fabian als Nebeneffekt des Trainings für die Code-Generierung. Sein Team baue außerdem eigene Angriffsagenten, mit denen es herausfinden wolle, wie schnell sich solche Agenten im Netzwerk bewegen, wie sie sich verhalten und ob sich KI-Angriffe angesichts der Tokenkosten für Kriminelle überhaupt lohnen. Das Blue Team, das Angriffe erkennt und abwehrt, könne dann auf dieser Grundlage passende Erkennungsmechanismen entwickeln. Anders als echte Angreifer würden die Google-Agenten dabei streng kontrolliert. Sie dürfen weder Systeme angreifen, für die sie nicht autorisiert sind, noch eigene Systeme lahmlegen.

Datenschutz im digitalen Marketing

Bringt das Google Consent Update Datenkontrolle oder neue Risiken?

Prompt Injection bei KI-Agenten

Viviana Sutedjo, Software-Ingenieurin im Bereich Cybersecurity bei Google München, stellte ein weiteres Risiko vor: Prompt Injection. Dabei bringen Angreifer ein KI-Modell dazu, Anweisungen zu befolgen, die nicht vom Nutzer stammen. Als Beispiel nannte die Ingenieurin eine E-Mail mit versteckter Anweisung. Fasse ein KI-Agent sie zusammen, führe er die Anweisung aus und gebe so private Daten an den Angreifer weiter. Je mehr Werkzeuge Agenten nutzen dürfen, desto größer werde die Angriffsfläche. Sutedjos Team teste Googles KI-Produkte deshalb täglich automatisiert mit realistischen Angriffsszenarien, die zum Teil selbst von KI-Agenten erzeugt würden.

Diese Arbeit ist Teil von Googles Secure AI Framework (SAIF), das der Konzern 2023 veröffentlicht hat. Das offene, technologieunabhängige Framework macht Googles eigene Standards für KI-Sicherheit öffentlich. Laut Sutedjo konzentriere sich Google im Rahmen von SAIF auf fünf zentrale Risiken. Neben Prompt Injection seien das die Offenlegung von Daten, der Diebstahl von KI-Modellen, die Manipulation von Trainingsdaten und die Sabotage von Modellen. Auf der SAIF-Website können Unternehmen mit einem Self-Assessment für KI-Agenten prüfen, welche Risiken sie betreffen, das Tool schlägt passende Schutzmaßnahmen vor.

Google Cloud Next 2026

So will Google Cloud seine Kunden zu AI-Unternehmen machen

(ID:50972438)