Guardrails, Red Teaming und Laufzeitschutz für die sichere KI-Einführung Manipulierte Skills machen KI-Agenten zum Einfallstor

Ein Gastbeitrag von Thomas Joos 6 min Lesedauer

Anbieter zum Thema

Frei ladbare und teils schädliche Agenten-Skills sowie außer Kontrolle geratene Agenten mit Zugriff auf sensible Systeme werden zum Risiko, sobald KI ohne Security by Design in Unternehmen einzieht. Guardrails wirken als Enabler, gestützt auf Prüfung vor der Inbetriebnahme, kontrollierte LLM-Nutzung und Schutz zur Laufzeit.

Die Geschwindigkeit der KI-Einführung steigert die Produktivität und vergrößert zugleich die Angriffsfläche, sobald Sicherheit erst nachgelagert mitgedacht wird.(Bild: ©  UMAR SALAM - stock.adobe.com)
Die Geschwindigkeit der KI-Einführung steigert die Produktivität und vergrößert zugleich die Angriffsfläche, sobald Sicherheit erst nachgelagert mitgedacht wird.
(Bild: © UMAR SALAM - stock.adobe.com)

Unternehmen integrieren große Sprachmodelle und autonome Agenten in Kernprozesse und steigern damit ihr Tempo. Ohne Sicherheitsfundament öffnen die Agenten zugleich neue Einstiegspunkte, darunter frei ladbare Skills und kompromittierte Zugangsdaten. Eine abgesicherte Einführung ruht auf der Prüfung vor der Inbetriebnahme, der kontrollierten LLM-Nutzung und dem Schutz zur Laufzeit. Check Point bündelt nach der Übernahme von Lakera die Prüfung vor dem Go-live und den Laufzeitschutz unter Check Point AI Red Teaming und Check Point AI Agent Security. Der DACH-Report verzeichnet für 2025 einen Anstieg der Angriffe um 124 Prozent, ordnet Deutschland mehr als 80 Prozent der regionalen Vorfälle zu und benennt kompromittierte Zugangsdaten als zentralen Einstiegspunkt.

Schnelle KI-Einführung ohne Sicherheitsfundament

Die Geschwindigkeit der KI-Einführung steigert die Produktivität und vergrößert zugleich die Angriffsfläche, sobald Sicherheit erst nachgelagert mitgedacht wird. Organisationen entwickeln eigene Agenten, integrieren Sprachmodelle in Anwendungen und öffnen Mitarbeitern den Zugang zu LLMs, ohne ein Sicherheitsfundament zu legen. Das Muster gleicht der Cloud-Migration der vergangenen Jahre, als Workloads ohne vorgelagertes Sicherheitskonzept in öffentliche Umgebungen verlagert wurden.

Security by Design verlagert die Absicherung an den Anfang. Der Ansatz folgt dem Prinzip Shift Left, das Sicherheit bereits in Entwurf und Entwicklung einbezieht. Eine nachträgliche Absicherung bleibt aufwendig und lückenhaft, da sich grundlegende Architektur­entscheidungen kaum zurückdrehen lassen. Sicherheit geht der Einführung voraus, und KI gelangt erst danach in den produktiven Betrieb.

Frei ladbare Skills mit verdeckten Funktionen

Agenten lassen sich über Skills und Erweiterungen ausbauen, die ihre Fähigkeiten ergänzen. Ein großer Teil dieser Bausteine stammt aus offenen Quellen und lädt sich ohne Prüfung. Verdeckte Funktionen und Hintertüren bleiben dabei im Vorfeld nicht bekannt, denn Herkunft und Verhalten der Erweiterungen sind selten dokumentiert.

„Anwender fügen Skills hinzu, die sich frei herunterladen lassen, und wissen nicht, was sie sich damit einhandeln. Ein hoher Anteil dieser Skills ist schädlich oder mit Hintertüren versehen“, sagt Thomas Boele, Global Director Solutions Engineering für AI Security bei Check Point.

Reale Vorfälle untermauern das Muster. Die Kampagne Shai Hulud 2.0 kompromittierte über 600 npm-Pakete und rund 25.000 GitHub-Repositories und legte Tausende Entwickler-Zugangsdaten offen, darunter Cloud-Schlüssel und GitHub-Token. Vergleichbare Risiken ergeben sich über das Model Context Protocol (MCP), das Agenten an externe Werkzeuge und Datenquellen anbindet. Manipulierte MCP-Server und RAG-Pipelines schleusen Schadlogik oder einen Datenabfluss in den Arbeitsfluss der Agenten ein.

Außer Kontrolle geratene Agenten verschärfen die Lage. Ein Agent mit Zugriff auf Zahlungsfunktionen löst im Fehlerfall Transaktionen an falsche Ziele aus oder erteilt fehlerhafte Auskünfte. In vielen Unternehmen führt ein solcher Vorfall zu unmittelbarem Schaden, sobald der Agent ohne definierte Grenzen handelt.

Kompromittierte Zugangsdaten als Einstieg nach innen

Neben Skills bilden gestohlene Zugangsdaten den häufigsten Einstieg. Der DACH-Report nennt kompromittierte Zugangsdaten als zentralen Ausgangspunkt für Ransomware. Infostealer greifen auf infizierten Rechnern Passwörter und gültige Session-Token ab, auch von privaten Geräten mit Zugriff auf Unternehmensdienste.

Ein gültiges Token aus Microsoft Entra ID hält eine angemeldete Sitzung zeitlich befristet offen und tritt an die Stelle des zweiten Faktors. Verfügt das betroffene Konto über erhöhte Rechte, weitet sich die Reichweite bis ins Active Directory aus. Geleakte Zugangsdaten eröffnen damit den Übergang vom externen Perimeter in die interne Infrastruktur.

„Wir prüfen geleakte Zugangsdaten automatisiert gegen die Infrastruktur. Entscheidend ist, ob ein Credential noch gültig ist und ob sich damit die Mehrfaktor-Anmeldung über ein Session-Token umgehen lässt“, sagt Daniel Dreier, AVP Exposure Management bei Check Point.

Validierung der Ausnutzbarkeit ersetzt reine Scores

Ein generischer CVSS-Score beschreibt eine Schwachstelle losgelöst vom konkreten Umfeld. Eine Schwachstelle wirkt je Infrastruktur unterschiedlich, weshalb die Ausnutzbarkeit im eigenen Kontext den Ausschlag gibt. Eine vorgelagerte Firewall oder eine Web Application Firewall fängt einen Angriff ab, bevor er greift.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Eine kontextbezogene Validierung prüft daher aktiv, ob sich eine Schwachstelle unter den gegebenen Bedingungen ausnutzen lässt, und bildet dazu eigene, wechselnde Angriffsmuster. Der Bestand solcher Testszenarien wächst über verschiedene Umgebungen hinweg und umfasst nach Herstellerangaben rund 5.500 Fälle. Der Ansatz arbeitet wie ein kontinuierliches Red Teaming und liefert eine Aussage darüber, was zum jeweiligen Zeitpunkt möglich ist.

Vor der Inbetriebnahme setzt dieselbe Logik bei KI-Anwendungen an. Check Point AI Red Teaming prüft Modelle und Agenten vor dem produktiven Einsatz auf Angriffspfade, darunter Prompt Injection, Jailbreaks und Modellmanipulation. Die Prüfung erfolgt kontinuierlich statt einmalig und nimmt neue Angriffstechniken auf.

Guardrails wirken als Ermöglicher

Guardrails setzen den Agenten verbindliche Grenzen und erhalten zugleich ihr Tempo. Der Mechanismus gleicht Verkehrsregeln, die einen geordneten und schnellen Verkehr erst möglich machen. Sicherheit begleitet die Nutzung und steigert ihren Ertrag.

„Die Bremsen in einem Auto machen das Fahrzeug nicht langsamer, sie machen es schneller. Genauso wirken Guardrails bei KI-Agenten. Sie schränken die Mitarbeiter nicht ein, sie machen sie effizient und halten sie zugleich in sicheren Grenzen“, sagt Fred Streefland, EMEA CISO bei Check Point.

Guardrails erlauben den produktiven Einsatz von Agenten und verhindern Aktionen außerhalb des freigegebenen Rahmens. Mehrere Schutzebenen bauen aufeinander auf und greifen vor der Inbetriebnahme, im laufenden Betrieb und in der nachgelagerten Auswertung.

Kontrollierte LLM-Nutzung im Unternehmen

Workforce-Sicherheit rahmt die Nutzung von Sprachmodellen durch Mitarbeiter ein. Der Schutz begrenzt den Umgang mit LLMs auf freigegebene Dienste und verhindert den Abfluss sensibler Daten in öffentliche Modelle. Richtlinien steuern, welche Eingaben und Ausgaben zulässig sind.

Schatten-KI verliert damit an Spielraum. Eine zentrale Steuerung erfasst die genutzten Dienste und unterbindet ungeprüfte Eingaben. Datenschutzvorgaben und Geschäftsgeheimnisse bleiben innerhalb der Organisation, auch wenn einzelne Teams eigene KI-Werkzeuge ausprobieren.

Schutz der KI-Agenten zur Laufzeit

Check Point AI Agent Security setzt Schutzregeln zur Laufzeit durch. Der Laufzeitschutz überwacht Eingaben, Ausgaben und den gesamten Datenfluss, darunter Inhalte aus RAG-Pipelines und Anbindungen über MCP-Server. Er blockiert Prompt-Angriffe, Datenabfluss und Inhaltsverstöße im laufenden Betrieb.

Der Laufzeitschutz setzt nah an Anwendungen und Agenten an, weshalb er die Entwicklungsperspektive berührt. Genau hier greifen manipulierte Skills, deren Verhalten sich erst im Einsatz zeigt. Die Durchsetzung arbeitet mit niedriger Latenz, damit der Schutz den produktiven Betrieb nicht verlangsamt.

Bewertungsschicht sorgt für vorhersagbares Verhalten

Eine Bewertungs- und Überwachungsschicht prüft das Verhalten der Agenten. Sprachmodelle liefern auf dieselbe Anfrage unterschiedliche Antworten, weshalb Vorhersagbarkeit eine Kontrollinstanz verlangt. Die Schicht prüft Fundamentmodelle auf verdeckte Eigenschaften und stellt sicher, dass Modelle den gesetzten Regeln folgen.

Die Prüfung deckt Halluzinationen, verborgene Verzerrungen und unerwünschtes Verhalten ab. Die Orchestrierung erhält damit eine belastbare Grundlage, bevor Agenten autonom handeln und auf andere Systeme zugreifen.

Validierte Gegenmaßnahmen ohne Betriebsausfall

Die Identifikation eines Risikos beseitigt die beschriebene Vorgehensweise nicht. Die Zeitspanne von der Ticket-Erstellung bis zur Beseitigung beträgt häufig 60 Tage und mehr und eröffnet Angreifern ein langes Zeitfenster. Ein Neustart eines geschäftskritischen Systems scheidet im laufenden Betrieb oft aus.

Eine maschinell gestützte Prüfung bewertet daher, ob eine Gegenmaßnahme das Geschäft beeinträchtigt. In Frage kommen nur Maßnahmen, die sich als sicher erweisen, zum Beispiel das Umstellen einer Schutzfunktion von "detect" auf "prevent", Anpassungen an IDS und IPS oder das Setzen von Registry-Schlüsseln. Bleibt "prevent" wegen eines aktiven Dienstes riskant, greift zunächst "detect". Über die Anbindung an EDR, Firewall und weitere Werkzeuge zeigt sich zugleich, ob vorgelagerte Kontrollen ein Risiko bereits abdecken.

Menschliche Aufsicht bleibt verbindlich

Die Autonomie der Agenten bleibt abgestuft. Ein Modell aus vier Modi reicht von der Beobachtung über die Orientierung und die Entscheidung bis zur Handlung. Der Mensch legt Richtlinien und das gewünschte Ergebnis fest und behält die Kontrolle.

Nur in zeitkritischen Fällen handeln Agenten ohne vorherige Freigabe, zum Beispiel bei einer global verteilten Bedrohung, in der eine Rückfrage zu viel Zeit kosten würde. In den übrigen Fällen prüfen Mitarbeiter im Security Operations Center (SOC) die Aktionen. Angreifer setzen ihrerseits KI als Verstärker ein, weshalb die Verteidigung ebenso automatisiert und beschleunigt arbeitet.

Fazit

Die sichere KI-Einführung ruht auf der Prüfung vor der Inbetriebnahme, der kontrollierten LLM-Nutzung, dem Schutz zur Laufzeit, einer Bewertungsschicht für das Modellverhalten und der menschlichen Aufsicht. Geleakte Zugangsdaten und manipulierte Skills bleiben die zentralen Einstiegspunkte, die eine kontextbezogene Validierung und ein abgesichertes Identitätsmanagement begrenzen. Guardrails verbinden Tempo und Schutz und halten Agenten innerhalb freigegebener Grenzen, sobald Sicherheit bereits im Entwurf greift.

(ID:50915459)