Security für Generative Künstliche Intelligenz Shift Left als Basis für Secure-by-Design bei KI

Anbieter zum Thema

Fsas Technologies GmbH

SEPPmail - Deutschland GmbH

Shift Left verlagert Si­cher­heits­prüfungen in Datenphase, Training und Promptgestaltung, bevor Künstliche Intelligenz (KI) produktiv arbeitet. Security-Gates, Red-Teaming und Monitoring mindern Prompt Injection, Data Poisoning und Model Leakage.

Generative AI (GenAI) stellt etablierte Si­cher­heits­konzepte auf den Kopf. Klassische IT-Systeme lassen sich nachträglich durch zusätzliche Software wie Firewalls, Malware-Scanner oder durch Patches für bekannte Schwachstellen absichern. Bei KI-Anwendungen – ob Large Language Models (LLMs), multimodale Systeme oder agentenbasierte Ar­chi­tek­turen – verlaufen Angriffe und Abwehrmechanismen komplexer.

OWASP LLM Security Top 10

Die größten KI-Risiken – und wichtigsten Schutzmaßnahmen

Punktuelle Fixes decken die Si­cher­heits­probleme meist nicht ab. Oft müssen Systemprompts angepasst, Fine-Tuning-Prozesse neu konzipiert oder Trai­nings­datensätze überprüft und bereinigt werden. Im schlimmsten Fall bleibt sogar nur ein komplettes Neu-Training. Der Aufwand dafür ist enorm und im laufenden Betrieb kaum umsetzbar. Daher müssen Entwickler schon in der frühen Phase klare Si­cher­heits­standards definieren.

Die Grenzen klassischer Technologien

In der traditionellen IT-Security lautet das Grundprinzip: Fachkräfte finden Schwachstellen, patchen sie und sichern durch zusätzliche Maßnahmen ab. Selbst schwerwiegende Si­cher­heits­lücken lassen sich häufig mit überschaubarem Aufwand nachträglich beheben.

Bei KI-Systemen greift dieser reaktive Ansatz jedoch nicht. Angreifer nutzen kompromittierte Systeme, um au­to­ma­ti­sierte Phishing-Kampagnen zu starten, sen­sible Informationen zu stehlen oder durch manipulierte Ausgaben ganze Prozesse zu manipulieren – unabhängig davon, ob es sich um Text-, Bild-, Audio- oder Code-Modelle handelt.

Bei LLMs verschärfen sich die Risiken zusätzlich: Gelangen zum Beispiel durch Data Poisoning verfälschte Informationen in den Trai­nings­prozess, wird das Modell dauerhaft beeinflusst. Wer diese schädlichen Daten nachträglich entfernen möchte, muss in der Praxis fast denselben Aufwand wie beim kompletten Neu-Training betreiben.

Zudem spielen bei KI-Anwendungen viele Ebenen zusammen: Die Ursache muss nicht unbedingt dort liegen, wo der Angreifer die Schwachstelle ausnutzt. Unternehmen, die nur reagieren, laufen so in eine Endlosschleife: Sie behandeln Symptome statt Ursachen – und das ist sowohl ineffizient als auch unsicher.

ChuanhuChatGPT, Lunary und LocalAI

Schwere Sicherheitslücken in KI-Sprachmodellen

Strategische KI-Sicherheit

Das Prinzip „Secure-by-Design“ verlangt, dass Teams Si­cher­heits­mechanismen von Beginn an in die Entwicklung integrieren. Dieses Vorgehen gilt für jede Technologie, hat aber im Kontext von KI eine besondere Bedeutung. Statt Schadsoftware einzuschleusen, setzen Angreifer auf Prompt Injections, die das Modell zu unerwünschten Ausgaben bewegen.

Mit Data Poisoning greifen sie schon bei den Trai­nings­daten an und durch Model Leakage stehlen sie das Modell selbst – konkret die sogenannten Weights, also die trainierten Parameter, die das Verhalten der KI bestimmen. Diese Bedrohungen betreffen besonders LLMs. Andere Risiken – etwa au­to­ma­ti­sierte Fake-Inhalte oder gezielte Täuschung durch generierte Bilder – betreffen GenAI insgesamt.

Zudem rückt Agentic AI in den Fokus. Autonome Agenten orchestrieren Ketten von LLM-Aufrufen und nutzen externe Tools oder APIs. Dadurch entstehen neue Angriffsflächen: Eine erfolgreiche Prompt Injection verschafft direkten Zugriff auf Systeme oder Da­ten­banken und Data Leakage kann eskalieren, wenn Agenten Informationen unkontrolliert weiterverarbeiten.

Wer Secure-by-Design ernst nimmt, muss Ar­chi­tek­turen, Datenflüsse und Schnittstellen so konzipieren, dass potenzielle Angriffsflächen gar nicht erst entstehen. Dazu gehören geschützte API-Schnittstellen mit klaren Berechtigungen, die sorgfältige Prüfung von Datenquellen sowie die laufende Überwachung von Nutzereingaben.

Von Anfang an sicher

Die Vorteile von „Secure by Design“

Si­cher­heits­prozesse für KI-Anwendungen etablieren

Damit Secure-by-Design in der Praxis Wirkung entfaltet, müssen Unternehmen ihre Entwicklungsprozesse neu gestalten. Grundlage dafür ist ein strukturierter Ansatz wie der Secure Software Development Lifecycle (Secure SDLC). Dieses Modell verankert Sicherheit systematisch in allen Entwicklungsphasen – von der Datensammlung über das Training bis zum Rollout. Im Secure SDLC werden feste Kontrollpunkte, sogenannte Security-Gates, eingerichtet, an denen jede Phase verbindlich geprüft wird, bevor es weitergeht.

Realitätsnahe Angriffssimulationen haben dabei eine Schlüsselfunktion. Regelmäßige Red-Teaming-Simulationen, bei denen Si­cher­heits­teams als Angreifer agieren und die KI unter realistischen Bedingungen testen, decken bisher unentdeckte Schwachstellen auf. Mit der zunehmenden Verbreitung generativer KI-Systeme entwickeln sich auch die Testmethoden weiter.

Security-Insider Podcast – Folge 24

So funktioniert Red Teaming

Neben klassischen Penetrationstests gewinnen spezielle Verfahren an Bedeutung. LLM-Penetrationstests – auch „Adversarial Testing“ genannt – simulieren gezielt Angriffe wie Prompt Injections oder Manipulationen von Modellausgaben. Für Agentic AI gilt zusätzlich: Si­cher­heits­teams müssen auch die Orchestrierung von Agentenketten prüfen, da Angriffe hier besonders weitreichende Folgen haben.

Darüber hinaus müssen auch Schutzmechanismen in der Produktionsumgebung verankert werden. Monitoring-Systeme erkennen ungewöhnliche Abfragen bei LLMs und multimodalen Modellen. Logging-Mechanismen dokumentieren Angriffe nachvollziehbar. Wichtig ist: Sicherheit muss als kontinuierlicher Prozess etabliert werden.

Transparenz wird zum Risiko: DeepSeek-R1 und CoT Reasoning

Wie Hacker KI austricksen

Basis der Sicherheit: Automatisierung und Governance

Technische Maßnahmen allein genügen nicht, um das „Secure-by-Design“-Prinzip vollständig umzusetzen. Ebenso wichtig sind klare organisatorische Strukturen und verbindliche Prozesse. Entwicklungsteams müssen Si­cher­heits­prüfungen an definierten Kontrollpunkten au­to­ma­ti­siert durchführen. Der Secure SDLC schafft hierfür eine solide Basis: Er fördert standardisierte Datenprüfungen, au­to­ma­ti­sierte Schwachstellenanalysen bei Code-Änderungen und obligatorische Si­cher­heits­tests vor jedem Deployment. Dadurch geraten Si­cher­heits­fragen nicht ins Hintertreffen, wenn Zeit oder Budget knapp werden.

Auch Governance ist unverzichtbar. Eindeutige Verantwortlichkeiten für Si­cher­heits­ent­schei­dun­gen, verbindliche Entwicklungsrichtlinien und transparente Dokumentation gewährleisten Nachvollziehbarkeit und reduzieren das Risiko von Fehlkonfigurationen. Au­to­ma­ti­sierte Prüfungen unterstützen Fachkräfte zusätzlich, minimieren ihren Aufwand und stellen konsistente Ergebnisse sicher. Sie laufen permanent im Hintergrund und dienen als Frühwarnsystem, das Auffälligkeiten erkennt, bevor größere Schäden entstehen.

Autonome handelnde Entitäten im IAM – Darauf kommt es an

KI als eigenständige Identität im Identity and Access Management

Vordenken statt nachdenken

Der Einsatz von Generative AI markiert einen Wendepunkt in der IT-Sicherheit. Firmen, die ihre Systeme erst im Nachhinein absichern, stoßen dabei schnell an ihre Grenzen. Secure-by-Design ist deshalb eine unverzichtbare Grundlage, um KI-Anwendungen zuverlässig und zukunftsfähig zu machen.

Wer Sicherheit konsequent in Ar­chi­tek­tur, Datenprozesse und Governance integriert, baut resiliente Systeme auf und sichert sich einen entscheidenden Vorsprung. Das gilt umso mehr mit Blick auf Agentic AI: Autonome Agenten erfordern eine vorausschauende Si­cher­heits­ar­chi­tek­tur, die Risiken eindämmt, bevor sie entstehen. In einem Markt, in dem Vertrauen über die Akzeptanz einer Technologie entscheidet, wird nachhaltige Sicherheit zum Erfolgsfaktor.

Über den Autor: Okay Güler ist Gründer und CEO von CLOUDYRION. Nachdem er im Banking und Automotive-Bereich Erfahrung als Ethical Hacker sammeln konnte, gründete Güler 2020 CLOUDYRION. Seine Motivation: Unternehmen zu helfen, die neuen Herausforderungen im Cyberspace zu bewältigen und Awareness für Secure-by-Design zu schaffen.

Security-Insider Podcast – Folge 107

Was Ethical Hacker antreibt

(ID:50661621)