Mobile-Menu

Sicherheitspraktiken für Softwareentwicklung mit KI-Hilfe KI-Tools in der Entwicklung schaffen neue Angriffsflächen

Ein Gastbeitrag von John Mutuski 5 min Lesedauer

Anbieter zum Thema

Pipedrive Deutschland GmbH
Fsas Technologies GmbH

KI-gestützte Entwicklung steigert die Produktivität, doch eine Studie zeigt: Nach nur fünf Iterationen nehmen kritische Sicherheitslücken um 37,6 Prozent zu. Prompt-Injection-Angriffe, autonome Spionagekampagnen und verwundbare KI-Frameworks machen deutlich, dass Geschwindigkeit nicht vor Sicherheit gehen darf. Sieben Maßnahmen helfen, KI-Risiken zu begrenzen.

KI-gestützte Entwicklungstools versprechen Produktivitätsgewinne, doch Prompt-Injection-Angriffe und autonome Spionagekampagnen zeigen die wachsenden Risiken für Unternehmen.(Bild: © Arnab Dey - stock.adobe.com)
KI-gestützte Entwicklungstools versprechen Produktivitätsgewinne, doch Prompt-Injection-Angriffe und autonome Spionagekampagnen zeigen die wachsenden Risiken für Unternehmen.
(Bild: © Arnab Dey - stock.adobe.com)

Im Wettlauf, immer schneller neue, glänzende KI-Tools auszuliefern, machen Unternehmen potenziell auch Angreifern das Leben leichter. Die Herausforderung besteht darin, dass der Drang nach KI-getriebenen Produktivitätsgewinnen in den Vorstandsetagen mitunter schneller voranschreitet, als Sicherheitsteams Risiken angemessen bewerten und eindämmen können. Dies spiegelt das grundsätzliche Spannungsfeld zwischen Geschwindigkeit und Sicherheit bei Innovation wider.

Jüngste Vorfälle haben gezeigt, dass KI-gestützte Entwicklung – etwa sogenannte Vibe-Coding-Tools – Lücken in Sicherheitsprüfungen, Versionskontrolle und menschlicher Aufsicht offenlegen kann, insbesondere auf Plattformen, die sensible Daten verarbeiten. Die Schnelligkeit und Einfachheit dieser Werkzeuge kann ungewollt klassische Sicherheitskontrollen umgehen, auf die sich Organisationen jahrzehntelang verlassen haben.

Eine aktuelle Studie ergab, dass große Sprachmodelle (LLMs), die in mehreren Durchläufen Code iterativ verbessern, im Laufe der Zeit sogar neue Schwachstellen einführen können – selbst dann, wenn sie explizit angewiesen werden, die Sicherheit zu erhöhen. Forschende analysierten 400 Codebeispiele über 40 Verbesserungs­runden hinweg und stellten bereits nach fünf Iterationen einen Anstieg kritischer Sicherheitslücken um 37,6 Prozent fest.

Dennoch verdoppeln Unternehmen ihren Einsatz von KI-generiertem Code und Vibe-Coding-Tools. Microsofts CEO erklärte bereits im April, dass inzwischen bis zu 30 Prozent des Unternehmenscodes KI-generiert sind; Google meldet ähnliche Zahlen. Die angegebenen Produktivitätsgewinne sind beeindruckend – gleichzeitig ist jedoch mit einer Zunahme von Risiken durch schlecht geschriebenen Code zu rechnen. Und Angreifer beobachten diese Entwicklung sehr genau.

Die Prompt-Injection-Epidemie

Während Unternehmen KI-Produktivitätsgewinne feiern, haben Gegner einen neuen Angriffsvektor entdeckt, der zugleich elegant und verheerend ist: Prompt Injection. Diese Technik bringt KI-Systeme dazu, bösartige Anweisungen auszuführen, die in scheinbar harmlosen Inhalten versteckt sind – etwa in E-Mails, Webseiten, Dokumenten oder sogar in Code-Kommentaren.

Die Einführung von ChatGPT Atlas, OpenAIs KI-Browser (Oktober 2025), legte sofort systemische Schwachstellen offen. Sicherheitsforschende zeigten, dass versteckte Anweisungen in Webseiten den Browser manipulieren konnten, um Nutzerdaten abzusaugen oder Dateien in Google Drive zu löschen. OpenAIs Chief Information Security Officer, Dane Stuckey, räumte öffentlich ein, dass Prompt-Injection-Angriffe plattformübergreifend weiterhin ein weitgehend „ungelöstes Sicherheitsproblem“ darstellen.

Wenn Angriff schneller ist als Verteidigung

Die EU-Agentur für Cybersicherheit stellte fest, dass über 80 Prozent der Social-Engineering-Angriffe im Jahr 2025 KI-Funktionen nutzten – und dass Angreifer schneller innovieren, als Verteidiger reagieren können.

Aktuelle Vorfälle zeigen, dass die Bedrohung keineswegs theoretisch ist. Im November 2025 deckten Forschende auf, dass die weit verbreitete KI-Plattform Now Assist von ServiceNow anfällig für sogenannte Second-Order Prompt-Injection-Angriffe war. Angreifer mit minimalen Systemrechten konnten bösartige Prompts in Ticketbeschreibungen platzieren, wodurch höher privilegierte KI-Agenten dazu gebracht wurden, sensible Daten zu kopieren, Datensätze zu verändern und Berechtigungen auszuweiten – trotz aktivierter Schutzmaßnahmen gegen Prompt Injection.

Der Angriff war erfolgreich, weil KI-Agenten standardmäßig eigenständig andere Agenten entdecken und rekrutieren können. Ein scheinbar harmloses Support-Ticket wurde so zu einem verdeckten Befehl, der das gesamte KI-Agenten-Ökosystem gegen sich selbst richtete.

Der Anthropic-Weckruf

Sollte es noch Zweifel an der Reife KI-gestützter Angriffe gegeben haben, beseitigte sie Anthropic im November 2025 endgültig. Das Unternehmen entdeckte mit hoher Sicherheit eine chinesische, staatlich unterstützte Spionagekampagne, die Claude Code nutzte, um Cyberangriffe mit bislang unerreichter Autonomie durchzuführen.

Die Angreifer setzten die KI gegen rund 30 globale Ziele ein und waren in mehreren Fällen erfolgreich. Die KI identifizierte Sicherheitslücken, schrieb Exploit-Code, sammelte Zugangsdaten, exfiltrierte geheime Daten, richtete Hintertüren ein und erstellte umfassende Angriffsdokumentationen – und erledigte dabei etwa 80–90 Prozent der Kampagne mit minimalem menschlichen Eingreifen. Menschen griffen lediglich an 4 bis 6 kritischen Entscheidungspunkten pro Angriff ein.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Es handelte sich nicht um einen Einzelfall. Kritische Schwachstellen in KI-Inferenz-Frameworks von Meta, Nvidia und Microsoft verdeutlichen das systemische Risiko im gesamten KI-Ökosystem. Forschende stellten fest, dass Entwickler verwundbare Code-Muster projektübergreifend kopiert hatten – ein als „ShadowMQ-Pattern“ bezeichneter Effekt, der sich von Metas Llama-Framework über vLLM bis hin zu Nvidia TensorRT-LLM und weitere Projekte ausbreitete.

Ursache war unsichere Deserialisierungslogik über Pythons pickle-Modul in Kombination mit netzwerkoffenen ZeroMQ-Sockets. Einmal in weit verbreitete Frameworks integriert, wanderte die Schwachstelle in nachgelagerte KI-Stacks von Unternehmen weiter, die sensible Prompts, Modelldaten und Kundendaten verarbeiten. Eine einzige verwundbare Komponente kann so ein gesamtes Ökosystem infizieren – insbesondere, wenn Entwicklungs­geschwindigkeit gegenüber Sicherheitsprüfungen priorisiert wird.

Auf dem Weg zu einer sicheren KI-Implementierung

Zukunftsfähige Sicherheit erfordert ein grundsätzliches Umdenken bei der Einführung von KI – vor allem bei kundenorientierten Anwendungen, in denen sensible Daten und geschäftliche Auswirkungen zusammentreffen.

  • Sicherheit von Anfang an („Shift Left“): Sicherheit darf nicht erst nachträglich ergänzt werden. Sicherheitsprüfungen müssen in die frühesten Entwicklungsphasen integriert werden. KI-generierter Code sollte standardmäßig als nicht vertrauenswürdig gelten. Automatisierte Security-Scanner wie OWASP ZAP, Snyk oder SonarQube sollten sämtlichen KI-Code vor dem Einsatz prüfen.
  • Instruktions-Hierarchien einführen: Führende KI-Anbieter entwickeln Methoden, mit denen Modelle zwischen vertrauenswürdigen Nutzeranweisungen und nicht vertrauenswürdigen externen Inhalten unterscheiden können. Unternehmen sollten ähnliche Architekturen nutzen, um externe Datenquellen klar zu kennzeichnen und ihren Einfluss auf das KI-Verhalten zu begrenzen.
  • Zero-Trust für KI-Agenten anwenden: KI-Agenten benötigen umfangreiche Zugriffsrechte, um produktiv zu arbeiten – dieser Zugriff muss jedoch permanent geprüft und strikt eingeschränkt werden. Prinzip der minimalen Rechtevergabe, verpflichtende menschliche Freigaben für sensible Aktionen und Anomalieerkennung für ungewöhnliche Aktivitäten sind unerlässlich.
  • KI-Systeme konsequent „red-teamen“: Regelmäßige Angreifertests speziell gegen KI-Komponenten sollten Standard sein: Simulationen von Prompt-Injection-Angriffen, Tests zu möglichen Datenabflüssen und Prüfungen, wie KI-Agenten auf versteckte Schadbefehle reagieren.
  • Anbietersicherheit als Kernanforderung: Externe KI-Tools müssen dieselben Sicherheitsstandards erfüllen wie interne Systeme. Erforderlich sind gründliche Risikoanalysen, kontinuierliches Monitoring sowie Echtzeit-Transparenz über Systemverhalten und Datenflüsse von Drittanbietern.
  • Mensch im Entscheidungsprozess („Human-in-the-Loop“): Bei sicherheitskritischen Abläufen – etwa Zugriff auf sensible Daten, Systemänderungen oder externe Kommunikation – ist menschliche Bestätigung Pflicht. Ziel ist nicht, KI-Produktivität zu bremsen, sondern bewusste Kontrollpunkte einzubauen, an denen Sicherheitsprüfungen unverzichtbar sind.
  • Kontinuierliche Schulungen und Sensibilisierung: Entwickler und Anwender müssen KI-spezifische Sicherheitsrisiken verstehen: sauberes Prompt-Engineering, Erkennen KI-bedingter Schwachstellen und klares Eskalationsverhalten. Schulungsprogramme sollten KI als neue Risikoklasse behandeln, die spezielles Know-how erfordert.

Die Uhr tickt

Unternehmen müssen sich nicht zwischen vollständigem Stopp der KI-Einführung und unbegrenztem Risiko entscheiden. Vielmehr gilt es, Sicherheitspraktiken direkt in KI-gestützte Entwicklungsabläufe zu integrieren und Schutzmechanismen zu schaffen, die mit dem Tempo der Innovation Schritt halten. Dazu gehören angepasste Sicherheitsprüfungen für KI-Code, automatisierte Kontrollen und gezielte menschliche Überwachung an kritischen Punkten – ohne die angestrebten Effizienzgewinne zu blockieren.

Die entscheidende Frage lautet, ob Organisationen ihre Sicherheitsreife schnell genug steigern können, um mit der Geschwindigkeit der KI-Einführung mitzuhalten – bevor Angreifer die im großen Stil entstehenden Schwachstellen systematisch ausnutzen. Wer dieses Gleichgewicht erreicht, verschafft sich einen echten Wettbewerbsvorteil.

Über den Autor: John Mutuski ist Chief Security Information Officer bei Pipedrive.

(ID:50784688)

Weiterführende Inhalte