Studie von GitLab KI-generierter Code erzeugt schneller Sicherheitslücken, als er sie beseitigt

Anbieter zum Thema

GitLab GmbH

Fujitsu Technology Solutions GmbH

FAST LTA GmbH

Künstliche Intelligenz bringt Tempo, doch Sicherheitsprüfungen halten nicht Schritt. Mehr als ein Drittel des Codes ist GitLab zufolge bereits KI generiert. Jetzt braucht es skalierbare Reviews und einen ganzheitlichen Blick auf die Pipeline.

Code-Assistenten sind leider noch lange nicht die „10x Engineers” – zehnmal produktivere Entwickler – die uns versprochen wurden. Laut einer aktuellen GitLab-Studie unter DevOps-Fachleuten schreibt KI mittlerweile mehr als ein Drittel des Codes. Deutsche Praktiker nennen allerdings Qualitätskontrolle (38 Prozent) und KI-bedingte Sicherheitslücken (40 Prozent) als größte Herausforderungen bei der Einführung von KI-Assistenten. Je stärker Unternehmen KI-Coding-Tools skalieren, desto mehr geraten ihre Security-Teams unter Druck. KI sollte die Entwicklung beschleunigen, doch stattdessen entstehen Sicherheitsengpässe schneller, als KI die Effizienz steigert.

Governance und Technik sichern KI-generierten Code

KI-Coding-Tools steigern Produktivität und das Risiko gleichermaßen

Security-Experten, die zuvor 100 Zeilen Code pro Stunde prüften, sehen sich heute mit 100.000 Zeilen konfrontiert, weil KI zu diesem Code beigetragen hat. Gleichzeitig nutzen Angreifer bereits autonome Agenten, um Schwachstellen in bestehenden Systemen rasch aufzuspüren. Die Risiken wachsen, unsere Verteidigungskapazität nicht.

Diese Herausforderung ist nicht neu. Manuelle Sicherheitsprozesse ließen sich bei über­schau­baren Code-Volumina leicht übersehen. Die Komplexität, die KI mit sich bringt, macht die Arbeit der Product Security jedoch exponentiell schwieriger. Wenn diese Skalierungsprobleme nicht rasch angegangen werden, schließt sich das entscheidende Zeitfenster.

Update: Einschätzung von Googles VP Threat Intelligence

Diese enorme Gefahr geht von Anthropics neuem KI-Modell aus

KI-Tools skalieren – Security-Reviews nicht

Die Shift-Left-Bewegung sollte Sicherheitsengpässe beseitigen, indem Verantwortung früher im Software Development Lifecycle (SDLC) auf Entwickler verlagert wird. Sicherheitstests frühzeitig zu integrieren, klingt sinnvoll. Doch Entwickler zu zwingen, Security-Checks mit hoher False-Positive-Rate durchzuführen, kostet Stunden, ohne dass Anreize für ebenjene Entwickler bestehen. Stattdessen finden sie Umgehungslösungen, weil die Entwicklung von Features Vorrang hat.

Beim Shift-Left-Ansatz haben wir den gesamten SDLC aus dem Blick verloren, was unbe­ab­sichtigte Folgen hatte. Jetzt wiederholen wir denselben Fehler mit KI-Code-Assistenten. Sie optimieren für die Code-Generierung, aber lassen den Review-Prozess unverändert. Die Lösung liegt nicht in mehr Personal oder mehr Tools, sondern im ganzheitlichen Blick auf die Pipeline.

DevSecOps-Strategie erfolgreich umsetzen

Der „Shift-Left“-Ansatz in der Softwareentwicklung

Unternehmen, die diese Falle vermeiden, kartieren ihre Wertströme vor der nächsten KI-Einführung. Prozesse auf Basis impliziten Wissens müssen dokumentiert werden, denn sonst lässt sich der KI-Mehrwert weder messen noch nachweisen.

Führungskräfte sollten Review-Methoden einführen, die KI mit menschlicher Aufsicht kombinieren, und Prioritäten nach messbarem Risiko setzen. Code, der Kundendaten oder Produktionsdatenbanken berührt, erfordert intensivere Prüfung als ein UI-Feature.

Studie zur Nutzung generativer KI in der Application Security

Entwickler lieben KI-generierten Code – trotz Sicherheitsbedenken

Traditionelle Security-Frameworks treffen auf KI-Agenten

Traditionelle Security-Frameworks setzen vorhersehbares menschliches Verhalten voraus. KI-Agenten halten sich nicht daran, woraus eine völlig neue Risikoklasse entsteht.

Die Komplexität multipliziert sich, wenn Agenten über Organisationsgrenzen hinweg inter­agieren. Erhält ein interner Agent Anweisungen von einem Drittanbieter-Agenten, der sei­ner­seits externe Anweisungen empfing, muss das Security-Modell potenziell manipulierte Anfragen außerhalb des Beobachtungsbereichs einkalkulieren.

Non-Human Identities übersteigen menschliche 50 zu 1

Wenn KI-Agenten ihre eigenen Schlüssel brauchen

Sicherheitskontrollen müssen Berechtigungen einschränken und das Agenten-Verhalten überwachen. Ansätze wie „composite identities” für KI-Systeme helfen dabei, Aktivitäten menschlicher Verantwortung zuzuordnen und nachzuverfolgen, wer was autorisiert hat.

Security-Teams brauchen zudem System-Design-Kompetenz. Viele Security-Ingenieure können nicht erklären, wie ein LLM-Backend funktioniert, obwohl dieses Verständnis für KI-Sicherheitsrisiken grundlegend ist. Tiefe Expertise ist nicht nötig, wohl aber ein Überblick darüber, wie die Teile zusammenwirken.

„Cybersecurity Skills Gap 2025“-Report

KI allein kann das Skill Gap in der Cybersecurity nicht füllen

Der Weg nach vorn

Die meisten Unternehmen werden die nächsten zwei Jahre KI-Fähigkeiten auf fehlerbehafteten Systemen aufbauen, weil Entwicklung nicht warten kann, bis alle Probleme behoben sind. Das ist die richtige Entscheidung. Eine Einheitslösung gibt es nicht. Entscheidend ist, Risiken anzuerkennen und strategisch zu managen.

Security-Teams können das nicht allein lösen. Laut Developer Experience sparen 91 Prozent der Entwickler durch KI drei bis vier Stunden pro Woche, doch organisatorische Dysfunktion – Meetings, Unterbrechungen, langsame Code-Reviews, CI-Wartezeiten – frisst mehr Zeit, als KI einspart. Die Ergebnisqualität variiert: Manche liefern schneller mit weniger Fehlern, andere versinken in technischen Schulden.

Drei Ansätze für sichere KI-Nutzung im Vergleich

KI-Sicherheit: Welcher Ansatz schützt wirklich?

Der entscheidende Unterschied liegt nicht in den Tools, sondern in Engineering-Praktiken und Kultur. Wie Bryan Finster, Experte für Continuous Delivery, formuliert: „KI ist ein Verstärker. Ist ein Delivery-System gesund, macht KI es besser. Ist es kaputt, macht KI es schlechter.”

Die Ursachen liegen in vorgelagerten Problemen, die KI nun im großen Maßstab sichtbar macht. Security-Reviews erben jede Schwäche, die vor ihnen entstand.

Security-Teams müssen Fürsprecher für die Engineering-Praktiken werden, die sichere KI-Entwicklung ermöglichen: dokumentierte Prozesse, eine starke Test-Kultur und Continuous-Delivery-Prinzipien, die Sicherheit im gesamten Software-Delivery-Prozess verankern. Die eigentliche Engstelle ist häufig die Qualität dessen, was überhaupt bei ihnen ankommt.

Wer diese Probleme nicht jetzt angeht, dem macht das Volumen an KI-generiertem Code jede spätere Korrektur unmöglich.

Über die Autorin: Julie Davila ist Vice President of Product Security bei GitLab.

KI-Sicherheit

Abwehrsysteme für den sicheren KI-Einsatz

(ID:50829320)