KI wird wie ein Werkzeug behandelt, wirkt aber wie kritische Infrastruktur KI trifft falsche Entscheidungen und niemand merkt es rechtzeitig

Anbieter zum Thema

DATAGROUP SE

Fujitsu Technology Solutions GmbH

FAST LTA GmbH

FTAPI Software GmbH

KI ist in vielen Unternehmen bereits in operative Prozesse integriert, bevor die Sicherheits- und Governance-Strukturen nachgezogen wurden. Fehl­ent­schei­dung­en automatisierter Systeme sind deshalb kein theoretisches Risiko mehr, sie unterbrechen Prozesse, isolieren Systeme und entstehen, bevor jemand eingreifen kann. Security-Verantwortliche brauchen Kontrolle über KI-Entscheidungen, nicht nur über KI-Systeme.

Ein KI-gestütztes Security-Tool stuft eine eingehende Meldung als kritischen Angriff ein und stößt automatisiert eine Gegenmaßnahme an. Innerhalb weniger Sekunden wird ein pro­duk­tives System isoliert, Zugriffe werden blockiert, Prozesse kommen zum Stillstand. Erst bei der nachgelagerten Analyse zeigt sich, dass die Bewertung der KI fehlerhaft war. Nicht ein tatsächlicher Angriff führt zum Schaden, sondern die fehlerhafte Entscheidung der KI selbst. Solche Szenarien sind keine Einzelfälle. Sie zeigen, dass sich der Risikofokus verschiebt: weg von der reinen Systemabsicherung hin zur Kontrolle von KI-gestützten Entscheidungen.

Schatten-KI ist eine Sicherheitsgefahr

Unkontrollierte Nutzung von KI verhindern

Denn es hat sich ein neues Muster etabliert: Künstliche Intelligenz ist bei vielen Unternehmen fest in operative Prozesse integriert – oft schneller, als Sicherheits- und Governance-Strukturen nachgezogen haben. Sie unterstützt Analysen, automatisiert Entscheidungen und übernimmt Aufgaben mit direktem Einfluss auf den Geschäftsbetrieb. Gleichzeitig fehlt häufig der vollständige Überblick über Einsatz und Nutzung, insbesondere bei externen Modellen oder Hyperscalern. Damit entsteht nicht primär ein Souveränitätsthema, sondern vor allem ein operatives Steuerungsproblem. Mit der Nutzung externer KI-Services wird zudem ein Teil der Kontrolle abgegeben. Transparenz über Entscheidungslogiken, Datenverarbeitung und Ergebnisqualität ist oft eingeschränkt. Die Folge: KI wird wie ein Werkzeug behandelt, wirkt im Betrieb aber wie kritische Infrastruktur.

Wenn die KI selbst zum Risiko wird

Klassische Sicherheitsansätze greifen im Kontext von KI-gestützten Systemen zunehmend zu kurz. Der Schutz von Systemen allein reicht nicht mehr aus, wenn Entscheidungen automatisiert getroffen und direkt in operative Abläufe übersetzt werden. Im Fokus stehen daher neue Risikotypen: manipulierte Eingaben, verzerrte Trainingsdaten oder schwer nachvollziehbare Reaktionen der Modelle. Diese Risiken entstehen nicht primär durch das System selbst, sondern durch das konkrete Verhalten der KI im Einsatz.

Solche Szenarien verdeutlichen zwei zentrale Punkte: Erstens dürfen KI-Systeme nicht unkontrolliert autonom agieren. Zweitens bleibt der Mensch ein unverzichtbarer Bestandteil der Sicherheitsarchitektur. Entscheidungen müssen überprüfbar und im Zweifel korrigierbar sein.

Die Bedeutung von künstlicher Intelligenz in der Cybersicherheit

Ist KI ein Risiko oder erhöht sie die Sicherheit?

AI Dependency Risk: Eine neue Risikoklasse

Mit der operativen Nutzung von KI entsteht eine neue Risikoklasse: „AI Dependency Risk“. Diese wirkt nicht abstrakt, sondern unmittelbar im Betrieb, in Form von Fehlentscheidungen, unterbrochenen Prozessen oder fehlender Kontrolle über Datenflüsse. Fällt ein KI-Service aus, stehen Abläufe still. Liefert er fehlerhafte Ergebnisse, entstehen falsche Entscheidungen. Und wenn Daten unkontrolliert in Modelle fließen, drohen Sicherheits- und Compliance-Risiken.

Gleichzeitig fehlt oft die vollständige Kontrolle über Trainingsdaten und Wissensbasis. Viele Unternehmen nutzen Systeme, deren Inhalte und Logik sie nicht selbst entwickelt haben und damit auch nicht vollständig beherrschen.

Diese Szenarien sind keine theoretischen Annahmen, sondern spiegeln reale Vorfälle wider, die zunehmend sichtbar werden. Mit dem EU AI Act werden solche Risiken zudem regulatorisch greifbar, da Anforderungen an Transparenz, Risikobewertung und Kontrolle von KI-Systemen verbindlich festgelegt werden. Entsprechend müssen sie systematisch in Risikobetrachtungen und Risk Register aufgenommen werden. Es handelt sich dabei nicht um ein isoliertes IT-Risiko, sondern um ein unmittelbares Geschäftsrisiko. Daraus entstehen konkrete Anforderungen an den Umgang mit KI im Betrieb.

Datenschutz bei LLMs

ChatGPT, Gemini und Co. unter der Lupe: Welche KI schnüffelt am meisten?

Konkrete Maßnahmen für den sicheren KI-Betrieb

Für CISOs und Security-Verantwortliche ergibt sich daraus ein klarer Handlungsbedarf. Entscheidend ist nicht nur zu verstehen, wo Risiken entstehen, sondern wie sie im laufenden Betrieb beherrscht werden können.

Der erste Schritt ist Transparenz. Unternehmen müssen systematisch erfassen, wo KI eingesetzt wird, welche Prozesse davon abhängen und welche externen Modelle genutzt werden. Diese Inventarisierung bildet die Grundlage für jede weitere Absicherung. Darauf aufbauend ist eine Risikobewertung notwendig, die nicht nur Systeme, sondern konkrete Entscheidungsauswirkungen betrachtet. Wo KI unmittelbaren Einfluss auf den Geschäftsbetrieb hat, müssen strengere Kontrollmechanismen greifen.

Ein weiterer Punkt ist die Kontrolle von Datenflüssen. Es muss nachvollziehbar sein, welche Informationen in KI-Systeme eingehen und welche das Unternehmen verlassen. Gerade bei externen Modellen ist das eine Grundvoraussetzung für Sicherheit und Compliance. Auch das Verhalten der KI-Systeme selbst muss aktiv abgesichert werden. Dazu gehören die Prüfung von Eingaben und Ausgaben, die Erkennung von Anomalien sowie die Berücksichtigung spezifischer Risiken wie Manipulationen oder Prompt Injection. Etablierte Frameworks wie die OWASP Top 10 für Large Language Models bieten hier eine Orientierung. Gleichzeitig sollten Modelle so konfiguriert werden, dass sie Unsicherheiten erkennen und Rückfragen stellen, statt falsche Ergebnisse zu liefern.

OWASP LLM Security Top 10

Die größten KI-Risiken – und wichtigsten Schutzmaßnahmen

Steuerung von Entscheidungen und Abhängigkeiten

In diesem Zusammenhang gewinnt auch der Grad der Automatisierung an Bedeutung. Je unmittelbarer KI-gestützte Entscheidungen in operative Abläufe eingreifen, desto wichtiger wird es, ihre Autonomie gezielt zu begrenzen. Kritische Aktionen sollten nicht ohne Zwischenschritte ausgelöst werden, sondern in klar definierte Freigabe- oder Eskalationsmechanismen eingebettet sein. So bleibt sichergestellt, dass im entscheidenden Moment eine menschliche Bewertung eingreifen kann.

Ebenso wichtig ist der bewusste Umgang mit Abhängigkeiten. Unternehmen sollten vermeiden, sich an einzelne Modelle oder Anbieter zu binden. Stattdessen sind Alternativen vorzubereiten. Gleichzeitig gilt: KI sollte gezielt eingesetzt werden, wo es sinnvoll ist und nicht als Allzwecktechnologie in sämtlichen geschäftskritischen Prozessen.

Governance und Technik sichern KI-generierten Code

KI-Coding-Tools steigern Produktivität und das Risiko gleichermaßen

Fallback-Mechanismen als Teil der Betriebsfähigkeit

Belastbare Fallback-Mechanismen sind ein relevanter Baustein innerhalb einer umfassenden Absicherungsstrategie. Für jede kritische KI-Anwendung muss klar sein, wie der Betrieb bei Ausfall oder Fehlverhalten weitergeführt wird. Das kann durch manuelle Prozesse, alternative Systeme oder zusätzliche Ressourcen erfolgen. Entscheidend ist, dass diese Fallbacks nicht nur existieren, sondern im Ernstfall auch funktionieren.

Gleichzeitig braucht es klare Verantwortlichkeiten und gezielte Kompetenzentwicklung. Mitarbeitende müssen lernen, Ergebnisse von KI-Systemen einzuordnen und kritisch zu hinterfragen. Nur wer die Funktionsweise und Grenzen versteht, kann KI sinnvoll und sicher einsetzen. Vollautomatisierte Entscheidungen ohne Absicherung sind insbesondere in kritischen Bereichen wie den Security Operations nicht vertretbar. Entscheidungsprozesse müssen überprüfbar bleiben und im Zweifel durch Menschen gesteuert werden können.

Studie von Trend Micro

KI im Spannungsverhältnis zwischen Chance und Risiko

Souveränität entsteht im Betrieb

KI ist keine isolierte Technologie, sondern die nächste Stufe bestehender Abhängigkeiten. Die grundlegende Regel bleibt jedoch gleich: Sicherheit entsteht nicht durch Verzicht, sondern durch Vorbereitung.

Unternehmen, die Transparenz schaffen, Kontrolle etablieren und über funktionierende Fallback-Mechanismen verfügen, bleiben auch unter Störungen handlungsfähig. Entscheidend ist dabei, KI aktiv zu steuern – nicht nur technisch, sondern auch prozessual.

Souveränität zeigt sich nicht darin, auf KI zu verzichten, sondern darin, sie so einzusetzen, dass sie beherrschbar bleibt. Dazu gehört auch die bewusste Kombination aus automatisierter Unterstützung und menschlicher Entscheidungsfähigkeit.

Über den Autor: Björn Klement ist Bereichsleiter Security Services & Operations bei DATAGROUP.

(ID:50861087)