Organisatorische Grauzonen gefährden KI-Sicherheit in Behörden KI in der öffentlichen Verwaltung braucht neue Sicherheitsarchitekturen

Anbieter zum Thema

FAST LTA GmbH

FTAPI Software GmbH

KI-Systeme in der öffentlichen Verwaltung greifen in Entscheidungsprozesse ein, verarbeiten sensible Daten und werden damit zum attraktiven Ziel für Cyberangriffe. Manipulierte Modelle oder kompromittierte Trainingsdaten können lange unentdeckt bleiben. Security-by-Design führt technische und organisatorische Verantwortung zusammen, bevor Sicherheitslücken entstehen.

Der Einsatz Künstlicher Intelligenz verändert die sicherheitstechnische Bedeutung digitaler Verwaltungsdienste grundlegend. KI-Anwendungen greifen aktiv in Entscheidungsprozesse ein, analysieren große Mengen sensibler Daten und automatisieren Abläufe, die früher vollständig in menschlicher Hand lagen. Damit sind sie ein zentraler Bestandteil staatlicher IT-Infrastrukturen und ein attraktives Ziel für Cyberangriffe.

Ein Sicherheitsvorfall in einem KI-System hat dabei eine andere Tragweite als klassische IT-Störungen. Kompromittierte Trainingsdaten, manipulierte Modelle oder unzureichend abgesicherte Schnittstellen können Daten offenlegen, Entscheidungen verfälschen, Verwaltungsprozesse blockieren oder falsche Ergebnisse systematisch reproduzieren. Der Schaden bleibt oft lange unentdeckt, da KI-Systeme oft nicht vollständig nachvollziehbar reagieren und Abweichungen schwer erkennbar sind. Für die öffentliche Verwaltung bedeutet das: KI-Systeme gelten als sicherheitskritischer Bestandteil der Infrastruktur – mit entsprechendem Schutzbedarf, klaren Kontrollmechanismen und belastbaren Sicherheitsarchitekturen.

Studie von Trend Micro

KI im Spannungsverhältnis zwischen Chance und Risiko

Erweiterte Angriffsflächen durch komplexe KI-Architekturen

KI-Systeme bestehen aus einer Vielzahl technischer Komponenten, die über unterschiedliche Lebenszyklen verfügen. Trainingsdaten werden gesammelt, aufbereitet und versioniert, Modelle trainiert und aktualisiert, Ergebnisse über Schnittstellen in Fachverfahren integriert. Jede dieser Ebenen eröffnet potenzielle Angriffspunkte.

Besonders problematisch sind Angriffe, die gezielt auf KI-spezifische Schwachstellen abzielen: manipulierte Trainingsdaten und Modelle oder unautorisierte Änderungen an Parametern. Anders als bei klassischen Systemen lassen sich solche Eingriffe nicht immer eindeutig nachweisen. Ein kompromittiertes Modell kann über lange Zeit scheinbar korrekt funktionieren und dennoch systematisch falsche Ergebnisse liefern.

Ein Beispiel verdeutlicht die Tragweite: Eine Behörde setzt einen KI-gestützten Chatbot für Bürgeranfragen ein. Das System greift per Retrieval-Augmented Generation (RAG) auf interne Wissensdatenbanken zu. Durch ein manipuliertes Dokument, das als Bürgerantrag eingereicht wird, gelangt ein versteckter Prompt in die Verarbeitungskette. Fortan nennt der Chatbot bei bestimmten Anfragen falsche Fristen oder verweist auf externe Seiten. Der Angriff bleibt wochenlang unentdeckt. Das System funktioniert scheinbar korrekt, verbreitet aber systematisch Fehlinformationen an tausende Bürger. Klassische IT-Sicherheitsmaßnahmen wie Firewalls oder Endpoint Protection greifen hier nicht. Erforderlich sind KI-spezifische Kontrollen: Input-Validierung, Segmentierung von Nutzer- und Systeminstruktionen sowie kontinuierliches Output-Monitoring.

Hinzu kommt die technische Realität in vielen Behörden: KI trifft auf historisch gewachsene IT-Landschaften mit Legacy-Systemen, heterogenen Sicherheitsniveaus und zahlreichen Übergabepunkten. Neue KI-Komponenten erweitern diese Landschaft zusätzlich – oft schneller, als Sicherheits- und Governance-Strukturen angepasst werden können.

Model Confusion

Vortrainierte KI-Modelle lassen sich verwirren und angreifen

Organisatorische Schwachstellen als Sicherheitsrisiko

Neben der technischen Komplexität verschärfen organisatorische Faktoren die Sicherheitslage. In vielen Verwaltungen liegt die Verantwortung für KI-Anwendungen bei den Fachabteilungen, während Betrieb und Sicherheit von zentralen IT-Teams übernommen werden. Externe Dienstleister kommen hinzu, etwa für Modelltraining, Plattformbetrieb oder Datenanalyse.

Diese Arbeitsteilung ist funktional sinnvoll, erzeugt aber sicherheitsrelevante Grauzonen. Wenn Zuständigkeiten nicht klar definiert sind, bleiben Sicherheitsanforderungen fragmentiert. Wer ist verantwortlich für Modellupdates? Wer prüft Trainingsdaten? Wer überwacht den laufenden Betrieb? Unklare Antworten auf diese Fragen schaffen Risiken, die Angreifer gezielt ausnutzen.

Security-by-Design setzt genau hier an, indem es organisatorische und technische Verantwortung zusammenführt und Sicherheitsanforderungen verbindlich in die Architektur integriert. Im KI-Kontext bedeutet das weit mehr als die Absicherung einzelner Komponenten. Es beschreibt einen Architekturansatz, bei dem Sicherheit von Beginn an mitgedacht wird – von der Datenquelle bis zur operativen Nutzung.

Zentrale Elemente sind die klare Trennung von Rollen und Systemen, eine strikte Segmentierung sensibler Komponenten sowie die vollständige Transparenz über Datenflüsse und Abhängigkeiten. Trainingsdaten, Modelle und administrative Funktionen werden technisch voneinander isoliert, um Seiteneffekte und Kaskadenschäden zu vermeiden.

Gleichzeitig werden Sicherheitsmechanismen als integraler Bestandteil des Systems verstanden. Jede Änderung am Modell, jede neue Datenquelle und jede Schnittstelle unterliegt definierten Prüf- und Freigabeprozessen. So bleibt das System auch bei wachsender Komplexität kontrollierbar.

Gefahren manipulierter KI-Modelle

KI-Modelle schützen

NIS2 erhöht die Anforderungen an KI-Sicherheit

Mit der Umsetzung der NIS2-Richtlinie verschärft sich der regulatorische Rahmen für digitale Verwaltungsdienste erheblich. Behörden sind verpflichtet, Risiken systematisch zu bewerten, geeignete Schutzmaßnahmen zu implementieren und Sicherheitsvorfälle nachvollziehbar zu dokumentieren.

Für KI-Systeme bedeutet das eine neue Qualität der Verantwortung. Neben klassischen IT-Komponenten müssen Verantwortliche auch Datenpipelines, Modelle und externe KI-Dienste in das Risikomanagement einbeziehen. Abhängigkeiten von Drittanbietern, Plattformen oder vortrainierten Modellen rücken dabei stärker in den Fokus. Security-by-Design unterstützt Behörden dabei, diese Anforderungen strukturiert umzusetzen. Sicherheitskontrollen werden fest in Architektur, Betrieb und Governance eingebettet. Damit wird Compliance zu einem Bestandteil resilienter Systemgestaltung.

Mehrschichtige Verteidigung statt punktueller Schutzmaßnahmen

Effektive KI-Sicherheit folgt dem Prinzip der Defense-in-Depth. Einzelne Maßnahmen reichen nicht aus, um komplexe Angriffe abzuwehren. Stattdessen greifen mehrere Verteidigungsebenen ineinander. Dazu gehören fein granular gesteuerte Zugriffsrechte, mehrstufige Authentifizierungsverfahren und die konsequente Einschränkung administrativer Zugänge. Ergänzt werden sie durch kontinuierliches Monitoring, das auch KI-spezifische Auffälligkeiten erfasst – etwa ungewöhnliche Modelloutputs oder atypische Datenveränderungen.

Regelmäßige Sicherheitsüberprüfungen, Penetrationstests und Architektur-Reviews sorgen dafür, dass Verantwortliche Schwachstellen frühzeitig erkennen. Besonders relevant sind Tests, die gezielt KI-spezifische Angriffsszenarien simulieren und damit über klassische IT-Sicherheitsprüfungen hinausgehen.

Security-Insider Podcast – Folge 108

Das Jahr der NIS-2-Richtlinie beginnt

Sicherheit als Voraussetzung für Kontrolle und Vertrauen

Im öffentlichen Sektor ist Sicherheit untrennbar mit Vertrauen verbunden. Bürger:innen erwarten, dass digitale Verwaltungsdienste zuverlässig, transparent und geschützt arbeiten. Gleichzeitig müssen Mitarbeitende nachvollziehen können, wie KI-Systeme Entscheidungen unterstützen und wo Eingriffe in welchem Umfang möglich sind.

Security-by-Design schafft dafür die notwendigen Kontrollmechanismen. Klare Zuständigkeiten, dokumentierte Änderungen und überprüfbare Prozesse sorgen dafür, dass KI-Systeme keine Black Box sind. Sicherheit wird so zur Voraussetzung für Steuerbarkeit und damit für langfristige Akzeptanz.

Wettlauf der Algorithmen

So schützen sich Unternehmen gegen KI-gestützte Cyberangriffe

Resiliente KI braucht Sicherheitsarchitektur

Der Einsatz von KI in der Verwaltung ist eine strukturelle Veränderung. Damit steigt die Bedeutung robuster Sicherheitsarchitekturen, die technische, organisatorische und regulatorische Anforderungen zusammenführen.

In den kommenden Jahren wird die kontinuierliche Überwachung von KI-Systemen zum Standard. Es gilt, entsprechende Monitoring-Infrastrukturen aufzubauen, die automatisierte Sicherheitsprüfungen, regelmäßige Architektur-Checks und nachvollziehbare Modellpflege ermöglichen. Diese Systeme fungieren als Frühwarnsysteme und erkennen Anomalien, bevor größere Schäden entstehen.

Die Fähigkeit, KI-Systeme kontrolliert, resilient und vertrauenswürdig zu betreiben, wird zum entscheidenden Erfolgsfaktor für die digitale Verwaltung. Wer Sicherheit als strategische Daueraufgabe versteht und Security-by-Design konsequent umsetzt, schafft die Voraussetzungen, KI auch in sensiblen staatlichen Prozessen nachhaltig und verantwortungsvoll einzusetzen.

Über den Autor: Okay Güler ist Gründer und CEO von CLOUDYRION. Nachdem er im Banking und Automotive-Bereich Erfahrung als Ethical Hacker sammeln konnte, gründete Güler 2020 CLOUDYRION. Seine Motivation: Unternehmen zu helfen, die neuen Herausforderungen im Cyberspace zu bewältigen und Awareness für Secure-by-Design zu schaffen.

Die Bedeutung von künstlicher Intelligenz in der Cybersicherheit

Ist KI ein Risiko oder erhöht sie die Sicherheit?

(ID:50814904)