AI Act macht Cybersicherheit zur Compliance-Pflicht AI Act bringt neue Cyber­sicher­heits­pflich­ten für KI-Systeme

Anbieter zum Thema

Fsas Technologies GmbH

FTAPI Software GmbH

Der AI Act macht Cybersicherheit zur Pflicht für KI-Systeme, aber die meisten Unternehmen sind nicht darauf vorbereitet. Manipulierte Trainingsdaten können KI-Systeme unbemerkt zu falschen Entscheidungen zwingen. Wer jetzt nicht handelt, verliert die Kontrolle über geschäfts­kritische KI-Entscheidungen.

Mit dem AI Act setzt die EU neue Maßstäbe für den sicheren Einsatz von KI. Cybersicherheit von KI wird dabei zur Schlüsselanforderung. Der Artikel zeigt, wie Regulierung, Technik und Praxis zusammenspielen und worauf Unternehmen jetzt achten müssen.

Cybersicherheit als Kern des AI Act

Die europäische KI-Verordnung (AI Act) markiert einen Wendepunkt in der Regulierung von Künstlicher Intelligenz. Erstmals wird ein umfassender, risikobasierter Rechtsrahmen geschaffen, der Cybersicherheit neben vielen weiteren Anforderungen als zentrales Element für vertrauenswürdige KI-Systeme definiert. Ziel des AI Act ist es, ein hohes Schutzniveau für Gesundheit, Sicherheit und Grundrechte zu gewährleisten und das Vertrauen in KI zu stärken.

Risk Management bei KI

EU AI Act als Wegweiser für sichere KI-Systeme

Hochrisiko-KI: Anforderungen und Pflichten

Im Fokus des AI Act stehen Hochrisiko-KI-Systeme, die als besonders schutzbedürftig gelten. Anbieter solcher Systeme müssen ein Risikomanagementsystem implementieren, das den gesamten Lebenszyklus der KI abdeckt – von der Entwicklung über den Betrieb bis zur Stilllegung. Die Anforderungen an Anbieter umfassen unter anderem:

• Genauigkeit, Robustheit und Cybersicherheit: Der AI Act verlangt, dass Hochrisiko-KI-Systeme widerstandsfähig gegen Versuche unbefugter Dritter sein müssen, ihre Verwendung, Ausgaben oder Leistung durch Ausnutzung von Systemschwachstellen zu verändern. Cybersicherheit wird im AI Act KI-zentriert verstanden. Folglich geht es insbesondere darum KI-spezifische Schwachstellen zu erkennen und zu behandeln.

• Technische und organisatorische Maßnahmen: Neben technischen Lösungen sind auch organisatorische Maßnahmen wie Schulungen und die Sensibilisierung des Personals gefordert. Besonders hervorzuheben ist die Pflicht zur Sicherstellung von KI-Kompetenz: Gemäß Art. 4 AI Act müssen Anbieter und Betreiber von KI-Systemen geeignete Maßnahmen ergreifen, um sicherzustellen, dass alle mit Entwicklung, Betrieb und Nutzung betrauten Personen über ausreichende Kenntnisse und Fähigkeiten im Umgang mit KI verfügen. Dies umfasst insbesondere auch die Aspekte der Cybersicherheit.

• Dokumentation und Nachweisführung: Die technische Dokumentation ist ein zentraler Bestandteil der Compliance nach dem AI Act. Sie muss sämtliche Cybersicherheitsmaßnahmen sowie alle bekannten und vorhersehbaren Risiken des KI-Systems detailliert erfassen. Dazu gehören unter anderem die Beschreibung der Schutzmechanismen, die Bewertung potenzieller Bedrohungen und die Nachweise über die Wirksamkeit der getroffenen Maßnahmen. Die Dokumentation dient nicht nur der internen Qualitätssicherung, sondern ist auch Voraussetzung für die Konformitätsbewertung und behördliche Überprüfungen.

Datenschutz als Mehrwert für KI

Warum der Datenschutz der Künstlichen Intelligenz doppelt hilft

Cybersicherheitsrisiken und Schutzmaßnahmen

Der AI Act führt die Cybersicherheitsrisiken für KI-Systeme nur exemplarisch auf. In der Praxis sind KI-Systeme, abhängig vom jeweiligen Einsatzszenario, einer Vielzahl von Angriffs­szenarien ausgesetzt, die über die nachfolgend genannten Beispiele aus dem AI Act hinausgehen.

• Data und Model Poisoning: Hierbei wird die Datenbasis des KI-Systems oder Modells gezielt manipuliert, um die Ausgabegenauigkeit zu verringern und Fehlklassifikationen zu erzeugen. Dies kann dazu führen, dass das KI-System später systematisch falsche Entscheidungen trifft.

• Adversarial Examples und Model Evasions: Durch sogenannte Adversarial Examples werden KI-Systeme zu falschen Vorhersagen verleitet. Bereits minimale, für Menschen kaum erkennbare Veränderungen an den Eingabedaten – etwa einzelne Pixel in einem Bild – können dazu führen, dass die Klassifikation des Systems fehlerhaft ist.

• Model und Data Extraction Attacks: Hierbei versuchen Angreifer, Wissen über das verwendete Modell und/oder die Trainingsdaten zu extrahieren, um Zugriff auf sensible oder vertrauliche Informationen zu erhalten.

Unabhängig vom jeweiligen Risiko ist ein wirksames Risikomanagementsystem zentral für die Cybersicherheit von Hochrisiko-KI-Systemen. Zu Beginn sollten Bedrohungsmodelle und Bedrohungstaxonomien erstellt werden, die die Ziele und Fähigkeiten potenzieller Angreifer sowie die möglichen Angriffsvektoren systematisch erfassen. Darauf aufbauend lassen sich geeignete Best Practices auswählen, um die Abwehrstrategie kontinuierlich zu verbessern und die Resilienz des Systems zu erhöhen. Die Entwicklung gezielter KI-spezifischer Sicherheits­maßnahmen und die Einführung von Metriken zur Bewertung der Cybersicherheit sind ebenso wichtig wie die regelmäßige Neubewertung des Risikomanagements. Dies gilt insbesondere bei Änderungen am Modell oder der Systemarchitektur. Das Risikomanagement sollte in die übergeordneten Unternehmensprozesse integriert werden.

Umgang mit neuen Security-Herausforderungen durch KI

So schützen Sie Ihre KI vor Prompt-Injection & Co.

Schnittstellen zu weiteren EU-Rechtsakten

Die Cybersicherheitsanforderungen des AI Act stehen im engen Zusammenhang mit anderen EU-Regelwerken und sind Teil eines mehrschichtigen Rechtsrahmens:

• Cyber Resilience Act (CRA): Der CRA ergänzt die KI-VO um spezifische Anforderungen an KI-Systeme, die zugleich Produkte mit digitalen Elementen sind. Praktisch besonders relevant ist Art. 12 CRA, der festlegt, dass Hochrisiko-KI-Systeme, die den Anforderungen des CRA entsprechen, grundsätzlich auch die Cybersicherheitsvorgaben des AI Act erfüllen. Der CRA adressiert unter anderem Schwachstellenmanagement, sichere Softwareentwicklung und die Pflicht zu regelmäßigen Updates. Damit entsteht eine enge Verzahnung zwischen Produkt- und KI-Sicherheit, die Hersteller und Anbieter dazu verpflichtet, beide Gesetzesregime zu berücksichtigen.

• Datenschutz-Grundverordnung (DSGVO): Der AI Act lässt die DSGVO unberührt. Sobald ein KI-System personenbezogene Daten verarbeitet, müssen deshalb die Anforderungen der DSGVO, wie Datenminimierung, Zweckbindung und Transparenz, eingehalten werden.

• NIS-2-Richtlinie: Darüber hinaus bestehen auch Berührungspunkte zur NIS-2-Richtlinie, die wichtige und besonders wichtige Einrichtungen zu einem hohen Niveau der Informations­sicherheit verpflichtet. Betroffen ist nicht nur der Einsatz von KI im Bereich der regulierten Einrichtungen. Auch die Bereitstellung von KI-Anwendungen im Rahmen von Cloud-Computing kann in den Anwendungsbereich der NIS-2-Richtlinie fallen. Dies gilt sogar, wenn die KI-Anwendungen nur innerhalb einer Unternehmensgruppe bereitgestellt werden.

Aus der Vergangenheit lernen

Vier Compliance-Lektionen aus der DSGVO für AI-Act und DORA

Praktische Umsetzung in der Lieferkette

Die Lieferkette spielt bei Cybersicherheit für KI eine zentrale Rolle, da die Entwicklung und der Betrieb von KI-Systemen in der Praxis fast immer arbeitsteilig erfolgen. KI-Lösungen entstehen selten in einem einzigen Unternehmen, sondern werden häufig durch die Zusammenarbeit verschiedener Hersteller, Zulieferer, Integratoren und Betreiber realisiert. Dadurch entstehen komplexe Abhängigkeiten, die sich direkt auf die Cybersicherheit und Compliance auswirken. Für die praktische Umsetzung bedeutet das: Unternehmen müssen nicht nur die eigenen Systeme absichern, sondern auch sicherstellen, dass alle Partner in der Lieferkette die regulatorischen Anforderungen erfüllen. Erforderlich sind deshalb klare vertragliche Regelungen zur Cybersicherheit, Transparenz über eingesetzte Komponenten und Prozesse sowie abgestimmte Maßnahmen zur Risikoanalyse und zum Umgang mit Schwachstellen.

KI als Chance für die Cybersicherheit

KI und Cybersicherheit bringen jedoch nicht nur neue Herausforderungen, sondern auch erhebliche Chancen mit sich. KI-Systeme können große Datenmengen in Echtzeit analysieren und so verdächtige Muster, Anomalien oder Angriffsversuche frühzeitig erkennen. Ins­be­son­de­re im Bereich der automatisierten Bedrohungserkennung und -abwehr ermöglichen sie eine deutlich schnellere und präzisere Reaktion auf Cybervorfälle als herkömmliche Systeme. Durch den Einsatz von Machine Learning lassen sich Sicherheitsmechanismen kontinuierlich weiterentwickeln und an neue Angriffsmethoden anpassen. KI-basierte Lösungen unterstützen zudem die Automatisierung von Routineaufgaben wie dem Monitoring von Netzwerken oder der Analyse von Logdaten und entlasten so IT-Sicherheitsteams. Schließlich kann KI dabei helfen, Schwachstellen in komplexen IT-Infrastrukturen zu identifizieren und gezielt zu schließen. Voraussetzung für den erfolgreichen Einsatz ist jedoch ein verantwortungsvoller Umgang mit den Technologien und die Einhaltung regulatorischer Vorgaben.

KI-gestützte Governance

Vom regulatorischen Labyrinth zur praktikablen Compliance

Fazit

Der AI Act setzt einen neuen europäischen Standard für den sicheren und vertrauenswürdigen Einsatz von KI. Cybersicherheit wird dabei zur zentralen Compliance-Pflicht und zieht sich als roter Faden durch alle Phasen des KI-Lebenszyklus. Unternehmen stehen vor der Herausforderung, technische und organisatorische Maßnahmen, Risikomanagement und Dokumentation konsequent umzusetzen – und das nicht nur im eigenen Betrieb, sondern entlang der gesamten Lieferkette. Die enge Verzahnung mit weiteren EU-Regelwerken wie CRA, DSGVO und NIS-2 macht die Compliance zwar anspruchsvoller, eröffnet aber auch Chancen für mehr Sicherheit und Resilienz. Wer frühzeitig in entsprechende Maßnahmen investiert, kann die Potenziale von KI für die Cybersicherheit optimal nutzen und regulatorische Risiken minimieren.

Über den Autor: Rechtsanwalt Stefan Hessel, LL.M. ist Partner und Head of Digital Business bei der Kanzlei reuschlaw in Saarbrücken. Er berät Unternehmen und die öffentliche Hand zu komplexen Fragestellungen in den Bereichen IT-Recht, Cybersicherheit sowie Datenschutz.

EU-KI-Gesetz konkretisiert

Code of Practice für GPAI in Kraft

(ID:50709025)