Kommentar von Shachar Menashe, JFrog Wie Shadow-ML die Sicherheit der Software gefährdet

Anbieter zum Thema

JFrog

Fsas Technologies GmbH

FAST LTA GmbH

FTAPI Software GmbH

Künstliche Intelligenz (KI) steht zurzeit im Zentrum eines globalen technologischen Wettlaufs, in dem Unternehmen und Regierungen die Grenzen des Machbaren stetig neu auszuloten suchen. Erst kürzlich hat die Einführung von DeepSeek wieder einmal anschaulich demonstriert, dass bei der Entwicklung moderner KI-Systeme nach wie vor noch erfreulich viel Spielraum nach oben besteht.

Mit der zunehmenden Verbreitung und fortschreitenden Entwicklung von KI-Modellen nehmen jedoch auch die Bedenken hinsichtlich ihrer Sicherheit immer weiter zu. Viele Unternehmen, die mit der rasanten Entwicklung von Technologien wie DeepSeek Schritt halten wollen, riskieren zunehmend, zugunsten von Innovationsgeschwindigkeit Abstriche bei der Sicherheit ihrer Modelle hinzunehmen.

Besonders besorgniserregend ist in diesem Zusammenhang der Anstieg der sogenannten Shadow ML-Anwendungen zu sehen: Machine-Learning-Modelle, die ohne Wissen und Kontrolle der IT-Abteilung eines Unternehmens eingeführt werden – unter Umgehung der etablierten Sicherheitsprotokolle, Compliance-Vorgaben und Datenverwaltungsrichtlinien. Der Einsatz solcher nicht autorisierten KI-Tools bringt erhebliche Sicherheitsrisiken mit sich: von unbeabsichtigten Plagiaten über verzerrte Modell-Ergebnisse bis hin zu gezielten Angriffen oder manipulierten Datengrundlagen. Werden diese Risiken nicht wirksam kontrolliert und eingedämmt, kann das die Integrität und Verlässlichkeit KI-gestützter Entscheidungen erheblich untergraben.

Software als kritische Infrastruktur

Software ist heute ein essenzieller Bestandteil moderner Infrastrukturen – in ihrer Bedeutung in etwa gleichauf mit der von Strom- und Verkehrsnetzen. Störungen können auch hier mittlerweile branchenübergreifend negative Auswirkungen zur Folge haben. Mit den KI- und ML-Modellen, die zunehmend in zentrale Software-Funktionen integriert werden, nimmt die Brisanz dieser Sicherheitsrisiken noch einmal deutlich zu.

Im Vergleich zu klassischer Software verhalten sich KI-Modelle dynamischer und weniger vorhersehbar. Sie lernen fortlaufend hinzu und passen sich, auf Basis neuer Daten, stetig an – mitunter auf unerwartete Weise. Dieses Verhalten kann von Angreifern gezielt ausgenutzt werden, um Modelle zu manipulieren und irreführende oder schädliche Resultate zu erzielen. Um dieser neuartigen Bedrohung wirksam begegnen zu können, ist es angesichts unserer zunehmenden Abhängigkeit von KI-gestützten Automatisierungslösungen unerlässlich, für KI- und ML-Modelle robuste MLOps-Sicherheitspraktiken zu etablieren.

Mehr Sicherheit für MLOps

Der Lebenszyklus von KI- und ML-Modellen weist eine Reihe kritischer Schwachstellen auf, die von Angreifern als Ansatzpunkte für eine Kompromittierung genutzt werden können. In einer frühen Phase, während des Trainings, können sie etwa Backdooring betreiben. Dabei werden Modell-Trainings gezielt kompromittiert, um manipulierte oder fehlerhafte Vorhersagen zu erzeugen. Eine andere Möglichkeit stellt das „Data Poisoning“ dar. Hierbei schleusen Angreifer, während der Trainingsphase, schadhafte Daten ins Modell ein, die sein Verhalten dann subtil und oft unbemerkt verändern. Eine weitere Option für Angreifer: feindliche Angriffe. Auch hier werden Eingabedaten, wenn auch nur geringfügig, geändert, um ein Modell zu Fehlentscheidungen zu veranlassen.

Unterschätzte Gefahren für KI-Systeme

Wie Data Poisoning die Sicherheit Künstlicher Intelligenz bedroht

In späteren Phasen des KI-/ML-Lebenszyklus können Schwächen der Implementierung von Angreifern ausgenutzt werden. Unzureichende Zugriffskontrollen etwa begünstigen Authentifizierungsprobleme, durch die unbefugte Akteure Modelle manipulieren oder vertrauliche Informationen extrahieren können. Unsachgemäß konfigurierte Container, die KI-Modelle hosten, bieten potenzielle Einstiegspunkte in umfassendere IT-Infrastrukturen. Und die Nutzung von Open-Source-Modellen und Drittanbieter-Daten erhöht die Risiken entlang der gesamten Software-Lieferkette.

So viel Innovationspotenzial KI ihren Anwendern auch bieten mag, der Sicherheit der Systeme muss aus all diesen Gründen eine mindestens ebenso große Bedeutung beigemessen werden – nicht nur, da eine konsequente Absicherung etwaigen Bedrohungen effektiv vorbeugen kann, sondern auch, da die Attraktivität von KI-Lösungen im Unternehmen durch ein Mehr an Vertrauen nachhaltig stimuliert werden kann. Unternehmen sind deshalb gefordert, sichere MLOps-Praktiken zu etablieren, um sicherzustellen, dass gerade jene Werkzeuge nicht missbraucht werden können, die helfen sollen, Effektivität und Effizienz von Entscheidungen spürbar zu verbessern.

Best Practices für sichere MLOps

Um sich wirksam gegen Bedrohungen zu schützen, die auf KI-Modelle abzielen, sollten Unternehmen eine proaktive Sicherheitsstrategie verfolgen. Eine zentrale Komponente dieser Strategie sollte die Modell-Validierung sein. Sie ermöglicht es, noch vor der Bereitstellung potenzielle Verzerrungen, Kompromittierungen und Schwachstellen zu identifizieren. Ebenso wichtig ist ein effektives Abhängigkeitsmanagement. Es muss gewährleisten können, dass ML-Frameworks und -Bibliotheken wie TensorFlow oder PyTorch aus vertrauenswürdigen Quellen stammen und vor einer Implementierung stets auf schadhafte Modell-Threats geprüft werden.

Auch die Code-Sicherheit hat im Fokus zu stehen. Um Sicherheitslücken in der Implementierung von KI-Modellen frühzeitig zu erkennen, sollte der Quellcode sowohl statisch als auch dynamisch analysiert werden. Hier darf die Überprüfung aber noch nicht enden. Auch kompilierte Binärdateien können Schwachstellen beinhalten, die für Supply-Chain-Angriffe, Malware oder verwundbare Abhängigkeiten ausgenutzt werden können – ohne im Code in Erscheinung zu treten. Eine ganzheitliche Sicherheitsstrategie muss daher auch eine Binärcode-Analyse beinhalten.

Rolle des CISO im Wandel

Risiken und Herausforderungen von Schatten-KI

Neben dem Schutz der Modell-Logik ist auch eine Härtung der Container-Umgebungen erforderlich. Diese hat sowohl die konsequente Anwendung strenger Richtlinien für Container-Images als auch deren Prüfung auf Malware und Fehlkonfigurationen zu umfassen. Zusätzliches Vertrauen schaffen digitale Signaturen für KI-Modelle und die zugehörigen Artefakte. Und schließlich sollte eine kontinuierliche Überwachung implementiert werden, die verdächtige Aktivitäten, unbefugten Zugriff oder unerwartete Veränderungen im Modellverhalten frühzeitig erkennt.

Durch die Integration dieser Maßnahmen in den gesamten KI-Entwicklungsprozess können widerstandsfähige MLOps-Pipelines etabliert werden, die Innovation und Sicherheit gleichermaßen förderlich sind.

Die Zukunft der KI-Sicherheit

Mit der immer weiter voranschreitenden Verbreitung von KI hat sich der während ihrer Entwicklung tobende Konflikt zwischen Innovation und Sicherheit immer weiter verschärft. Dabei ist Künstliche Intelligenz längst mehr als nur ein einfaches Werkzeug – sie ist ein strategisches Asset, das einer eigenen Sicherheitsstrategie bedarf. Durch den Aufstieg der KI-Agenten, der KI-Systeme mit der Fähigkeit zu autonomen Entscheidungen, hat dieser Konflikt nur noch an Brisanz gewonnen.

Unternehmen, die hier einen proaktiven Sicherheitsansatz verfolgen, sind gut gerüstet, den sich stetig wandelnden Risiken zu begegnen – ohne hierfür ihre Innovationsdynamik aufs Spiel setzen zu müssen. Das Streben nach Innovationen kann und darf nicht auf Kosten der Sicherheit gehen. So wie kein Hochhaus ohne tragfähiges Fundament errichtet werden darf, darf auch der Einsatz von KI nicht ohne ein solides Sicherheitskonzept erfolgen.

Nur diejenigen Unternehmen werden sich in einer zunehmend KI-geprägten Welt behaupten können, denen es gelingt, Sicherheit nicht als Hemmschuh, sondern als Katalysator für nachhaltigen Fortschritt zu begreifen. Wem es gelingt, der KI-Sicherheit proaktiv Priorität einzuräumen, schafft eine nachhaltige Grundlage dafür, mit dem technologischen Wandel nicht nur Schritt zu halten, sondern ihn auch verantwortungsvoll mitzugestalten.

(ID:50479697)