Mobile-Menu

Machine Learning- und KI-Dienste sind angreifbar Schwachstellen in Open-Source-MLOps-Plattformen

Von Thomas Joos 2 min Lesedauer

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH
FAST LTA GmbH
FTAPI Software GmbH

Sicherheitsforscher bei JFrog zeigen auf, dass moderne Machine-Learning-Plattformen (MLOps) eine wachsende Angriffsfläche für Cyberangriffe bieten. Durch die zunehmende Automatisierung von maschinellem Lernen in Unternehmen öffnen MLOps-Systeme neue Schwachstellen, die gezielt ausgenutzt werden können.

JFrog findet Schwachstellen in Open-Source-MLOps-Plattformen.(Bild: Shuo - stock.adobe.com)
JFrog findet Schwachstellen in Open-Source-MLOps-Plattformen.
(Bild: Shuo - stock.adobe.com)

Bei den Schwachstellen, die JFrog gefunden hat handelt es sich nicht nur um klassische Implementierungs­schwachstellen, sondern auch um inhärente Schwächen in der Architektur von Machine-Learning-Modellen und Datensätzen.

Eine der größten Gefahren entsteht durch die Tatsache, dass Machine-Learning-Modelle nicht nur Daten, sondern auch Code enthalten. Viele gängige Modellformate, wie Pickle oder Keras H5, erlauben es, ausführbaren Code direkt in das Modell zu integrieren. Wenn ein unbemerkt manipuliertes Modell in ein System geladen wird, kann es auf dem ausführenden Server beliebigen Code ausführen und somit ein Einfallstor für Angreifer öffnen. Diese Schwachstelle ist besonders bedrohlich, da sie selbst dann besteht, wenn den Nutzern die Gefahr des untrusted Model Loading bewusst ist. Modelle, die aus öffentlichen Repositories wie Hugging Face geladen werden, könnten bereits kompromittiert sein und bösartigen Code enthalten.

Schwachstelle in Verarbeitung von Datensätzen

Eine weitere potenzielle Schwachstelle liegt in der Verarbeitung von Datensätzen. Einige Bibliotheken, wie die von Hugging Face, erlauben es, Code beim Laden von Datensätzen auszuführen. Dies birgt das Risiko, dass unvorsichtige Entwickler unwissentlich Schadcode ausführen, wenn sie mit ungetesteten oder unzuverlässigen Quellen arbeiten

Ein weiteres Angriffsszenario betrifft Jupyter Notebooks. Hier ist es möglich Python-Code und dessen Ausgabe in HTML und JavaScript zu mischen. Problematisch ist dabei, dass JavaScript in Jupyter nicht ausreichend vom Rest der Umgebung isoliert wird. Dadurch können Angreifer XSS-Lücken ausnutzen, um über manipulierte Inhalte in der Webanwendung Schadcode auszuführen. Eine gezielte Schwachstelle in der MLFlow-Bibliothek (CVE-2024-27132) demonstriert, wie ein unsicherer Recipe-Parser die Ausführung von bösartigem JavaScript ermöglichte.

Neben diesen Sicherheitsproblemen weisen viele MLOps-Plattformen grundlegende Implementierungsfehler auf. Dazu gehört der Mangel an Authentifizierungsmechanismen, was es Angreifern erlaubt, ohne Zugangsbeschränkungen auf die Plattformen zuzugreifen. Plattformen wie Seldon Core oder Metaflow bieten die Möglichkeit, über Pipelines Code auszuführen, ohne dass dafür eine Authentifizierung erforderlich ist. Diese Lücke kann es Angreifern ermöglichen, Code in einer MLOps-Umgebung zu platzieren, der dann auf dem Server ausgeführt wird, wodurch das gesamte System kompromittiert werden kann.

(ID:50158204)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte