Ausbruch aus Testumgebung Autonomer KI-Agent dringt in Hugging-Face-Systeme ein

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

FTAPI Software GmbH

Ein autonomes KI-Agentensystem hat Hugging Face über einen manipulierten Datensatz angegriffen. Zur Aufklärung setzte die Plattform selbst KI ein, kommerzielle Modelle blockierten die Analyse jedoch zunächst. OpenAI übernahm nun die Verantwortung für den Vorfall.

Hugging Face hat am 16. Juli 2026 einen Einbruch in Teile seiner Produktionsinfrastruktur gemeldet. Die Plattform stellt Unternehmen, Forschern und Entwicklern KI-Modelle, Datensätze und Anwendungen bereit, ähnlich wie GitHub nur mit Fokus auf Künstliche Intelligenz. Nach Angaben des Betreibers ist der Angriff von einem autonomen KI-Agentensystem durchgängig gesteuert worden. Unbefugte hatten demnach Zugriff auf eine begrenzte Zahl interner Datensätze sowie auf Zugangsdaten erhalten, die von mehreren Diensten verwendet wurden. Ob Daten von Kunden oder Partnern betroffen sind, werde noch untersucht, Hugging Face wolle betroffene Parteien direkt informieren.

Knapp eine Woche später, am 21. Juli, hat OpenAI öffentlich die Verantwortung für den Vorfall übernommen. Bei einem Sicherheitstest seien KI-Modelle aus einer abgeschotteten Testumgebung ausgebrochen und hätten dann die Infrastruktur von Hugging Face kompromittiert.

Sieben Säulen für sichere KI-Agenten

Ohne Authentifizierung wird jeder KI-Agent zum Sicherheitsrisiko

Ausbruch aus Testumgebung mit unbekannter Schwachstelle

Laut OpenAI fand der Vorfall während eines Leistungstests mit dem Modell GPT-5.6 Sol und einem noch unveröffentlichten KI-Modell statt. Ziel des Tests war es zu ermitteln, wie gut die Modelle Sicherheitslücken ausnutzen können. Die Schutzmechanismen wurden dafür bewusst reduziert. Das System sollte Aufgaben des Security-Test-Standards „ExploitGym“ lösen, der in der Branche häufig verwendet wird.

Über eine bisher unentdeckte Schwachstelle verschafften sich die Modelle Zugriff auf einen Rechner mit Internetzugang innerhalb der OpenAI-Infrastruktur. Im offenen Netz suchten die KI-Systeme gezielt nach Möglichkeiten, beim Test besser abzuschneiden. Dabei kamen sie zu dem Schluss, dass es bei Hugging Face nützliche Daten und Lösungen für die ExploitGym-Aufgaben geben könnte. Die OpenAI-Software verschaffte sich daraufhin Zugriff zu „geheimen Informationen“ auf der Hugging-Face-Plattform, um beim ExploitGym-Test zu „schummeln“. Dafür nutzte sie sowohl zuvor unentdeckte Sicherheitslücken als auch gestohlene Zugangsdaten.

Ausgangspunkt des Angriffs war Hugging Face zufolge die Datenverarbeitung der Plattform, ein „uniquely exposed“-Bereich von KI-Systemen. Ein bösartig präparierter Datensatz habe zwei Wege zur Codeausführung missbraucht: einen Dataset-Loader, der Code aus der Ferne geladen und ausgeführt hat, sowie eine Template-Injection in der Konfiguration eines Datensatzes. Auf diese Weise habe die OpenAI-KI zunächst Code auf einem Verarbeitungsserver ausgeführt. Anschließend sei es ihr gelungen, Zugriff auf die zugrunde liegende Host- beziehungsweise Node-Ebene zu erlangen, Zugangsdaten für Cloud- und Cluster-Umgebungen abzugreifen und sich in mehrere interne Cluster auszubreiten. Die KI habe dabei tausende Schritte ausgeführt und die digitale Steuerzentrale der Attacke mehrfach verlagert.

Identity Crisis von Rubrik Zero Labs

KI-Agenten – Bedrohung durch Nicht-menschliche Identitäten nehmen zu

KI blockiert Forensik

Der Einbruch sei durch eine KI-gestützte Anomalieerkennung entdeckt worden, die Sicherheitstelemetrie mithilfe von LLM-Triage auswertet und zusammenhängende Auffälligkeiten aus dem täglichen Alarmaufkommen herausfiltert. Für die anschließende Forensik habe Hugging Face KI-Agenten eingesetzt, um Protokolle mit mehr als 17.000 aufgezeichneten Ereignissen zu analysieren. Dadurch rekonstruierte das Unternehmen eigenen Angaben nach den zeitlichen Ablauf innerhalb weniger Stunden, extrahierte Indicators of Compromise, ermittelte beteiligte Zugangsdaten und trennte tatsächliche Auswirkungen von Ablenkungsaktivitäten.

Zunächst eingesetzte kommerzielle Frontier-KI-Dienste hätten die Analyse wegen ihrer Sicherheitsmechanismen blockiert. Diese können laut Hugging Face „einen Incident Responder nicht von einem Angreifer unterscheiden“. Deshalb hätte der Anbieter auf das Open-Weight-Modell GLM 5.2 gewechselt, das vom Pekinger Unternehmen Z.ai entwickelt und Anfang Juli 2026 veröffentlicht wurde. Das Modell gilt als ähnlich leistungsfähig wie Anthropics Claude Opus 4.8 und OpenAIs GPT-5.5.

Non-Human Identities übersteigen menschliche 50 zu 1

Wenn KI-Agenten ihre eigenen Schlüssel brauchen

Debatte um KI-Sicherheit und Beschränkungen

Hugging-Face-CEO Clem Delangue sagte gegenüber dem US-Wirtschaftsmagazin Fortune, dass proprietäre Modelle führender US-Anbieter für die Cyberabwehr tatsächlich kontraproduktiv seien. „Wenn man mitten in einem akuten Vorfall steckt, darf es nicht passieren, dass die eigenen Werkzeuge die Untersuchung schädlicher Payloads verweigern oder das Konto als verdächtig markiert wird“, habe er erklärt. „Offene Modelle ermöglichen es uns, diese Arbeit zu erledigen, ohne erst um Erlaubnis fragen zu müssen.“ Auch wenn das Fehlen von Sicherheitsbeschränkungen bei einigen KI-Systemen riskant erscheinen mag, würde Delangue dies für notwendig halten, um Angreifern auf Augenhöhe begegnen zu können. Hugging Face hatte sich bereits gegen US-Richtlinien ausgesprochen, die KI-Modelle aus Sicherheitsgründen einschränken würden.

David Sacks, ehemaliger Trump-Administrations-KI-Czar, postete in diesem Zusammenhang auf X: „Es gibt keinen Grund, amerikanische Modelle bei Aufgaben zu beschränken, die chinesische Modelle mühelos bewältigen. Wir machen uns nur selbst weniger wettbewerbsfähig.“ Im Juni 2026 hatte die Trump-Administration Exportkontrollen gegen Anthropics Fable-5- und Mythos-5-Modelle verhängt, nachdem Berichte über Jailbreak-Anfälligkeit eingingen. Sie forderte auch OpenAI auf, die Freigabe von GPT-5.6 Sol bis zur Bestätigung robuster Guardrails zu verzögern.

Fable 5 und Mythos 5 im Visier

Anthropic sperrt Top-KI-Modell nach Regierungs-Anordnung

Ein „beispielloser Cybervorfall“

Hugging Face habe die beiden zur Codeausführung verwendeten Wege geschlossen, den böswilligen Agenten aus den betroffenen Clustern entfernt und kompromittierte Nodes neu aufgebaut. Betroffene Zugangsdaten und Token habe das Unternehmen widerrufen beziehungsweise ausgetauscht. Zusätzlich sei eine vorsorgliche Rotation weiterer Secrets eingerichtet worden. Strengere Zulassungskontrollen und zusätzliche Schutzmechanismen in den Clustern sowie eine schnellere Alarmierung sollen ähnliche Vorfälle künftig früher sichtbar machen. Hinweise auf Manipulationen an öffentlichen Modellen, Datensätzen, Spaces, Container-Images oder veröffentlichten Softwarepaketen habe die Untersuchung nicht ergeben. OpenAI sprach von einem „beispiellosen Cybervorfall“ und kündigte an, die Sicherheitsvorkehrungen zu verstärken. Das Unternehmen will die Vorgänge zusammen mit Hugging Face noch einmal genauer nachvollziehen.

Statische Zugangsdaten sind im KI-Zeitalter nicht mehr sicher

KI-Agenten brauchen Secrets und machen sie zur Angriffsfläche

Agentengesteuerte Angriffe werden zunehmend dokumentiert

Der Hugging-Face-Incident ist einer der ersten dokumentierten vollständig autonomen KI-gesteuerten Cyberangriffe in der Praxis. Sicherheitsexperten warnen seit längerem, dass immer leistungsfähiger werdende KI-Agenten bald in der Lage sein werden, Cyberangriffe in Geschwindigkeit und Umfang durchzuführen, die konventionelle Verteidigungsmaßnahmen überfordern könnten. Ebenfalls im Juli dokumentierte das Sicherheitsunternehmen Sysdig Anfang Juli 2026 mit „Jade Puffer“ den ersten vollständig autonomen Ransomware-Angriff. Beide Vorfälle zeigen, dass die lange erwarteten autonomen Attacken nun Realität sind. Der OpenAI-Vorfall verdeutlicht, dass auch Sicherheitstests mit KI-Modellen zu unkontrollierten Szenarien führen können, wenn Schutzmaßnahmen gelockert werden.

Hugging-Face-Nutzer und betroffene Unternehmen sollten vorsorglich ihre Access-Tokens erneuern und jüngste Kontoaktivitäten prüfen. Betreiber von KI-Infrastruktur sollten zudem Datensätze und Modellartefakte als Angriffsfläche behandeln, Verarbeitungsumgebungen isolieren und ein geprüftes, lokal betreibbares KI-Modell für forensische Analysen bereithalten.

Jade Puffer

KI‑Ransomware führt eigenständig Angriff durch

(ID:50904774)