Slopsquatting So nutzen Angreifer Halluzinationen von KI-Modellen für Angriffe

Wie gelangt heimtückische Malware in den Code legitimer Software von respektablen Anbietern? Gängige KI-Code-Assistenten eröffnen ein Einfallstor, unmittelbar in den Dev-Pipelines. Slopsquatting, eine Form von KI-Sabotage, kompromittiert ganze Software-Ökosysteme.

Ein Angreifer fordert einen beliebten KI-Assistenten auf, Code zu schreiben, um eine gängige Aufgabenstellung zu lösen. Die KI empfiehlt stattdessen das Paket py-soundso-utils, das jedoch nicht existiert. „Bingo!“ freut sich der Täter. Er registriert den Namen auf PyPI (Python Package Index, dem offiziellen Repository für Python-Softwarepakete) — und schon hat die Malware ein Heim. Wer denselben KI-Prompt benutzen sollte, bekommt die Schadsoftware empfohlen und lädt sie womöglich unwissentlich herunter, um sie in die eigene legitime Software einzubinden und an die eigenen Nutzer zu vertreiben.

Fiktive Python-Pakete für die Datenanalyse? Gerne doch, die KI macht es schon! Scharen gutgläubiger Entwickler sind schon auf eine Empfehlung von ChatGPT &Co. Hereingefallen — mit bösen Folgen.

Umgehung von Sicherheitsfunktionen

Erste Zero-Click-Schwachstelle in Copilot entdeckt

GitHub Copilot schlug Entwicklern zeitweise das Paket secure-js-auth vor, um OAuth-Integrationen zu vereinfachen. Das Paket war halluziniert; ein Angreifer hatte es auch schon bereits auf npm mit einem Keylogger registriert. Unternehmen, die den KI-generierten Code übernehmen würden, haben unwissend ihre Systeme kompromittiert.

Gerade weil LLMs dazu neigen, Paketnamen zu halluzinieren – und das laut Forschung mit bemerkenswerter Konsistenz, die über die Zeit auch etwa konstant bleibt –, stellt die Masche eine ernst zu nehmende Bedrohung der Softwareversorgungsketten dar.

In ihrer Studie für das 2025 USENIX Security Symposium analysierten Forscher der Virginia Tech 16 gängige LLMs und generierten dabei 576.000 Code-Beispiele in Python und JavaScript. Es stellte sich heraus, dass 19,7 Prozent (205.000) der von den LLMs empfohlenen Pakete nicht existierten. Nahezu jedes zweite dieser halluzinierten Pakete (43 Prozent, um genau zu sein) tauchten in 10 aufeinanderfolgenden Durchläufen desselben Prompts erneut auf, und 58 Prozent erschienen mehr als einmal.

Das Phänomen ist unter dem Namen Slopsquatting bekannt. Im Unterschied zum klassischen Typosquatting, das auf Tippfehler menschlicher Coder setzt, nutzt Slopsquatting die Halluzinationen eines KI-Modells aus, um Entwickler hinters Licht zu führen.

Die Häufigkeit von Paket-Halluzinationen variiert stark je nach verwendetem KI-Modell. Open-Source-Modelle wie CodeLlama und WizardCoder „trumpfen“ mit einer höheren Halluzinationsrate auf (durchschnittlich von 21,7 Prozent; CodeLlama sogar 33 Prozent).

Kommerzielle Modelle wie GPT-4 Turbo schneiden wesentlich besser ab, mit einer Halluzinationsrate von nur 3,59 Prozent. Insgesamt sind GPT-Modelle etwa viermal weniger anfällig für Halluzinationen als Open-Source-Alternativen.

Umgang mit neuen Security-Herausforderungen durch KI

So schützen Sie Ihre KI vor Prompt-Injection & Co.

Etwa 38 Prozent der gefälschten Paketnamen ähnelten einigermaßen legitimen Paketen; nur 13 Prozent entstanden durch einfache Tippfehler. Die bösartigen Abhängigkeiten wirken dadurch typischerweise recht überzeugend.

LLMs neigen zu Halluzinationen mit steigenden Temperatureinstellungen des Modells. Der Parameter Temperatur erhöht die Zufälligkeit der generierten Antworten.

Auch die Verbosität des Modells spielt bei Halluzinationen eine Rolle. Konservativere LLMs, die eine kleinere, vertrauenswürdige Teilmenge von Paketen wiederverwenden, erzielten bessere Ergebnisse sowohl bei der Vermeidung von Halluzinationen als auch in Bezug auf die allgemeine Codequalität.

Cyberkriminelle analysieren die von KI-Modellen generierten Code-Empfehlungen und nutzen Muster in diesen Halluzinationen aus. Sie registrieren dann Paketnamen, die „halluzinations­freundlich“ aufgebaut sind, wie pandas-helper, fastapi-middleware oder react-native-debug-tools. Die gefälschten Pakete kommen mit realistisch wirkenden READMEs daher, in täuschend echten Repositories auf GitHub oder anderswo.

Die Cybertäter gehen dann hin und bauen ganze Ökosysteme von plausibel klingenden Falschaussagen dazu auf. Die Cybertäter veröffentlichen zum Beispiel passende Blog-Beiträge mit täuschend echten Nutzungsanleitungen oder Tipps in Diskussionsforen wie StackOverflow, um die zugehörigen Pakete den KI-Modellen unterzujubeln.

Google-Suchergebnisse mit KI-generierten Zusammenfassungen bestätigten dann fälschlich die Seriosität der empfohlenen Vorgehensweisen und legitimieren die bösartigen Pakete. Da KI-gestützte Programmierassistenten aus diesen Informationen unkritisch lernen, empfehlen sie die zugehörige Malware in ihren Code-Erzeugnissen weiter.

OWASP LLM Security Top 10

Die größten KI-Risiken – und wichtigsten Schutzmaßnahmen

Fiktive Abhängigkeiten als eine neue Form digitaler Täuschung

Slopsquatting ist eine relativ neue Erscheinung, entstanden durch den rasanten Aufstieg KI-gestützter Coding-Assistenten und anderer automatisierter Programmierhilfen.

Nichts ist für Entwickler einfacher als eine üble Malware aus Versehen in ein legitimes Softwareprojekt einzuschleusen, wenn man sich unter Zeitdruck auf die Empfehlung einer vertrauten KI einlässt und dabei ein bösartiges Paket — das ja so überzeugend aussieht — gutmütig einbindet.

Die Masche mag banal wirken, doch im Zusammenspiel mit KI-gestützten Programmierhilfen entfaltet sie eine rein vernichtende Wirkung.

Gerade noch im Jahr 2025 hat sich ein bösartiges npm-Paket in einigen Dev-Pipelines eingenistet. Nach der Installation fragte es heimlich Befehle von einem Server ab und löschte bei Aktivierung gesamte Projektverzeichnisse.

Das Risiko von Slopsquatting hat das Aufkommen eines neuen, KI-gestützten Trends zusätzlich noch verstärkt: das sogenannte „Vibe Coding“.

Der Begriff, geprägt von Andrej Karpathy, beschreibt einen grundlegenden Wandel in der Art und Weise, wie moderne Software entsteht. Statt Code zeilenweise manuell zu tippen oder über die Zwischenablage aus KI-Empfehlungen zusammen zu stricken, formulieren manche Entwickler lediglich ihr gewünschtes Endergebnis; den eigentlichen Code generiert ein Sprachmodell (ein LLM) in einer eigenen, oft übers Knie gebrochenen Implementierung, die dann höchstens nur noch kuriert wird, wenn sie beim ersten Versuch nicht laufen sollte.

Werkzeuge wie der Composer von Cursor in Kombination mit Sonnet haben diesem Wandel zusätzlichen Schwung verliehen.

Der Softwareentwicklungsprozess verwandelt sich dadurch aber in einen dialogbasierten Austausch zwischen dem/der Entwicklerin und einem KI-Modell. In ebendiesem Umfeld steigt das Risiko der Übernahme halluzinierter Abhängigkeiten. Wer auf Vibe Coding setzt, tippt Paketnamen oft gar nicht mehr selbst; der Entwickler folgt häufig dem Weg des geringsten Widerstands – Installieren, Augen zu und durch.

Die Gefahr durch den Einsatz von KI-Software steigt

ChatGPT – Das neue Tool der Cyberkriminellen

Achtung, intelligenzfreie Zone

Angreifer nutzen verschiedene Methoden, um heimtückische Malware in die Entwicklungs­prozesse legitimer Software einzuschleusen. KI-basierte Code-Assistenten haben diesen Prozess gerade noch zusätzlich erleichtert. Die zentralen Angriffspunkte umfassen:

• Typosquatting und Dependency Confusion: Schwächen in Paketverwaltungssystemen lassen schädliche Pakete als aktuelle Versionen legitimer Softwaretools erscheinen;

• Malware in Open-Source-Projekten: Angreifer infiltrieren beliebte Open-Source-Repositories und fügen ihnen schädlichen Code hinzu; KI-Code-Assistenten greifen ihn dann gerne auf und empfehlen weiter;

• Slopsquatting: KI-Halluzinationen von Namen vermeintlich nützlicher Softwarepakete in bekannten Repositories.

Das Resultat sind Supply-Chain-Angriffe über KI-generierte Code-Vorschläge, die Schadcode unauffällig einschleusen.

Den Begriff Slopsquatting prägte Seth Michael Larson, ein Entwickler der Python Software Foundation (PSF). Im April 2025 hat die Wortschöpfung Andrew Nesbitt, der Macher von Ecosyste.ms, aufgegriffen und auf Mastodon popularisiert. Der Begriff saß.

So viel sprachliche Wucht ist fast schon unüblich.

Das Wort slop — kurz und knackig für etwas Nachlässiges oder Schmuddeliges — bezeichnet im Internetkontext mediale Massenkost und kognitive Konfektionsware, darunter minderwertige KI-Ausgaben. Mit squatting ist eine „Hausbesetzung“ gemeint, also das widerrechtliche Aneignen von Raum (wie domain squatting, also das Besetzen von Internet-Domains ohne Absicht, diese sinnvoll zu nutzen).

In der Zusammensetzung slop+squatting bezieht sich der Begriff auf das Beanspruchen für bösartige Zwecke scheinbar plausibler, aber halluzinierter Paketnamen (zum Beispiel “secure-auth-lib” anstelle von dem legitimen Paketnamen “authlib”). So entsteht im Netzjargon eine stark bildhafte und abwertende Metapher — ein polemischer, ablehnender Angriff auf die Einladung zum kollektiven Denkverzicht.

Diese raffinierte Strategie wirft neue Fragen hinsichtlich der Sicherheit im Zeitalter automatisierter Softwareentwicklung auf.

Nach einigen Schätzungen wurden im vergangenen Jahr (2024) rund 40 Prozent von neuem Softwarecode von KI geschrieben. Microsoft-CTO Kevin Scott prognostiziert, dass diese Zahl in fünf Jahren 95 Prozent erreichen dürfte.

Feross Aboukhadijeh, Sicherheitsforscher und Gründer von Socket, warnt seit Jahren von der enormen Tragweite von Supply-Chain-Verwundbarkeiten auf Grund der wachsenden Verbreitung von ungeprüftem Code. Im exklusiven Interview auf dem Web Summit in Lissabon sprach er über die Herausforderungen quelloffener Abhängigkeiten und den Lösungsansatz, den sein Unternehmen wählte.

Generative KI

Risiken von Large Language Models

Tools gegen halluzinierte Schadware

Seit sich KI-Tools in Entwicklungs-Workflows fest verankert haben, muss sich die Sicherheits­infrastruktur kontinuierlich weiterentwickeln, um der dynamischen Natur dieser Tools zu begegnen. Entwickler und Sicherheitsteams benötigen eine neue Generation von Werkzeugen — eine neue Klasse von Tools, die sowohl bereits bekannte Bedrohungen erkennt, als auch neu veröffentlichte und noch unbekannte Pakete zu evaluieren vermag.

In diese Kategorie fallen Tools wie Socket.io von dem gleichnamigen kalifornischen Cybersicherheits-Startup. Das Werkzeug erweitert DevSecOps-Pipelines um KI-gestützte Fähigkeiten, um Attacken aus der Softwareversorgungskette auszumerzen.

Die Menschen würden dazu neigen, quelloffener Software zu vertrauen, frei nach dem Motto von Linus Torvalds: „Wo viele Augen sind, da liegen alle Bugs auf der Hand“, sagte Aboukhadijeh (im O-Ton von Torvalds: «With many eyes, all bugs are shallow»).

„Das mag ja stimmen,“ bestätigt Aboukhadijeh, fragt dann aber rhetorisch: „Wenn Sie einen Code einspielen, der gerade gestern veröffentlicht wurde, wie viele Augen haben ihn tatsächlich angesehen?“.

Die meisten Entwickler müssten eine beinahe erdrückende Anzahl von Abhängigkeiten handhaben. Die Discord-App mit ihren 20.000 Abhängigkeiten sei ein Beispiel von vielen. Tools wie der Paketmanager npm und das Framework Electron hätten es möglich gemacht. Ein einziger scheinbar harmloser Aufruf von npm update könne rund ein Viertel der gesamten Codebasis eines Projektes mal eben in einem Atemzug auswechseln.

Viele Entwickler seien in der Vergangenheit beim Aktualisieren ihrer quelloffenen Abhängig­keiten nach dem Prinzip „Augen zu und durch“ vorgegangen, nur habe der Ansatz im Zeitalter von Supply-Chain-Attacken ausgedient, glaubt Aboukhadijeh. Als einer der Vordenker der Open-Source-Bewegung hatte er ja selbst zahlreiche beliebte Anwendungen mitentwickelt (darunter zum Beispiel WebTorrent) und pflegt über 100 eigene quelloffene Projekte, die er der Gemeinde schenkte.

„Das größte Risiko, was quelloffene Software betrifft – und ich sage das als ein Open-Source-Maintainer – (...) besteht aus meiner Sicht darin, dass ein Paket von einer bösartigen Drittpartei übernommen wird“, enthüllt er. Slopsquatting schafft das sozusagen durch die Hintertüre KI-gestützter Coding-Assistenzprogramme.

Unterschätzte Gefahren für KI-Systeme

Wie Data Poisoning die Sicherheit Künstlicher Intelligenz bedroht

Socket könne Abhilfe schaffen. „Wir analysieren und beurteilen – unter anderem, aber nicht nur – quelloffenen Code, ob er risikobehaftet ist oder nicht“, erläutert Aboukhadijeh. Das Ergebnis ist eine Zahl auf der Skala von 0 bis 100 Punkten. So würde eine lebensechte Malware in dem Bewertungssystem von Socket von den möglichen 100 Punkten eine runde Null einheimsen.

Socket nistet sich direkt im DevSecOps-Workflow ein und verrichtet dann seine Arbeit in zwei Phasen: mit einem regelbasierten Framework und dann mit einem LLM (Large Language Model), also per KI.

„Wir nutzen LLMs, um Entwickler die Tragweite zu erklären, und wir verwenden es als zusätzlichen Filterungsschritt, was ziemlich einzigartig ist, denke ich“, enthüllt er. Denn so könne Socket dem Entwickler in natürlicher Sprache die Risiken darlegen. Das verschafft DevSecOps-Teams die nötigen Informationen, um sich auf wesentliche Aspekte der Sicherheit ihrer Softwareversorgungskette zu konzentrieren.

Die kostenfreie GitHub-App Socket for GitHub validiert Softwarepakete vor der Installation. Die Browser-Erweiterung Socket Web Extension erkennt bösartige Pakete beim Besuch beliebiger Websites, einschließlich GitHub, npm, PyPI, Maven Central, pkg.go.dev und Stack Overflow.

Zur Eindämmung von Slopsquatting empfehlen Sicherheitsforscher unter anderem die folgenden Maßnahmen:

• Totalverbot von KI-Assistenten bei sicherheitskritischen Komponenten;

• Beschränken von zulässigen Abhängigkeiten auf eine vorab geprüfte interne Liste;

• Quellcode-Scanning und statische Sicherheitstests unter Einbezug von klaren Kriterien (keine eingebetteten Tokens, korrekte Bibliotheksversionen etc.);

• zusätzliche Validierungsschritte, bei denen das LLM seinen Code selbst prüft und Referenzen gegen eine Datenbank populärer Bibliotheken abgleicht (Stichwort RAG); dadurch ließen sich Halluzinationen auf 2,4 Prozent (DeepSeek) bzw. 9,3 Prozent (CodeLlama) reduzieren;

• Code-Reviews mit AI-spezifischer Checkliste;

• Schulen von Entwickler in sicherer KI-Nutzung und KI-gestützter Softwareentwicklung.

Socket.io befolge „einen der interessantesten Ansätze zur Gewährleistung der Sicherheit in der Software-Lieferkette,“ bestätigt Devdatta Akhawe, Security and Production Engineering bei Figma. Die Plattform analysiert Abhängigkeiten auf versteckte Payloads, obfuskierten Code und ungewöhnliche Installationsskripte.

Was ist DeepSeek und wie funktioniert die KI?

DeepSeek, das Datenschutz-Debakel

Fazit

Die Gefahr von Paketnamen-Verwechslungen ist an sich nicht grundsätzlich neu. Doch der Siegeszug von KI hat ihr eine neue Dimension verliehen. Paket-Halluzinationen verbreiten sich wie Lauffeuer durch KI-gestützte Autovervollständigung von Code, durch gefälschte Tutorials und KI-generierte, wiederverwendbare Code-Snippets.

Greift eine KI ein einziges halluziniertes Paket als empfehlenswert auf und hat ein Angreifer in öffentlichen Repositories den Namen für Malware registriert, ist das Risiko einer weit­reichen­den Code-Katastrophe nicht von der Hand zu weisen. Solange Entwickler die Ausgaben von KI-Tools ohne angemessene Validierung übernehmen, bleibt das Einfallstor weit offen aufgeschlagen.

Angriffe durch Slopsquatting können Software-Versorgungsketten völlig unbemerkt kompromittieren und persistente Bedrohungen für vertraute Software-Ökosysteme schaffen.

Über die Autoren: Das Autorenduo Anna Kobylinska und Filipe Pereira Martins arbeitet für McKinley Denali, Inc., USA.

KI-Chatbots lassen sich manipulieren

Microsoft meldet Jailbreak für GPT, Llama und Gemini

Constitutional Classifiers

KI testet Algorithmus zum verlässlichen Unterbinden von „KI-Jailbreaks“

(ID:50449056)