Malicious Models im Untergrund Unit-42 zeigt wachsenden Schwarzmarkt für Dark-LLMs

Anbieter zum Thema

Palo Alto Networks (Germany) GmbH

Fsas Technologies GmbH

Das Unit 42-Team von Palo Alto beschreibt in einer aktuellen Analyse, wie modifizierte KI-Modelle ohne Sicherheitsbarrieren vollautomatisierte Cyberkampagnen ermöglichen. Die Analyse zeigt operative Beispiele, Vermarktungswege und die technische Leistungsfähigkeit von Modellen wie WormGPT, FraudGPT und KawaiiGPT.

Das Threat-Intel-Team Unit 42 von Palo Alto Networks legt in einer Analyse dar, wie „Dark LLMs“ – also Large Language Models ohne integrierte Sicherheitsfilter – in realen Operationen genutzt werden. Diese Systeme generieren ohne Widerstand Schadcode, Phishing-Vorlagen oder automatische Angriffsskripte und dienen damit als Werkzeug für Cyberkampagnen. Das Team führt einen Fall an, bei dem mit China verknüpfte Angreifer ein kommerzielles LLM nutzten, um eine komplette Operation zu automatisieren. Der Vorfall gilt als Beispiel dafür, dass der Missbrauch generativer KI nicht länger theoretisch ist.

Dark-LLMs lassen sich technisch auf zwei Wegen realisieren: durch Feintuning bestehender Modelle oder durch Modifikationen, die Sicherheitsrichtlinien gezielt entfernen. Beide Varianten können laut Research hochkomplexe Workflows erzeugen, darunter Reconnaissance-Abfolgen, Code für Lateral-Movement-Szenarien, automatisierte Datendiebstahlsroutinen sowie Ransomware-Gerüste. Mit diesen Fähigkeiten sinkt die Eintrittshürde für Angreifer deutlich. Früher benötigte es Fachwissen, um Code zu schreiben, Phishing-Texte anzupassen oder Exfiltrationswege zu planen. Mit Dark-LLMs genügen passende Prompts.

Die Analyse beschreibt darüber hinaus Veränderungen im Angriffsprofil. Generative KI liefert grammatikalisch korrekte, idiomatisch stimmige E-Mails und funktionierenden Code, der sich von manuell erzeugten Varianten kaum unterscheidet. Indikatoren wie Rechtschreibfehler oder unklare Syntax verlieren damit an Aussagekraft. Parallel steigen Geschwindigkeit und Skalierbarkeit. Kampagnen, die früher manuelle Vorbereitung erforderten, lassen sich in kurzer Zeit automatisiert erzeugen, mit potenziell hohem Volumen.

LLM-Sicherheit

Cisco-Studie: Multi-Turn-Angriffe knacken Open-Weight-LLMs

Entstehung eines Schwarzmarktes

Unit 42 sieht ein wachsendes Ökosystem aus Dark-LLM-Anbietern, Nutzern und Distributionskanälen. Genannte Plattformen wie WormGPT, FraudGPT und KawaiiGPT werden über Telegram-Kanäle, Dark-Web-Foren und Untergrundshops beworben. Zugang erhält man häufig über monatliche Subscriptions. Teilweise wird zusätzlicher Funktionsumfang angeboten, etwa automatisierte Recon-Pipelines, Datenextraktionsskripte oder ausführbare Payload-Gerüste. Der Vertriebsstil orientiert sich erkennbar an legitimen SaaS-Geschäftsmodellen.

Mehrere der beobachteten Modelle lassen sich laut Research lokal betreiben. Open-Source-Varianten wie KawaiiGPT benötigen keine umfangreiche Infrastruktur und können ohne tiefere Programmierkenntnisse eingerichtet werden. Diese Eigenschaft erschwert forensische Analyse. Cloud-seitige Kontrollmechanismen greifen nicht, Logging-Daten fallen bei Self-Hosting-Setups nur vor Ort an, und das Monitoring potenzieller Missbrauchsmuster ist begrenzt. In Summe entsteht ein Markt, in dem nicht mehr experimentiert wird, sondern produktiv gehandelt.

Der Research führt zudem an, dass Kunden teilweise Support erhalten, etwa für Prompt-Optimierung oder Code-Verfeinerung. Entwickler bewerben neue Funktionen, veröffentlichen Feature-Roadmaps und reagieren auf Rückmeldungen, ähnlich wie klassische Softwareanbieter. Die Segmentierung reicht dabei von Basismodellen über spezialisierte Malware-Generatoren bis hin zu Tools für Credential-Theft, Social-Engineering-Kampagnen oder automatisierte Payload-Distribution.

Diese Entwicklung markiert aus Sicht der Analysten eine Verschiebung im Threat-Landscape. Generative KI fungiert nicht nur als Assistenzsystem für Angreifer, sondern als Produktionsplattform. Die Produktion von Malware, Phishing-Inhalten oder Angriffsskripten lässt sich automatisieren, replizieren und verteilen. Der entscheidende Faktor ist nicht mehr das Know-how Einzelner, sondern die Skalierbarkeit des Modells. Damit verschieben sich Gleichgewichte zwischen Angriff und Verteidigung.

(ID:50646808)