Model Confusion Vortrainierte KI-Modelle lassen sich verwirren und angreifen

Eine Untersuchung von Checkmarx zeigt, dass Cyberkriminelle gezielt vortrainierte KI-Modelle angreifen. Bei sogenannten Model-Confusion-Angriffen nutzen sie die Funktion „from_pretrained()“ aus, um schädliche Modelle hochzuladen.

Seit Künstliche Intelligenz immer mehr Einsatz in Unternehmen findet, wird sie auch von Cyberkriminellen mehr und mehr missbraucht. Dass die Angreifer dabei besonders kreativ werden und sich ständig neue Angriffswege einfallen lassen, zeigt die jüngste Untersuchung des Forschungsteams von Checkmarx. Die Forscher deckten eine Taktik namens „Model Confusion“ auf, bei der es sich um einen Lieferkettenangriff auf Registries von Large Language Models (LLMs) handle, und die an bereits bekannte Dependency-Confusion-Angriffe erinnere.

Trotz Kritik und möglicher Sicherheitsrisiken

Microsoft treibt agentenbasiertes Windows 11 weiter voran

Was ist Model Confusion?

Bei letzterem wird ein Projekt auf ein lokales Paket verwiesen, das möglicherweise auf dem Computer des Entwicklers fehlt. In einem solchen Fall könnte der Paketmanager automatisch eine Version aus einem öffentlichen Repository herunterladen, was Angreifern die Möglichkeit bietet, schädliche Pakete unter demselben Namen wie interne Abhängigkeiten hochzuladen. Diese Situation führt dazu, dass ein Entwickler auf ein potenziell bösartiges Paket hereinfällt, weil er annimmt, es handele sich um das vertrauenswürdige, lokale Paket.

Ähnlich funktioniert die Model Confusion, jedoch mit KI-Modellen anstelle von Software­pa­ke­ten. Wenn ein benötigtes Modell lokal nicht vorhanden ist, besteht die Gefahr, dass ein Angreifer ein schädliches Modell unter demselben Namen wie das erwartete Modell hochlädt. Ein Ent­wick­ler könnte versehentlich ein solches schädliches Modell installieren, was ernsthafte Sicher­heitsrisiken mit sich bringt, darunter Remote Code Execution (RCE) oder die Verwendung kom­promittierter Modelle. Checkmarx habe bereits zahlreiche Open-Source-Codebeispiele führ­en­der Technologieunternehmen gefunden, die, wenn unverändert ausgeführt, schäd­lichen Code aktivieren könnten.

Wie Cyberkriminelle KI für Ihre Zwecke nutzen

Drei KI-basierte Angriffsvarianten, die Sie kennen müssen

So sieht ein erfolgreicher Model-Confusion-Angriff aus

Die Entdeckung von Checkmarx habe mit dieser Funktion begonnen: „from_pretrained()“. Diese wird verwendet, um vortrainierte KI-Modelle aus einem Repository zu laden und sie in Anwendungen zu verwenden. Aufmerksam wurden die Forscher auf diese Funktion auf der Plattform „Hugging Face“, einem Dienst, der sich auf die Bereitstellung vortrainierter KI-Modelle für verschiedene maschinelle Lernanwendungen konzentriert. Die vortrainierten KI-Modelle verwenden sogenannte Gewichte, die die trainierten Parameter des Modells darstellen, die dessen Fähigkeit bestimmen, Eingabedaten zu verarbeiten und präzise Vorhersagen zu treffen. Die Funktion „from_pretrained()“ ermögliche es, diese Gewichte entweder von Hugging Face oder aus einem lokalen Verzeichnis abzurufen. Laut den Analysten, bestehe die Gefahr – sofern das benötigte Modell lokal nicht verfügbar sei –, dass ein Angreifer ein schädliches Modell mit demselben Namen hochlädt, was zu ernsthaften Sicherheitsrisiken führen könne.

Checkmarx identifizierte folgende Voraussetzungen für einen erfolgreichen Model-Confusion-Angriff:

• Das erwartete lokale Modell fehlt auf dem Rechner des Opfers oder befindet sich an einer anderen Stelle.

• Der Modellpfad beinhaltet keine lokalen Zugriffsindikatoren wie „./“ oder „/“ und enthält keine durch Hugging Face beschränkten Zeichen.

• Die Parameter wie „local_files_only“ sind nicht auf „True“ gesetzt.

• Der Parameter „trust_remote_code“ ist gesetzt, was das Risiko von Remote Code Execution erhöht.

Nach ihrer Entdeckung hätten die Analysten dieses Problem bestätigen können, indem sie die Model Confusion an einem – ihrer Meinung nach – sicheren Codebeispiel eines realen Un­ter­nehmens durchführten. Daraufhin hätten sie die Schwachstelle sofort an Hugging Face ge­meldet. Binnen eines Tages sei das Problem behoben worden.

WormGPT und KawaiiGPT senken Einstiegshürden für Angreifer

KI-Modelle für Cyberangriffe beschleunigen Angriffsketten

Schutz vor Model Confusion

Um sich vor diesen Angriffen zu schützen, empfiehlt Checkmarx Unternehmen proaktive Vorkehrungen treffen. Hier zwei empfohlene Maßnahmen:

• Die Umgebungsvariable „HF_HUB_OFFLINE=1“ oder den Parameter „local_files_only=True“ setzen, um sicherzustellen, dass nur lokale Modelle geladen werden können.

• Nur absolute Pfade für Modelle verwenden und lokale Indikatoren zu relativen Pfaden hinzufügen, um gefährliche Fernmodelle zu vermeiden.

• Bei Bedarf den Enterprise Hub von Hugging Face verwenden und eine Liste genehmigter Modelle führen.

Gefahren manipulierter KI-Modelle

KI-Modelle schützen

(ID:50680587)