Mobile-Menu

ChuanhuChatGPT, Lunary und LocalAI Schwere Sicherheitslücken in KI-Sprachmodellen

Von Melanie Staudacher 4 min Lesedauer

Large Language Models erfreuen sich in Unternehmen an wachsender Beliebtheit, da sie Routineaufgaben übernehmen können. Doch in einigen Open Source Tools fanden Teilnehmende des Bug-Bounty-Programms von Protect AI teils kritische Sicherheitslücken.

In den Open-Source-LLMs ChuanhuChatGPT, Lunary und LocalAI finden sich schwerwiegende Sicherheitslücken.(Bild: Dall-E / KI-generiert)
In den Open-Source-LLMs ChuanhuChatGPT, Lunary und LocalAI finden sich schwerwiegende Sicherheitslücken.
(Bild: Dall-E / KI-generiert)

34 Sicherheitslücken wurden in verschiedenen Open-Source-Modellen für Künstliche Intelligenz (KI) und maschinelles Lernen (ML) gefunden. Die Schwachstellen wurden über das Bug-Bounty-Programm von Protect AI gemeldet und von Protect AI, einem Hersteller einer Security-Plattform für KI-Modelle, in einem Vulnerability-Report veröffentlicht. Betroffen sind die Tools ChuanhuChatGPT, Lunary und LocalAI, die für die Verwaltung großer KI-Sprachmodelle (Large Language Models, LLMs) eingesetzt werden.

Zwei kritische Sicherheitslücken in Lunary

Gleich zwei schwerwiegende Schwachstellen betreffen Lunary. Sowohl CVE-2024-7474 wie auch CVE-2024-7475 haben einen CVSS von 9.1. Letztere betrifft die Zugriffskontrolle zu den KI-Modellen. Cyberangreifer können die SAML-Konfiguration aktualisieren und sich so als nicht autorisierte Nutzer anmelden und auf sensible Informationen zugreifen. Bei CVE-2024-7474 führt eine IDOR-Schwachstelle (Insecure Direct Object Reference) dazu, dass ein authentifizierter Benutzer, externe Benutzer anzeigen oder löschen könnte. Dies kann zu unbefugtem Datenzugriff führen. Auch CVE-2024-7473 bezeichnet eine IDOR-Sicherheitslücke in Lunary, welche einen CVSS von 7.5 hat. Sie ermöglicht es einem Cyberangreifer, die Eingabeaufforderungen anderer Benutzer zu aktualisieren, indem er einen benutzergesteuerten Parameter manipuliert.

Pfaddurchquerungsfehler in ChuanhuChatGPT

Auch in ChuanhuChatGPT – genauer gesagt in der Funktion für den Benutzer-Upload – findet sich eine schwere Sicherheitslücke. CVE-2024-5982 hat ebenfalls einen CVSS von 9.1 und beschreibt einen Pfaddurchquerungsfehler. Dieser entsteht durch die unsachgemäße Bereinigung von Benutzereinageben, die mit Verzeichnispfaden verknüpft sind, unter Verwendung von os.path.join. Dies führt zur Ausführung willkürlichen Codes, zur Erstellung von Verzeichnissen und zur Offenlegung vertraulicher Daten. Auch bei der Erstellung von Verzeichnissen und dem Laden von Vorlagen ist ChuanhuChatGPT dadurch angreifbar.

Remote-Code-Ausführung in LocalAI

Ebenfalls zwei Sicherheitslücken finden sich in dem Open-Source-Projekt LocalAI. Die mudler/localai-Version 2.17.1 ist anfällig für Remote-Code-Ausführung. Die Schwachstelle CVE-2024-6983 (CVSS 8.8) entsteht, weil das LocalAI-Backend nicht nur Eingaben aus der Konfigurationsdatei, sondern auch aus anderen Eingaben empfängt. Dadurch kann ein Angreifer eine Binärdatei hochladen und Schadcode ausführen. So kann er vollständige Kontrolle über das System erlangen.

Auch die Sicherheitslücke CVE-2024-7010 (CVSS 7.5) gefährdet diese Version von LocalAI. Es handelt sich hierbei um einen Timing-Angriff. Diese Art von Cyberattacke wird auch Seitenkanalangriff genannt und ermöglicht es einem Angreifer, das Kryptosystem zu kompromittieren, indem er die Zeit analysiert, die zum Ausführen der kryptografischer Algorithmen benötigt wird. Insbesondere im Zusammenhang mit der Kennwortverwaltung kann ein Angreifer anhand der Antwortzeit des Servers gültige Anmeldeinformationen ermitteln, was möglicherweise zu einem unbefugten Zugriff führt.

Die Bedeutung von KI-Sprachmodellen in Unternehmen

In vielen Unternehmen sind KI-Sprachmodelle mittlerweile gang und gäbe. Sei es der KI-Bot für den Kundensupport oder die automatisierte Dokumentation. Aufgrund des breiten Einsatzes ist es so wichtig, dass Nutzer, die solche Lösungen nutzen, ihre Installationen auf die neusten Versionen aktualisieren, um ihre KI-/ML-Lieferkette zu sichern und sich vor potenziellen Angriffen zu schützen. ProtectAI zufolge werden die Tools, in denen Schwachstellen gefunden wurden, tausenden Male im Monat heruntergeladen, um KI-Systeme für Unternehmen zu erstellen. In dem ausführlichen Report des Anbieters gibt dieser zudem Empfehlungen für Maßnahmen, die sofort ergriffen werden sollten, wenn Unternehmen diese Tools in Nutzung haben.

Wofür setzen Unternehmen Large Language Models ein?

KI-basierte Sprachmodelle (LLMs) werden zunehmend in Unternehmen eingesetzt, da sie betriebliche Abläufe automatisieren und optimieren können. Vor allem die Flexibilität und die Möglichkeit, die Modelle an spezifische Unternehmensbedürfnisse anzupassen, machen sie zu einem relevanten Werkzeug, das durch schnelle Entwicklungen im Bereich der Künstlichen Intelligenz kontinuierlich weiter verbessert und wachsen wird. Das sind die derzeit Haupt-Einsatzbereiche von LLMs:

1. Automatisierung von Prozessen: LLMs können Routineaufgaben wie Kundenservice-Anfragen, Textanalysen oder interne Dokumentationen übernehmen. Durch Automatisierung spart das eine Menge Zeit und Ressourcen, da weniger manuelle Eingriffe erforderlich sind.

2. Verbesserung des Kundenservice: Durch den Einsatz von Chatbots und automatisierten Antwortsystemen können LLMs häufig gestellte Fragen direkt beantworten, Probleme lösen und eine ständige Erreichbarkeit für die Kunden sicherstellen.

3. Datenanalyse und Wissensmanagement: Unternehmen können KI-Sprachmodelle nutzen, um große Mengen unstrukturierter Daten zu analysieren, wie zum Beispiel E-Mails, Berichte oder Kundenfeedback. So können relevante Informationen aufbereitet werden, um Trends, Probleme und Verbesserungsmöglichkeiten zu identifizieren.

4. Generierung von Inhalten: Marketing- und PR-Teams nutzen LLMs für die Erstellung von Texten, Produktbeschreibungen, Beiträgen auf Social Media und Blogartikeln. So reduzieren sie den Arbeitsaufwand und beschleunigen die Content-Produktion.

5. Schulung und Wissensvermittlung: Zudem können die Sprachmodelle in Schulungsprogrammen eingesetzt werden, um Mitarbeiter in bestimmten Themenfeldern, wie Datenschutz und Compliance, zu unterstützen. Sie liefern Informationen und beantworten Fragen in Echtzeit, was den Arbeitsalltag erleichtert.

(ID:50223743)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte