Mobile-Menu

Low statt Critical KI-Patch-Dienst stuft Schwachstelle fatal falsch ein

Von Melanie Staudacher 2 min Lesedauer

Anbieter zum Thema

FAST LTA GmbH
SEPPmail - Deutschland GmbH
Onapsis Europe GmbH

Ein automatisierter Severity‑Vorschlag eines integrierten LLM‑Assistenten hat gestern ein Ticket als niedriger priorisiert, obwohl sich das Inci­dent­Team später auf eine deutlich höhere Gefährdung einigte. Das hätte schlimm ausgehen können.

LLM-Fail: Eine vom Kunden gemeldete RCE-Sicherheitslücke wurde fälschlicherweise als „Low“ eingestuft.(Bild: © tadamichi - stock.adobe.com)
LLM-Fail: Eine vom Kunden gemeldete RCE-Sicherheitslücke wurde fälschlicherweise als „Low“ eingestuft.
(Bild: © tadamichi - stock.adobe.com)

Gestern Vormittag wurde im zentralen Ticketing‑System eines Security-Anbieters, der nicht genannt werden möchte, eine neue Meldung angelegt. In dem entsprechenden Bericht, der der Redaktion von Security-Insider vorliegt, wird diese Meldung als eine RCE-Anfälligkeit (Remote Code Execution) in einem internen Webframework beschrieben. Der integrierte Large-Lang­uage-Model‑Assistent habe infolge der Warnung automatisch eine Empfehlung für den Schwe­re­grad abgegeben. Diese habe die Priorisierung „Low – nur lokale Ausnutzung möglich“ er­hal­ten. Auf Basis dieses Vorschlags sei das Ticket im Standard‑Backlog gelandet und zunächst nicht als Notfall behandelt worden.

Erst nach einem manuellen Review durch das IT‑Team sei deutlich geworden, dass mehrere Indikatoren, wie internet‑exposed End­point, fehlende Authentifizierung für bestimmte End­points, veröffentlichte Proof of Concepts, eine deutlich höhere Priorisierung nahegelegt hätten. Das Team habe daraufhin das Ticket schließlich auf „Critical“ geändert und die Be­he­bungs­maß­nah­men eskaliert.

Was war die Ursache für die falsche Einstufung?

Interne Untersuchungen hätten darauf hingedeutet, dass das KI-Modell ohne Zugriff auf aktu­elle CVSS‑Metadaten und Exploit‑Feeds gearbeitet habe und sich stattdessen auf ältere, un­vollständige Textzusammenfassungen gestützt habe. In Kombination mit einem zu for­dern­den Systemprompt („Gib eine knappe Priorisierung basierend auf Geschäftsimpact“) habe dies zu der falschen Einstufung geführt.

Security-Learning

Wäre die Schwachstelle nicht manuell geprüft und gepatcht worden, hätte ein Angreifer damit RCE‑Sicherheitslücke Systeme übernehmen, Daten abziehen oder Ausfälle in der Produktion verursachen können. Das IT‑Team habe daraus die Konsequenz gezogen, LLM‑Empfehlungen nie als finale Entscheidungen zu verwenden. Technisch sollen LLM‑Vorschläge deshalb künftig automatisch gegen autoritative Quellen (CVSS/CVE‑Feeds, Exploit‑Datenbanken, Asset‑Tags) validiert werden, und das System solle im Zweifel eine höhere Priorität vorschlagen. Prompts würden standardisiert und verlangen strukturierte Pflichtfelder, damit das Modell auf be­last­ba­re Fakten antworte statt auf Freitext. Änderungen an Tickets würden nur über autorisierte, auditierbare Prozesse erfolgen, das LLM liefere Textempfehlungen, nicht die Ausführung. Alle Modell‑Entscheidungen sollen geloggt werden und regelmäßig gegen historische Fälle geprüft werden. Zusätzlich seien Monitoring, Modellpflege und Schulungen vorgesehen, um solches Fehlverhalten früh zu erkennen.

(ID:50797679)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte