Anthropic hat ein neues Sicherheitssystem für sein Sprachmodell Claude entwickelt, das sogenannte Jailbreaks erschweren soll. Mit Constitutional Classifiers filtert das System problematische Anfragen, um zu verhindern, dass Claude unerwünschte Inhalte generiert. In 95 Prozent der getesteten Fälle zeigte sich das System erfolgreich – bietet bei der Implementierung aber auch Nachteile.
KI-Jailbreaks stellen mit zunehmender Verbreitung von generativer KI eine nicht zu unterschätzende Gefahr dar, sind sie doch in der Lage, Sicherheits- und Ethikrichtlinien eines KI-Modells auszuhebeln. Anthropic, Anbieter der Claude-LLMs, will nun einen Schutzmechnismus gefunden haben, der in 95 % aller Testfälle solche Jailbreaks unterbindet.
(Bild: DALL-E / KI-generiert)
Anthropic gilt in den USA neben ChatGPT-Entwicler OpenAI als der führende Anbieter hochentwickelter, proprietärer KI-Modelle. Die von dem Unternehmen entwickelte Reihe an Large-Language-Modellen namens Claude wurde entwickelt, um sicher, genau und zuverlässig zu sein und eine Vielzahl von Aufgaben auszuführen, darunter das Erstellen von Texten, das Analysieren von Bildern und das Debuggen von Code. Wie bei allen großen KI-Modellen auf dem Markt sieht sich auch Anthropic einer großen Herausforderung gegenüber: Zu unterbinden, dass Anwender mit gewieften Anfragen Schutzmechanismen in einem trainierten KI-Modell aushebeln und zum Preisgeben sensibler Informationen oder zum Verwenden unerwünschter Zwecke benutzen können.
Was ist ein KI-Jailbreak und warum ist es ein Problem?
Ein Jailbreak in Bezug auf KI-Modelle beschreibt eine Technik, mit der sich Sicherheits- und Ethikrichtlinien eines Modells umgehen lassen. Dadurch können Sprachmodelle dazu gebracht werden, Inhalte zu generieren, die sie normalerweise verweigern würden – etwa Anleitungen zur Herstellung gefährlicher Substanzen, Hilfe bei Cyberangriffen oder andere unzulässige Informationen.
Solche Angriffe nutzen verschiedene Methoden: Manche Jailbreaks arbeiten mit gezielten Prompt-Manipulationen, indem sie das Modell über indirekte Formulierungen oder Rollenspiele täuschen. Andere verwenden verschleierte Eingaben, etwa veränderte Schreibweisen oder symbolische Darstellungen, um das System zu überlisten. In einigen Fällen lassen sich auch mehrere solcher Techniken kombinieren, um bestehende Sicherheitsfilter zu umgehen.
Das Problem dabei ist, dass keine Schutzmaßnahme absolut sicher ist. Immer wieder entdecken Sicherheitsforscher neue Möglichkeiten, um KI-Modelle auszutricksen. In sicherheitskritischen Bereichen – etwa in der Biotechnologie oder Cybersicherheit – kann dies gravierende Folgen haben, wenn gefährliches Wissen in die falschen Hände gerät.
OpenAI oder Anthropic feilen deshalb ständig an ihren angebotenen Modellen, um die Gefahr solcher Jailbreaks zu unterbinden. Wann immer eine Prompt Injection bekannt wird versuchen die Anbieter schnell, diese mittels Algorithmus-Updates wieder zu unterbinden. Pikanterweise sollen ausgerechnet die jüngst aufgrund ihrer beachtlichen Leistung für Aufsehen sorgenden DeepSeek-Modelle DeepSeek-R1 und DeepSeek-V3 gerade beim Unterbinden von Jailbreak-Anfragen besonders schlecht abschneiden – was sie für Anwendungen, in denen besonders viel Wert auf Sicherheit gelegt wird, wenig brauchbar machen dürfte.
Das Schutzsystem von Anthropic basiert auf dem Constitutional-AI-Ansatz, bei dem eine vordefinierte Liste von Prinzipien festlegt, welche Inhalte erlaubt sind. Mithilfe synthetischer Daten wurden 10.000 Jailbreaking-Prompts erstellt, um das System gegen bekannte Angriffsmuster zu testen. Ein erster interner Test stellte sich dabei bereits als durchwegs positiv heraus: Während eine ungeschützte Version von Claude 3.5 Sonnet nur 14 Prozent der erdachten Angriffe blockieren konnte, während die geschützte Variante eine Erfolgsquote von 95 Prozent erreichte.
Allerdings zeigten sich dabei auch einige Nachteile. Obwohl der Filter effektiv ist, führte sein Einsatz zugleich zu einem Anstieg an falsch-positiven Blockierungen. Rund 1,5 Prozent an legitimen Anfragen wurden fälschlicherweise zurückgewiesen – ein Wert, der gegenüber der ungeschützten Version um 0,38 Prozent gestiegen ist. Das könnte man allerdings unter Umständen als einen vernachlässigbaren Faktor einstufen, der im Sinne der gesteigerten Sicherheit ist.
Ein weiterer Nachteil des Schutzmechanismus ist allerdings der erhöhte Rechenaufwand. Laut Anthropic steigt die benötigte Rechenleistung um fast 24 Prozent. Je größer und komplexer das zu schützende Modell ist, desto enormer steigt auch der damit verbundene Rechenaufwand an. Das macht die Nutzung des Systems in produktiven Umgebungen teurer macht.
Trotz der hohen Blockierungsrate ist das System nicht unfehlbar. Experten betonen, dass sich mit neuen Jailbreaking-Techniken weiterhin Schwachstellen ausnutzen lassen könnten. Sicherheitsforscher schlagen vor, verschiedene Schutzmechanismen zu kombinieren, um eine noch robustere Verteidigung zu gewährleisten. Anthropic hatte sogar ein Bug-Bounty-Programm unter Nutzern der Claude-LLMs ausgelobt: Bis zum 10. Februar konnten sich Claude-Nutzer zu einem Test anmelden, wobei demjenigen, der es schafft einen generellen Ansatz zum Aushebeln des entwickelten Jailbreak-Schutz-Algorithmus zu finden, bis zu 15.000 US-Dollar winken könnten.
Anthropic betont, dass die eingesetzten Filter flexibel angepasst werden können, um auf neue Bedrohungen zu reagieren. Die Weiterentwicklung solcher Schutzmechanismen bleibt allerdings eine Herausforderung im Wettrennen zwischen Angreifern und Entwicklern – und zeigt, dass absolute Sicherheit auch in der KI-Entwicklung nicht existiert.
Stand: 08.12.2025
Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.
Einwilligung in die Verwendung von Daten zu Werbezwecken
Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.
Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.
Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.
Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.
Recht auf Widerruf
Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.
Dieser Artikel stammt von unserem Partnerportal ELEKTRONIKPRAXIS.