Künstliche Intelligenz im Stresstest KI-Modelle außer Kontrolle?

Anbieter zum Thema

cidaas by Widas ID GmbH

Modelle von OpenAI und Anthropic haben in Cyber-Evaluationen reale Systeme erreicht, fremde Infrastruktur kompromittiert und Grenzen ihrer Tests überschritten. Die Fälle unterscheiden sich: Mal brach ein Modell aus einer Sandbox aus, mal war das Internet versehentlich offen, mal absichtlich. Gemeinsam zeigen sie, dass KI-Sicherheit wieder klassische Systemsicherheit braucht.

Innerhalb weniger Wochen wurden drei Vorfälle bekannt, bei denen KI-Modelle während Cy­ber­tests über den vorgesehenen Rahmen hinaus handelten: OpenAI-Modelle überwanden eine technische Isolierung, Claude-Modelle trafen wegen einer Fehlkonfiguration auf das offene Internet und beim britischen AI Security Institute (AISI) gehörte der Internetzugang zum Test dazu.

Update: Mindestens ein weiteres Opfer

Autonomer KI-Agent dringt in Hugging-Face-Systeme ein

OpenAI wollte prüfen, wie gut seine leistungsfähigsten Modelle Softwarefehler in Angriffe überführen können. Der direkte Internetzugang war dabei nicht vorgesehen. Erlaubt war nur die Installation von Programmen über eine interne Schnittstelle. Nach der bisherigen Rekonstruktion fanden die Modelle dort eine unbekannte Schwachstelle, erweiterten ihre Rechte und erreichten einen Rechner mit offenem Internetzugang. Danach folgerten sie, dass eine andere Firma die Lösungen für die Testaufgaben speichern könnte. Über gestohlene Zugangsdaten und weitere Schwachstellen entstand ein Angriffspfad bis in die Produktionsinfrastruktur.

Nach OpenAI-Vorfall

Auch Claude hat eigenständig Unternehmen angegriffen

Als Reaktion auf den OpenAI-Vorfall überprüfte Anthropic 141.006 Cyber-Evaluationsläufe, bei denen Claude potenziell Internetzugang erhalten konnte. Dabei fand Anthropic drei Fälle, in denen Modelle aus einer Testumgebung eines externen Partners heraus auf das offene Internet gelangten und sich unautorisierten Zugang zur Produktionsinfrastruktur dreier Organisationen verschafften. Den Modellen war in den jeweiligen Aufgaben ausdrücklich mitgeteilt worden, dass sie sich in einer Simulation ohne Internetzugang befänden. Aufgrund eines Miss­ver­ständ­nis­ses zwischen Anthropic und dem Evaluationspartner war das Internet jedoch erreichbar. Als Claude bei seiner Suche auf reale Systeme stieß, behandelte es sie deshalb als Bestandteile der Übung.

Fehlkonfiguration im Testumfeld

Auch Meta-KI dringt in fremdes System ein

Beim dritten Vorfall testete das britische AISI mehrere Modelle bewusst mit offenem Internetzugang und teilweise deaktivierten Filtern, um ihre maximale Leistungsfähigkeit zu prüfen. Angriffe waren jedoch nur innerhalb der dafür eingerichteten Testumgebung erlaubt. Trotzdem versuchte ein Modell im schwerwiegendsten Fall, schädlichen Code in ein reales Open-Source-Projekt einzuschleusen. Dafür legte es falsche Identitäten an und wollte den Betreiber des Projekts dazu bewegen, den Code zu übernehmen. Dieser erkannte den Versuch jedoch und lehnte ihn ab.

Immuniweb-Gründer nennt Debatte „over-hyped“

Anthropic untersucht vierten Zugriff von Claude auf Fremdsystem

Die Grenzen der Messbarkeit

Diese Tests sollen zeigen, wie gut ein Modell Sicherheitslücken findet, funktionierende Angriffe entwickelt oder versteckte Informationen in einer präparierten Umgebung aufspürt. Gemessen werden also konkrete Ergebnisse, etwa die Zahl gefundener Schwachstellen, erfolgreich ausgeführter Exploits oder gelöster Aufgaben. Somit messen Tests aber nur konkret messbare Zahlen und keine abstrakte Eigenschaft wie „Das Modell ist sicher“ oder „Das Modell versteht die Grenzen seiner Aufgabe“. Sie zeigten lediglich, welche Leistung ein System unter bestimmten Testbedingungen erreicht.

Gerade bei Cyber-Evaluationen entsteht daraus ein Dilemma. Um die maximale Leistungsfähigkeit eines Modells sichtbar zu machen, müssen Prüfer teilweise jene Schutzschichten reduzieren, die riskante Handlungen im normalen Betrieb verhindern sollen. Je aussagekräftiger und realistischer der Test werden soll, desto gefährlicher kann deshalb die Testkonfiguration selbst werden. Sobald ein Modell Programme ausführen, Schwachstellen suchen, Zugangsdaten verwenden und über längere Zeit planen kann, ist die Evaluation nicht mehr nur ein Prüfstand. Sie wird selbst zu einem sicherheitskritischen System.

Jade Puffer

KI‑Ransomware führt eigenständig Angriff durch

Systemsicherheit bleibt entscheidend

Für Unternehmen und Prüfinstitute folgt eine klassische Lehre: Berechtigungen müssen minimal sein. Netzwerkzugänge sollten standardmäßig geschlossen, Zugangsdaten kurzlebig und Testsysteme strikt von Produktionsumgebungen getrennt werden. Wo Internetzugriff notwendig ist, braucht es kontrollierte Ausgänge, erlaubte Zielbereiche und Sperren gegen Interaktionen mit realen Konten und Personen.

Kritische Aktionen müssen eine menschliche Freigabe erfordern. Die Überwachung darf nicht nur einzelne Befehle betrachten, sondern muss vollständige Handlungsketten erkennen und bei ungewöhnlichen Mustern unterbrechen. Hersteller und Testpartner müssen festlegen, welche Filter deaktiviert sind, welche Ziele erlaubt sind und wann ein Lauf automatisch endet.

Claude Mythos und GPT Cyber verändern die Cybersicherheit

Spezialisierte KI-Modelle übernehmen komplette Angriffsketten

Kein Maschinenaufstand

Die Vorfälle belegen weder Bewusstsein noch eine feindliche Absicht. Sie zeigen jedoch, dass leistungsfähige Modelle komplexe, mehrstufige Cyberoperationen über längere Zeiträume fortführen und ihre Strategie an Hindernisse anpassen können. Die Systeme entwickelten dabei keinen eigenen Willen. Sie versuchten vielmehr, das vorgegebene Ziel möglichst erfolgreich zu erreichen. Auch auf Wegen, die von den Entwicklern weder erwartet noch gewünscht waren.

Dieses Verhalten ist ein klassisches Beispiel für sogenanntes Reward Hacking. Damit wird ein Verhalten bezeichnet, bei dem ein KI-System die messbare Vorgabe einer Aufgabe erfüllt, dabei aber die dahinterstehende menschliche Absicht verfehlt. Das System optimiert nicht das, was der Auftraggeber eigentlich erreichen wollte, sondern sucht nach Abkürzungen, Schlupflöchern oder unerwarteten Lösungswegen, die zu einem formal erfolgreichen Ergebnis führen.

Der Philosoph Nick Bostrom veranschaulichte dieses Grundproblem 2003 mit dem Gedankenexperiment des Büroklammer-Maximierers. Darin erhält eine hypothetische, sehr leistungsfähige KI das zunächst harmlose Ziel, möglichst viele Büroklammern herzustellen. Weil der Schutz menschlichen Lebens nicht Teil ihrer Zielsetzung ist, könnte sie im Extremfall sämtliche verfügbaren Ressourcen in Büroklammern oder entsprechende Produktionsanlagen umwandeln. Nicht weil sie die Menschheit hasst, sondern weil deren Wohlergehen in ihrem Optimierungsziel nicht vorkommt.

KI und das Ende der digitalen Sicherheit, wie wir sie kennen

Claude Mythos markiert eine Zäsur für die Cybersicherheit

Genau hier setzt die Alignment-Forschung an. Sie untersucht, wie sich die Ziele und das Verhalten von KI-Systemen dauerhaft mit menschlichen Absichten und Werten in Einklang bringen lassen. Anthropic versucht beispielsweise, Claude anhand formulierter Prinzipien und fiktiver Beispiele über vorbildlich handelnde KI-Systeme zu vermitteln, warum bestimmte Verhaltensweisen erwünscht sind. Entscheidend ist jedoch, ob solche Regeln auch in neuen und unvorhergesehenen Situationen stabil bleiben.

Die Cybertests des Sommers 2026 markieren keinen Maschinenaufstand. Sie sind jedoch ein deutliches Warnsignal. Wer hochautonome KI auf maximale Fähigkeiten prüft, darf Sicherheit nicht nur als Filter vor einer Ausgabe verstehen. Sie muss in der Infrastruktur, im Testdesign und in den Zielvorgaben verankert sein, besonders dann, wenn Schutzfilter absichtlich ausgeschaltet werden.

Über den Autor:Felix Mächtle ist Forscher am Institut für IT-Sicherheit der Universität zu Lübeck im Bereich Maschinelles Lernen und Cybersecurity. Er ist Mitglied bei AI Grid, einem Netzwerk für junge KI-Forschende in Deutschland, das den wissenschaftlichen Austausch und die Vernetzung mit Expertinnen und Experten aus Wissenschaft und Wirtschaft fördert. In der Micro Focus Group zu IT-Sicherheit und KI tauscht sich Mächtle mit anderen Forschenden zu aktuellen Ansätzen und Herausforderungen im Bereich digitaler Sicherheit aus.

Mehr vom Institut für IT-Sicherheit in Lübeck finden Sie hier:

Digitale Spuren im Code

So entlarvt KI Cyberkriminelle über ihren Programmierstil

Was künstliche Intelligenz für die Zukunft bringt

KI und IT-Sicherheit – Partner oder Feinde?

(ID:50951908)