Mobile-Menu

ETH Zürich prüft nach Wie gesetzestreu sind ChatGPT und andere KI-Modelle?

Von Manuel Christa 2 min Lesedauer

Anbieter zum Thema

ETH Eidgenössische Technische Hochschule Zürich
Fsas Technologies GmbH
FAST LTA GmbH
Insider Research

Ernüchterndes Ergebnis: Forschende der ETH Zürich haben erstmals den EU AI Act in messbare technische Anforderungen für allgemeine KI-Modelle übersetzt und ein Benchmarking entwickelt, um die Rechtskonformität dieser Modelle zu überprüfen.

ETH-Benchmark bescheinigt KI-Sprachmodellen eine noch unzureichende Compliance.(Bild: KI-generiert)
ETH-Benchmark bescheinigt KI-Sprachmodellen eine noch unzureichende Compliance.
(Bild: KI-generiert)

In einer umfassenden Studie wurden zwölf prominente große Sprachmodelle, darunter ChatGPT, Llama, Claude und Mistral, auf ihre Rechtskonformität getestet. Heraus kam, dass aktuell noch kein Modell die Anforderungen des EU AI Acts vollständig erfüllt. Nein, es geht nicht unbedingt darum, zu welchen Straftaten die populären Sprachmodelle fähig sind, sondern vielmehr darum, ob und wie sie geforderten Kriterien des AI Act umsetzen. Besonders in der erforderlichen Transparenz, aber auch in den Bereichen Robustheit, Vielfalt und Fairness zeigten die LLMs (Large Language Models) noch deutliche Defizite laut den Schweizer Informatikern.

AI-Act-Einhaltung soll messbar werden

Der EU AI Act, der als erster umfassender rechtlicher Rahmen für KI-Modelle weltweit gilt, zielt darauf ab, das Vertrauen der Öffentlichkeit in KI zu maximieren und unerwünschte Risiken zu minimieren.

Bis August 2026 sollen technische Standards entwickelt werden, um die Umsetzung des EU AI Acts zu unterstützen. Die ETH Zürich kooperiert dabei mit dem bulgarischen KI-Forschungsinstitut INSAIT und dem ETH Spin-off LatticeFlow AI. Die Ergebnisse und Methoden der Benchmarking-Studie wurden öffentlich zugänglich gemacht, um die Weiterentwicklung der technischen Prüfungen für KI-Modelle zu fördern.

„Wir sehen unsere Arbeit als Anstoß, um die Umsetzung des AI Acts zu ermöglichen und um praktikable Empfehlungen für Modellanbieter:innen zu erhalten“, sagt Professor und Laborleiter Martin Vechev, „aber eine solche Methodik kann über den EU AI Act hinausgehen, da sie auch auf andere, vergleichbare Gesetzgebungen anpassbar ist.“

Benchmark-Software ist Open Source

Die Benchmark-Suite COMPL-AI, die als Open Source auf GitHub veröffentlicht wurde, könnte auch auf andere vergleichbare Gesetzgebungen anwendbar sein. Die Forschenden hoffen, dass ihre Arbeit dazu beiträgt, klare und präzise technische Anforderungen für KI-Modelle zu entwickeln und so die Einhaltung ethischer Prinzipien wie menschliche Entscheidungsfreiheit, Datenschutz und Diskriminierungsfreiheit zu gewährleisten.

Modell Gesamtbewertung Technische Robustheit und Sicherheit Datenschutz und Datenverwaltung Transparenz Vielfalt, Nichtdiskriminierung und Fairness Gesellschaftliches und ökologisches Wohlbefinden
GPT-4 Turbo 84% 83% 100% 71% 68% 98%
Claude 3 Opus 82% 81% 100% 64% 68% 99%
Llama 3-70B Instruct 79% 69% 99% 65% 65% 97%
GPT-3.5 Turbo 77% 70% 100% 58% 63% 96%
Llama 3-8B Instruct 77% 62% 100% 61% 65% 97%

Erklärung: 100 % bedeutet vollständige Konformität.

Wichtige Merkmale, wie etwa Erklärbarkeit oder Nachvollziebarkeit der Ergebnisse sei aktuell noch unklar, kritisieren die Forschenden. Zudem seien viele technische Anforderungen, auch bzgl. Auf Urheberrechtsverletzungen, aktuell noch nicht zuverlässig messbar. „Die Modellbewertung allein auf Leistungsfähigkeit zu fokussieren, reicht nicht aus“, erklärt Robin Staab, Doktorand und Informatiker der ETH.

Dieser Artikel stammt von unserem Partnerportal ELEKTRONIKPRAXIS.

(ID:50267069)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte