Kommentar von Florian Lauck-Wunderlich, Pegasystems Agentic AI Governance – wer überwacht die Wächter?

Anbieter zum Thema

Pegasystems GmbH

FTAPI Software GmbH

Insider Research

Agentic AI (agentische Künstliche Intelligenz) verspricht erhebliche Effizienzgewinne, benötigt aber auch einen Governance-Rahmen. Um regulatorische Vorgaben und ethische Standards einzuhalten, reicht die selbstgesteuerte Überwachung durch Agenten nicht aus. Übergeordnete menschliche Instanzen sind erforderlich.

Agentic AI entwickelt sich rasant und leitet eine neue Ära in der Automatisierung von Geschäftsprozessen ein. Nach dem Motto „Teile und herrsche“ zerlegt agentische KI komplexe Aufgaben wie die Verifikation von Dokumenten im Bankenwesen, die Schadensregulierung im Versicherungswesen oder die Anfragenbearbeitung im Kundenservice in kleinere, überschaubare Teilaufgaben, die einfacher zu lösen sind.

KI-Agenten, die bestimmte Rollen wahrnehmen oder auf bestimmte Tätigkeiten wie die Erfassung von Dokumenten aus verschiedenen Quellen, die Extraktion relevanter Informationen aus gescannten Unterlagen oder das Abprüfen regulatorischer Vorgaben spezialisiert sind, führen diese Aufgaben automatisiert aus. Anschließend führt ein übergeordneter Agent die Ergebnisse zusammen, um die komplexe Gesamtaufgabe zu lösen.

Da Agentic AI im Gegensatz zu klassischen Automatisierungslösungen keinen starren Prozessen folgt, ist sie in der Lage, dynamisch auf Veränderungen zu reagieren und Ausnahmen zu bearbeiten. Zudem können die Agenten in Echtzeit lernen und Abläufe selbstständig optimieren.

Algorithmen können diskriminierende Entscheidungen treffen

Damit ermöglicht Agentic AI mehr und bessere Automatisierung und verspricht erhebliche Effizienzgewinne. Sie birgt aber auch Risiken. Algorithmen könnten diskriminierende Entscheidungen treffen, die Entscheidungen von KI-Agenten sind unter Umständen nicht transparent nachvollziehbar oder es entstehen Sicherheitslücken. Dadurch laufen Unternehmen Gefahr, gegen geltendes Recht zu verstoßen.

Eines der zentralen regulatorische Rahmenwerke für Agentic AI ist der EU AI Act. Er macht klare Vorgaben für die Entwicklung und den Einsatz von Künstlicher Intelligenz, indem er zwischen verschiedenen Risikostufen unterscheidet und Organisationen zur Einhaltung von Transparenz- und Sicherheitsstandards verpflichtet. Diese Anforderungen können sie nur mit einer effektiven Governance erfüllen. Eine solche Governance ist aber nicht nur eine regulatorische Notwendigkeit, sondern stärkt auch die Marktposition von Unternehmen. Wer in seinen Services und Produkten vertrauenswürdige KI einsetzt, sichert sich Wettbewerbsvorteile.

Agentic AI Governance beinhaltet viele Aspekte

Governance für agentische KI hat zahlreiche Dimensionen. Im Zentrum steht dabei die Überwachung durch Menschen. Der lateinische Spruch „Quis custodiet ipsos custodes?" („Wer überwacht die Wächter?“) bringt es auf den Punkt. Zusätzlich zur selbstgesteuerten Überwachung durch Agenten ist noch mindestens eine übergeordnete Instanz im Unternehmen erforderlich.

Die wichtigsten Dimensionen von Agentic AI Governance sind:

• Transparenz und Nachvollziehbarkeit: Entscheidungen von KI-Systemen müssen verständlich und nachvollziehbar sein. Alle Stakeholder sollten verstehen können, wie ein KI-Agent zu einer Entscheidung kommt.

• Erklärbarkeit: Durch erklärbare KI („Explainable AI“, XAI) muss sichergestellt werden, dass selbst komplexe Modelle verständlich bleiben. Unternehmen sollten Mechanismen implementieren, die es Nutzern, Aufsichtsbehörden und Kunden ermöglichen, die Entscheidungen, Ergebnisse und Empfehlungen von KI-Agenten zu interpretieren.

• „Human in the Loop“: Bei kritischen Entscheidungen, die erhebliche Auswirkungen auf Menschen haben, benötigt agentische KI direkt im Prozess ein menschliches Kontrollorgan. Ein „Human in the Loop“ sorgt dafür, dass solche Entscheidungen nicht autonom von Agenten getroffen werden.

• Fairness und Bias-Kontrolle: KI-Modelle können aufgrund von Trainingsdaten Vorurteile („Bias“) verstärken oder sich selbst diskriminierend verhalten. Algorithmen müssen regelmäßig auf Fairness überprüft werden und Mechanismen zur Bias-Korrektur sind erforderlich.

• Datenschutz und Sicherheit: KI-Systeme verarbeiten große Mengen sensibler Daten. Dabei muss gewährleistet sein, dass Datenschutzvorgaben wie die DSGVO strikt eingehalten werden. Ebenso wichtig ist Cybersicherheit. Organisationen sollten Angriffe auf KI-Modelle abwehren können, die darauf abzielen, diese zu manipulieren.

• Verantwortlichkeit und Auditierbarkeit: Unternehmen sollten klar definieren, wer für Fehler oder Schäden durch KI-Entscheidungen haftet. Zudem müssen die KI-Modelle auditierbar sein, damit ihre Funktionsweise überprüft werden kann und sich für jeden Zeitpunkt nachweisen lässt, dass sie regelkonform und ethisch vertretbar arbeiten.

Wie Governance-Modelle in der Praxis aussehen können

Wie Governance für Agentic AI in der Praxis aussieht, zeigen einige Branchenbeispiele. Im Bankwesen lassen sich KI-Agenten für Kreditwürdigkeitsprüfungen einsetzen. Ein entsprechendes Governance-Modell könnte regelmäßige Bias-Tests beinhalten, die sicherstellen, dass keine Kundengruppen benachteiligt werden. Neben einem „Bias-Agenten“, der die Aufgabe hat, als Teil des Agenten-Systems nach möglichen Benachteiligungen in Entscheidungen zu suchen, kann ergänzend ein „Human in the Loop“-Mechanismus dafür sorgen, dass kritische Kreditentscheidungen von Menschen im Prozess überprüft werden. Ein Dokumentations-Agent könnte zudem gewährleisten, dass Qualitätssicherung, Revision und Aufsichtsbehörden durch auditierbare Protokolle alle Entscheidungen von KI-Agenten nachvollziehen und nach Bias überprüfen können.

Im Gesundheitswesen kann Agentic AI in medizinischen Diagnosesystemen verwendet werden. Dabei muss sie besonders strenge Governance-Standards erfüllen. Damit Ärzte und Patienten die Empfehlungen der KI verstehen können, ist Explainable AI entscheidend. Die KI-Modelle sollten regelmäßig mit realen medizinischen Daten validiert werden, um ihre Genauigkeit sicherzustellen. Damit der Schutz sensibler Patientendaten gewährleistet ist, müssen diese Daten DSGVO-konform verarbeitet werden.

Produktionsunternehmen setzen für Predictive Maintenance zunehmend auf Agentic AI. Ein entsprechendes Governance-Modell sollte eingebaute Sicherheitsmechanismen umfassen, um Fehlentscheidungen zu minimieren. Regelmäßige Updates und Tests können sicherstellen, dass die KI an veränderte Bedingungen angepasst wird. Für sicherheitskritische Entscheidungen werden menschliche Kontrollinstanzen implementiert.

In sechs Schritten zu robuster Governance

Um eine robuste Governance für Agentic AI zu etablieren, verfolgen Organisationen am besten einen strukturierten Fahrplan. Er umfasst folgende Schritte:

• 1. Governance-Richtlinien definieren: Zunächst sollten die internen Verantwortlichkeiten für KI-Systeme geklärt und Standards basierend auf regulatorischen Anforderungen wie dem EU AI Act und der DSGVO festgelegt werden.

• 2. Risikoanalyse und -management implementieren: Im zweiten Schritt müssen Hochrisiko-Anwendungen identifiziert und kontinuierliche Monitorings für Bias, Sicherheit und Datenschutz eingeführt werden.

• 3. Transparenz- und Erklärbarkeitsmaßnahmen umsetzen: Unternehmen sollten erklärbare KI-Modelle auswählen oder ergänzende Mechanismen für die Nachvollziehbarkeit von KI-Modellen in die Agentic AI implementieren. Zudem ist eine Dokumentation der KI-Entscheidungen für Audits und Regulierungsbehörden einzurichten.

• 4. Human-in-the-Loop-Mechanismus etablieren: Im nächsten Schritt integrieren Organisationen menschliche Kontrolle in kritische Entscheidungsprozesse. Zudem definieren sie klare Eingriffsmechanismen bei Fehlentscheidung und legen die Verantwortung für Entscheidungen fest.

• 5. Kontinuierliche Überwachung und Anpassung: Die Governance-Richtlinien sollten regelmäßig evaluiert und aktualisiert werden. Dazu sollte man ein „AI Governance Board“ oder ähnliche Kontrollinstanzen implementieren.

• 6. Schulung und Sensibilisierung der Mitarbeiter: In Trainingsprogrammen informieren Unternehmen ihre Entwickler und Entscheidungsträger zu ethischen und rechtlichen Anforderungen. Damit schaffen sie eine Governance-Kultur, in der die Verantwortung für Künstliche Intelligenz ernstgenommen wird.

Governance ist essenziell

Beim Einsatz von agentischer KI ist Governance essenziell, um Risiken zu minimieren und das Vertrauen in KI-gestützte Systeme zu stärken. Organisationen müssen Transparenz, Fairness und Sicherheit gewährleisten, um regulatorische Vorgaben zu erfüllen, ethische Standards einzuhalten und sich Wettbewerbsvorteile zu sichern. Ein strukturierter Governance-Ansatz mit klaren Verantwortlichkeiten, regelmäßigen Audits und menschlicher Kontrolle ist dafür der Schlüssel.

(ID:50410254)