Sicherheit Künstlicher Intelligenz Cyberagentur schreibt Projekt zum sicheren Maschinellen Lernen aus

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

FTAPI Software GmbH

Cohesity GmbH

Wird Maschinelles Lernen im Bereich der inneren und äußeren Sicherheit sowie bei kritischen Infrastrukturen eingesetzt, sieht die Cyberagentur ein Maximum an Sicherheit als unabdingbar – momentan sei das jedoch nicht gegeben. Mit einem neuen mehrstufigen Projekt sollen Verlässlichkeit und Manipulationssicherheit von KI-Ansätzen gesteigert werden.

Mit der Forschung zu „Robustem und Sicherem Maschinellen Lernen“ hat die Agentur für Innovation in der Cybersicherheit GmbH (Cyberagentur) ihr größtes Forschungsprojekt zur Sicherheit Künstlicher Intelligenz (KI) ausgeschrieben. In einem mehrstufigen Verhandlungsverfahren sollen neue Ansätze zur Steigerung der Robustheit und Sicherheit verschiedener KI-Ansätze im Bereich der inneren und äußeren Sicherheit entwickelt werden.

Maschinelles Lernen (ML) habe sich zu einem maßgeblichen Analysewerkzeug für immer größere und komplexere Datenmodelle entwickelt – größte Schwachstellen der Technologie seien die Abhängigkeit von Trainingsdaten und die Intransparenz der trainierten Modelle. Unerwartete Eingaben könnten zu unvorhergesehenen und schwer nachvollziehbaren, möglicherweise katastrophalen Ergebnissen führen. Dabei geht es nicht nur um zufällige, sondern auch um manipulierte Eingaben. Als ein Beispiel wird der Missbrauch von KI-Chatbots angeführt, bei dem die Sprachmodelle mit manipulierten Befehlen (Prompt Injection) zu unbeabsichtigten, potenziell folgenschweren Aussagen verleitet werden.

„Gerade im Kontext der inneren und äußeren Sicherheit sowie bei kritischen Infrastrukturen ist für uns die Nachweisbarkeit von Sicherheit und Robustheit von neuronalen KI-Systemen gegenüber gezielten Angriffen und manipulativen Inputs von entscheidender Bedeutung“, erläutert Dr. Daniel Gille, Projektleiter und Leiter „Sicherheit durch KI und Sicherheit für KI“ in der Cyberagentur. In diesen Bereichen sei beim Einsatz von maschinellem Lernen ein Maximum an Sicherheit unabdingbar – könne aber momentan nicht gewährleistet werden, so Gille. „Die geplante Beauftragung soll dabei helfen, die wissenschaftlichen Grundlagen für dieses anzustrebende Maximum an Cybersicherheit von KI-Systemen zu schaffen und auszubauen.“

Das auf fünf Jahre angelegte Forschungsprojekt soll sowohl Grundlagenforschung als auch Prototypenentwicklung umfassen und sich auf fünf Schwerpunkte konzentrieren:

• Datenabsicherung

• Modellverifikation

• Systemeinbettung

• Hybridmodelle aus neuronalen und symbolischen Komponenten sowie

• Ende-zu-Ende-Verifikation

Zum Ende der Projektlaufzeit soll anhand eines realen Einsatzsystems der inneren oder äußeren Sicherheit demonstriert und evaluiert werden, wie die entwickelten Ansätze zur Steigerung der Robustheit und Sicherheit neuronaler KI-Ansätze entlang der gesamten ML-Prozesskette nachweisbar sicher angewendet werden können.

Dazu plant die Cyberagentur die parallele Beauftragung mehrerer Bieter(gemeinschaften). Deren Ergebnisse sollen nach jeder Phase des fünfstufigen Projektwettbewerbs evaluiert und die besten ausgewählt werden, so dass sich das Teilnehmerfeld schrittweise verkleinert.

(ID:49351457)