NeMo Guardrails: Sicheres Framework für KI-Agenten Nvidia stärkt KI-Sicherheit mit neuen NeMo Guardrails Microservices

Anbieter zum Thema

NVIDIA GmbH

Fsas Technologies GmbH

FAST LTA GmbH

Das Framework „Nvidia NeMo Guardrails“ verfügt nun über neue NIM-Microservices, um die Aspekte Genauigkeit, Datensicherheit und Kontrolle im Hinblick auf Branchenanwendungen zu unterstützen, die Agentic AI verwenden.

KI-Agenten stellen laut Nvidia sogenannte Wissensroboter dar, die eine Reihe von Arbeiten mit Daten erledigen können. Um KI-Agenten zu erstellen, müssten Unternehmen jedoch zentrale Aspekte beachten, so etwa Vertrauenswürdigkeit, Datenschutz, Datensicherheit und Compliance.

Das Framework Nvidia NeMo Guardrails umfasst eine Reihe dafür geeigneter Werkzeuge für generative KI. Die Werkzeuge stehen für das Kuratieren, die Anpassung und für die Leitlinienumsetzung von Agenten und von LLM-Applikationen bereit. Drei neue NIM-Microservices stünden nun für KI-Entwickler bereit, damit sie vertrauenswürdige und sichere KI-Agenten erstellen können. Die Agenten sollen sichere und angemessene Ergebnisse bzw. Antworten im Rahmen von kontextspezifischen Leitlinien liefern können und seien gegen Jailbreak-Versuche gewappnet.

Bildergalerie

Bildergalerie mit 5 Bildern

Der erste NIM-Microservice kümmert sich um die Sicherheit von Inhalten. Er schützt die KI-Struktur davor, tendenziöse oder schädliche Ergebnisse zu generieren, indem er dafür sorgt, dass sich die Antworten an ethischen Vorgaben orientieren.

In die gleiche Richtung zielt der zweite Microservice, denn dieser kontrolliert Themen, die eine ganze Interaktion bestimmen. Nur zugelassene Themen mit angemessenem Inhalt werden verarbeitet, und Abschweifungen sollen unterbunden werden.

Die Aufgabe des dritten Microservice besteht darin, jeden Versuch aufzuspüren, mithilfe eines Jailbreaks die von Microservice eins und zwei sichergestellten Leitlinien zu durchbrechen und so Ergebnisse bzw. Antworten in kontroversen Szenarien zu manipulieren. Der Jailbreak-Detektor soll die Integrität und Vertrauenswürdigkeit von KI-Apps und -Agenten gewährleisten.

Der Content-Safety-Microservice (Nr. 1) sei anhand des Aegis Content Safety Datasets trainiert worden. Diese Datenmenge mit 35.000 Musterdaten sei von höchster Qualität und von Menschen mit Anmerkungen versehen worden. Sie befinde sich im Besitz von Nvidia, seinem Kurator, werde aber auf HuggingFace der Öffentlichkeit zugänglich gemacht.

Indem sie mehrere „leichtgewichtige“ und spezialisierte Modelle als Leitlinien anwenden, sollen Entwickler in der Lage sein, eventuelle Lücken abzudecken, die auftreten können, wenn nur allgemeine Richtlinien und Schutzmaßnahmen vorliegen, quasi als Einheitsansatz, doch dieser globale Ansatz schütze und kontrolliere komplexe Agentic AI Workflows nicht angemessen.

Kleine Sprachmodelle, wie sie auch in der NeMo-Guardrails-Sammlung zu finden seien, würden eine geringe Latenzzeit aufweisen und seien dafür ausgelegt, selbst in verteilten oder ressourcenarmen Umgebungen effizient ausgeführt zu werden. Das mache sie am besten geeignet für skalierbare KI-Anwendungen in Branchen wie dem Gesundheitswesen, dem Automobilsektor und in der Fertigung, an Standorten wie Kliniken oder Lagerhäusern.

Kürzlich hat Nvidia zudem angekündigt, dass seine Assistenten „Nvidia AI Blueprint for Retail Shopping“ künftig NeMo Guardrails Microservices enthalten werden, um zuverlässigere und kontrollierte Kundeninteraktionen während Erlebnissen des digitalen Shoppings zu generieren.

NeMo Guardrails bietet quelloffene Werkzeuge für das Testen von KI-Sicherheit an

Entwickler, die bereit wären, die Wirksamkeit der Anwendung von Schutzmodellen und -Leitlinien zu prüfen, bietet Nvidia seinen Werkzeugkasten Nvidia Garak an. Garak ist ein von Nvidia entwickeltes Open-Source-Toolkit, mit dem sich Schwachstellen in LLMs und KI-Anwendungen aufspüren lassen sollen. Der Scanner sucht in Systemen, die LLMs nutzen, im Hinblick auf Datenlecks, Prompt-„Injektionen“, Code-Halluzinationen und sogar Jailbreak-Szenarien. Indem es Testfälle erzeugt, bei denen unangemessene oder inkorrekte Ergebnisse ausgegeben werden, helfe Garak Entwicklern, potenzielle Schwachstellen in KI-Modellen aufzuspüren und zu bekämpfen, um ihre Robustheit und Sicherheit zu stärken.

Verfügbarkeit

Nvidia NeMo Guardrails Microservices sowie NeMo Guardrails für die Leitlinien-Orchestrierung und das Garak-Toolkit sind inzwischen für Entwickler und Unternehmen verfügbar. Mit einem Tutorial könnten Entwickler sofort anfangen, KI-Schutzmaßnahmen in KI-Agenten für den Kundendienst einzubauen.

(ID:50314835)