Optimierung von Large Language Models: SophosAI's Open-Source-Tool

Sophos stellt Sprachmodell-Tool zur Verfügung Tuning-Tool für LLMs als Open-Source-Programm

08.01.2025 Von Barbara Gribl 1 min Lesedauer

Anbieter zum Thema

PresseBox - unn | UNITED NEWS NETWORK GmbH

V2_Screen_M.png (SEPPmail - Deutschlang GmbH)

Large Language Models (LLMs) können bei der Arbeit entlasten und IT-Sicherheitsanalysten unterstützen. Manchmal mangelt es jedoch an spezifischem Wissen. Das SophosAI-Team stellt nun ein Tool für Sprachmodelle als Open-Source-Programm zur Verfügung.

Eine neue Framework-Version für LLMs ist dank Sophos nun als Open Source verfügbar.(Bild: HiroSund - stock.adobe.com) — Eine neue Framework-Version für LLMs ist dank Sophos nun als Open Source verfügbar.
(Bild: HiroSund - stock.adobe.com)

Große Sprachmodelle können die Arbeitslast automatisieren und reduzieren. Auch können Large Language Models (LLMs) Cyberanalysten und Incident Responder unterstützen. Hier und da fehlt generischen LLMs jedoch spezifisches Wissen, so dass spezialisierte Aufgaben manchmal eben nicht übernommen werden können.

Das SophosAI-Team hat ein Framework zusammengestellt, das DeepSpeed nutzt, eine von Microsoft entwickelte Bibliothek. Dieses soll dafür sorgen, dass bislang nicht vorhandenes, proprietäres Wissen der LLMs zur Verfügung gestellt wird. Genauer wird die Inferenz eines Modells mit Parametern trainiert. Dabei sollen die Rechenleistung und die Anzahl der beim Training verwendeten Grafikprozessoren (GPUs) erhöht werden. Das Framework steht unter Open-Source-Lizenz zur Verfügung.

Sophos hat sich für sein Trainingsframework an DeepSpeed gewandt. Die Version des Frameworks, die Sophos als Open Source freigibt, kann im Amazon Web Services SageMaker Service für maschinelles Lernen ausgeführt, aber auch an andere Umgebungen angepasst werden.Trainingsframeworks (einschließlich DeepSpeed) sollen die Skalierung großer Modelltrainingsaufgaben durch Parallelität ermöglichen.

Obwohl viele Teile des Frameworks nicht neu sind und auf bestehende Open-Source-Bibliotheken zurückgreifen, hat das SophosAI-Team einige der wichtigsten Komponenten zusammengefasst, um die Nutzung zu erleichtern.

In den Open-Source-LLMs ChuanhuChatGPT, Lunary und LocalAI finden sich schwerwiegende Sicherheitslücken. (Bild: Dall-E / KI-generiert)

Es gibt vielfältige Einsatzgebiete für Large Language Models im Bereich der Cybersicherheit. Neben der Erkennung von Bedrohungen können LLMs beispielsweiuse auch bei der Generierung und Analyse von Informationen über Cyber-Bedrohungen wirksam sein. (Bild: MrHuman - stock.adobe.com)

(ID:50277026)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zur IT-Sicherheit

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.