Fehlalarme richtig bewerten False Positives – Falscher Alarm oder falsche Kennzahl?

In der Cybersecurity steigt die Nachfrage nach Sicherheitsexperten schneller an als ihr nachgekommen werden kann und die Probleme, die daraus entstehen können, sind gewaltig, denn viele Unternehmen sind nicht mehr in der Lage, auf alle Sicherheitsvorfälle zu reagieren. Bei einer derartigen Überlastung der Arbeitskräfte sollten Ressourcen nicht an Sicherheitsbedrohungen verschwendet werden, die nicht einmal real sind.

Security-Tools sollen Alarm schlagen, wenn sie Bedrohungen identifizieren. Nur handelt es sich in der Praxis nicht immer um tatsächliche Bedrohungen. Sondern auch um normale Aktivitäten, die fälschlicherweise als Bedrohung einsortiert werden. Diese sogenannten False Positives sind daher eigentlich harmlos – binden aber trotzdem wichtige Ressourcen.

Wenn ein System einen Alarm auslöst, muss dieser vom Sicherheitsteam untersucht werden. Handelt es sich dabei aber um einen falschen Alarm, müssen die Experten ihre Zeit an eine Bedrohung verschwenden, die nicht existiert. Dies kostet Zeit und Ressourcen, welche dann im Extremfall bei echten Angriffen fehlen.

Treten False Positives kontinuierlich und gehäuft auf, kann es außerdem passieren, dass Alarmmeldungen von den Sicherheitsteams vernachlässigt oder gar ignoriert werden. So werden schlussendlich tatsächliche Bedrohungen übersehen. Dies kompromittiert die Effektivität der Sicherheitsvorkehrungen.

False Positives können also reale negative Auswirkungen auf die Sicherheit des Netzwerkes haben, weshalb sie oftmals als wichtige Kennzahl für Cybersecurity-Teams herangezogen werden. Doch was ist, wenn diese Zahl überbewertet wird?

Es kommt auch auf die Umgebungsfaktoren an!

Zur Veranschaulichung ein Beispiel aus dem DNS-Bereich. Stellen wir uns einen Algorithmus vor, der 80 Prozent aller schadhaften Domains erkennt, mit denen ein Netzwerk kommuniziert. Außerdem schätzt er 5 Prozent der legitimen Domains fälschlicherweise ebenfalls als bedrohlich ein. Diesen Algorithmus wenden wir auf einen Datensatz an, der insgesamt 50 Domains enthält, unter denen 20 Prozent, also 10 Stück, tatsächlich schadhaft sind.

Der Algorithmus liefert dann folgende Ergebnisse:

• 8 der 10 schadhaften Domains werden als gefährlich gekennzeichnet.

• 2 der 40 legitimen Domains werden fälschlicherweise als gefährlich gekennzeichnet.

• 2 der 10 schadhaften Domains werden fälschlicherweise nicht als gefährlich gekennzeichnet.

• 38 der 40 legitimen Domains werden als nicht gefährlich gekennzeichnet.

In diesem fiktiven Szenario findet der Algorithmus insgesamt 10 schadhafte Domains, wobei zwei davon eigentlich legitim sind. Die False-Positives-Rate liegt in diesem Beispiel bei 2 von 10, also bei 20 Prozent. Durch die Beschreibung des Algorithmus wäre die Vermutung fälschlicherweise nahe gelegen, dass die Rate bei 5 Prozent liegt. Bei nur 50 Domains ist das noch überschaubar.

In der Realität haben Netzwerke jedoch mit sehr viel mehr Domains zu tun. Nicht selten mit einer Anzahl in Millionen-Höhe. Hinzu kommt, dass der Anteil an schadhaften Domains oft deutlich unter 10 Prozent liegt. Deshalb passiert es nicht selten, dass die Anzahl der False Positives die der True Positives übersteigt.

Was passiert, wenn das Netzwerk aus dem Beispiel nicht 50 zu prüfende Domains umfasst, sondern eine Million? Und der Anteil der schadhaften Domains bei den realistischeren 5 Prozent anstatt bei 20 Prozent liegt? Faktisch gibt es dann insgesamt 50.000 schadhafte Domains und 950.000 legitime.

Der Algorithmus gibt in diesem Beispiel die folgenden Zahlen aus:

• 40.000 der 50.000 schadhaften Domains werden als gefährlich gekennzeichnet.

• 47.500 der 950.000 legitimen Domains werden fälschlicherweise als gefährlich gekennzeichnet.

• 10.000 der 50.000 schadhaften Domains werden fälschlicherweise nicht als gefährlich gekennzeichnet.

• 902.500 der 950.000 legitimen Domains werden als nicht gefährlich gekennzeichnet.

Die False-Positive-Rate liegt in diesem Beispiel bei 54 Prozent und übersteigt damit bereits die True Positives. Aber wie entstehen solche Zahlen? Die Antwort ist eigentlich ganz einfach. False Positives steigen proportional zur Anzahl der Objekte. In anderen Worten: je größer die Menge der legitimen Domains, desto mehr False Positives treten auf. Außerdem wird die Rate von dem Ungleichgewicht zwischen den legitimen und den schädlichen Domains beeinflusst. Dies ist ein klassisches Beispiel der Fehlerfortsetzung, welche immer wieder in der Cybersecurity vorkommt. Denn egal, ob die Analyse auf Domänennamen, URLs, Netflow oder anderen netzwerkbezogenen Daten basiert: das Volumen ist groß und das Ungleichgewicht zwischen legitimen und bösartigen Aktivitäten extrem.

Der Impact zählt!

Sollten wir also auf die Verwendung von Machine Learning in der Cybersecurity verzichten? Die Antwort lautet ganz klar nein. Viele Anbieter von Netzwerksicherheitslösungen verwenden Machine Learning und statistische Analyseverfahren, um resilientere Netzwerke zu schaffen, die besser vor Angriffen geschützt sind. Allerdings sollten sowohl Experten als auch Anwender verstehen, dass selbst die besten Algorithmen nicht allmächtig sind.

Je nach Umgebung fällt die Leistungsfähigkeit von Bedrohungsanalysen unterschiedlich aus. Die False-Positive-Rate ist daher nicht unbedingt die aussagekräftigste Kennzahl. Vielmehr kommt es darauf an, wie groß die tatsächliche Auswirkung auf Netzwerk und Ressourcen ist. Das Johns Hopkins University Applied Physics Lab (JHU/APL) nennt dies die Low-Regret-Methode für die Übernahme von Intelligenz. Sie sind Experten auf dem Feld und haben bereits Threat Intelligence Feeds für mehrere kritische Infrastrukturen getestet. Auch sind sie der festen Überzeugung, dass positive und negative Auswirkungen als Maßstab für den Erfolg beachtet werden müssen, anstatt zu versuchen, allein False Positives zu quantifizieren. Außerdem ist jede Umgebung anders, weshalb die Sicherheitslösungen immer an das Umfeld angepasst werden müssen. Nur so können individuelle Bedürfnisse erfüllt und sicherere und widerstandsfähigere Umgebungen geschaffen werden.

Security-Experten sollten sich daher die Kennzahlen hinter den Algorithmen ganz genau anschauen. „False Positive“-Rates von 0.00015 Prozent sind auch heute schon möglich. Beispielsweise durch die Verwendung von mehreren statistischen und nicht statistischen Algorithmen. Auch weitere Methoden wie die Human-in-the-Loop-Strategie und die Verwendung von mehreren Verarbeitungsebenen sind hilfreich. Insgesamt kommt eine sichere und schützende DNS-Architektur dem Unternehmen zugute. Sie gewährleistet zuverlässige sowie vertrauenswürdige DNS-Dienste, die für mehr Leistung und Schutz sorgen. Gleichzeitig reduziert sie mit Hilfe von DNS-Threat Intelligence das „Rauschen“, welches durch False Positives entsteht und einen realen Impact für die Sicherheitsteams hat.

Über den Autor: Steffen Eid ist Manager Solution Architects für Central Europe bei Infoblox. Als Fachinformatiker kennt er die Branche von der Pike auf. Seit 2016 begleitet er Infoblox auf der Reise vom Netzwerkmanagement Unternehmen zum SaaS-Anbieter für DDI-basierte Netzwerk- und Security-Lösungen.

(ID:49777179)