BIFOLD warnt vor Fehleranfälligkeit Fallstricke beim ML-Einsatz in der Sicherheitsforschung

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

TXOne Networks

TU Berlin

Cybersicherheit ist ein zentrales Thema in der digitalen Gesellschaft. Maschinelles Lernen (ML) hilft immer mehr bei der Analyse sicherheitsrelevanter Probleme. Doch diese Art der Forschung ist nicht ohne Fallstricke, wie das Berlin Institute for the Foundations of Learning and Data (BIFOLD) warnt.

Forscher der TU Berlin, der TU Braunschweig, des University College London, des King’s College London, der Royal Holloway University of London und des Karlsruher Instituts für Technologie veröffentlichten unter Leitung des BIFOLD Berlin ihre Erkenntnisse in der Publikation „Dos and Don'ts of Machine Learning in Computer Security“. Die Abhandlung über Fallstricke beim Einsatz maschinellen Lernens in der Sicherheitsforschung wurde auf dem USENIX Security Symposium 2022 mit dem „Distinguished Paper Award“ prämiert.

„In dem Paper liefern wir eine kritische Analyse des Einsatzes von ML in der Cybersicherheitsforschung“, erklärt Erstautor Dr. Daniel Arp von der TU Berlin. Zunächst habe man häufige Fallstricke bei der Konzeption, Implementierung und Evaluierung lernbasierter Sicherheitssysteme identifiziert. Dazu zählt zum Beispiel die Verwendung nicht repräsentativer Daten, die zu unbrauchbaren ML-Modellen oder gar zu Fehlinterpretationen führen kann. Im zweiten Schritt führten die Forscher eine Prävalenzanalyse durch: „Zu unserer Besorgnis mussten wir feststellen, dass diese Fallstricke selbst in sorgfältig durchgeführter Spitzenforschung weit verbreitet sind“, so BIFOLD-Fellow Prof. Dr. Konrad Rieck von der TU Braunschweig.

Moderne Ansätze straucheln

Im dritten Schritt zeigten die Forscher anhand von vier konkreten Fallstudien mit Beispielen aus der Literatur, wie und wo die identifizierten Probleme zu unrealistischen Ergebnissen und Interpretation von ML-Systemen führen. So befasste sich beispielsweise eine der untersuchten Fallstudien mit der Erkennung mobiler Schadsoftware. Dabei kamen lernbasierte Methoden zum Einsatz, die sich automatisch an neue Malware-Varianten anpassen können. Mangels öffentlich zugänglicher Lern-Datensätze nutzten die Forscher eigene Datensätze und führten verschiedene Quellen zusammen.

„Diese Zusammenführung der Lern-Datensätze aus verschiedenen Quellen führt jedoch zu einer Verzerrung der Stichprobe: Apps aus den offiziellen App Stores der Smartphonehersteller bergen tendenziell weniger Sicherheitsrisiken als Apps, die aus alternativen Quellen mit geringeren Sicherheitsstandards stammen“, so Arp. Im Ergebnis konnten die Forscher zeigen, dass sich moderne Cybersecurity-Ansätze bei der Malware-Erkennung tendenziell auf App-spezifische Merkmale konzentrieren, statt reale Schadsoftware-Eigenschaften zu identifizieren. „Dies ist nur eines von vielen Beispielen des Papers, die zeigen, wie ein kleiner Fehler bei der Zusammenstellung der Lern-Datensätze schwerwiegende Verzerrungen im Ergebnis herbeiführt und das gesamte Experiment beeinflussen kann“, betont der Experte. Mit ihrer Veröffentlichung hoffen die Forscher, das Bewusstsein für potenzielle Fehlerquellen im experimentellen Design zu schärfen und diese wenn möglich zu verhindern.

(ID:48799545)