Open-Source-Security-Lösung Apache Metron

Mit Apache Metron Big-Data-Projekte schützen

| Autor / Redakteur: Simon Elliston Ball / Peter Schmitz

Die Open-Source-Sicherheitslösung Apache Metron soll die Brücke von der forensischen Analyse hin zur Bekämpfung von Cyber-Angriffen schlagen und Echtzeit-Sicherheit für Hadoop bringen.
Die Open-Source-Sicherheitslösung Apache Metron soll die Brücke von der forensischen Analyse hin zur Bekämpfung von Cyber-Angriffen schlagen und Echtzeit-Sicherheit für Hadoop bringen. (Logo: The Apache Software Foundation)

Big-Data-Projekte sind nicht nur für Firmen interessant, sondern auch für Cyberkriminelle. Apache Metron ist ein Open-Source-Projekt für ein Security-Analytics-Framework. Die Lösung besteht aus Modulen zum Parsen, Normalisie­ren und Anreichern von Daten mit internen und externen Bedrohungsinformationen und soll Big-Data-Projekte vor unbefugtem Zugriff schützen.

Die Flut an Informationen, die bei Big-Data-Projekten verarbeitet wird, ist wertvoll – nicht nur für Unternehmen, sondern auch für Cyberkriminelle. Bei einem Einbruch in ein System, das große Datenmengen verarbeitet, können letztere nicht nur einzelne personenbezogene Daten entwenden, sondern sie auch in Korrelation bringen und so Schlüsse für ihre eigenen Zwecke ziehen. Während Angreifer Communities und Online-Marktplätze nutzen, um mit Zugangsdaten und Angriffstools zu handeln, müssen auch Unternehmen eine kollaborative, offene Umgebung schaffen, um gemeinsam intelligente Sicherheitslösungen zu entwickeln, die Big-Data-Projekte vor unbefugtem Zugriff schützen.

Auf dem Markt haben sich hierfür bereits einige Lösungen etabliert beziehungsweise sind dabei, sich zu etablieren – eine davon ist Apache Metron Metron bedient sich der Fähigkeiten von Hadoop für die statischen Aufgaben der forensischen Analyse, um große Datenmengen schneller verarbeiten zu können und konzentriert sich stark auf Streaming-Datenquellen und schnelle Datenverarbeitung. Die Open-Source-Lösung besteht aus Modulen zum Parsen, Normalisieren und Anreichern von Daten mit internen und externen Bedrohungsinformationen und bezieht dabei STIX-Feeds mit ein. STIX (Structured Threat Information eXpression) ist ein Open-Source-Projekt zum Austausch aktueller Bedrohungsinformationen. Zusätzlich nutzt Metron Informationen aus anderen Quellen wie etwa aus Blacklists von indizierten Dateien, autonomen maschinellen Lernalgorithmen oder einer breiten Palette an Ingest-Methoden.

Automatisierter Schutz vor Cyberkriminalität

Threat Defense Lifecycle

Automatisierter Schutz vor Cyberkriminalität

15.05.17 - IT-Bedrohungen werden immer komplexer. Um mit der wachsenden Bedrohung Schritt halten zu können, müssen Anbieter und Unternehmen neue Wege beschreiten, um sich vor Gefahren schützen zu können. Eine automatisierte Strategie kann dabei helfen, virtuelle Angriffe besser erkennen und bekämpfen zu können. Um eine Automatisierung der IT-Sicherheit zu erreichen, müssen Unternehmen allerdings zuerst wichtige Security-Systeme vernetzen. lesen

Dabei können die Algorithmen der Lösung ihre Schlüsse auf verschiedenem Weg ziehen. So prüft Metron etwa Ähnlichkeiten ab, um Zero-Day-Exploits zu erkennen, da deren Muster anderen bereits erfolgten Angriffen ähneln können. Diese Prüfung hilft auch im Hinblick auf die Erkennung zukünftiger, anderer Bedrohungen und führt zur Steigerung der Leistungsfähigkeit.

Die in Metron enthaltenen intelligenten Module beinhalten einen Verhaltens-Profiler. Dieser stellt eine Reihe von Algorithmen zur Modellierung des typischen Verhaltens beziehungsweise zur Erkennung von Anomalien bereit. Außerdem enthält es einen Dienst, den seine Entwickler Model-as-a-Service (MaaS) getauft haben. Dieser ermöglicht die direkte Einbindung maschinell lernender Modelle in Echtzeit-Pipelines.

Für eine übersichtlichere Bedienung sind entsprechende Module für Benutzeroberfläche und Präsentation des Sicherheitsstatus integriert. Dies beinhaltet auch Front Line Alert Triage Dashboards und eine Schnittstelle zu externen Rechnern, auf denen Datenanalysten Apache Spark zur weiteren Analyse von beispielsweise SQL-Datenbanken im großen Maßstab bis hin zu Modellen für das maschinelle Lernen einsetzen können.

Schutz in Echtzeit

Die Metron-Architektur basiert auf einer Echtzeit-Streaming-Plattform, die der Endanwender mit einfachen, erweiterbaren Konfigurationskommandos steuern kann. Im Zentrum des Metron-Projekts steht die Optimierung der Streaming-Pipeline. Die Belastbarkeit von Input, Output und Intermediate Staging erfolgt durch Apache Kafka. Dadurch ist eine effektive Pufferung möglich, die Datenverluste durch Hardwareausfälle verhindert.

Außerdem kann Metron Konfigurationsänderungen in Echtzeit an die Pipeline weitergeben, sodass eine Unterbrechung bei Modifikationen nicht nötig ist. Auf diese Weise können Administratoren etwa Schwellenwerte und die Benachrichtigungs-Regeln umgehen, ohne den Datendurchsatz zu beeinträchtigen. Dies kann beispielsweise bei einem DDoS-Angriff nützlich sein.

5 Schritte, mit denen Sie Ihren Hadoop Cluster sicherer machen

Schutz vor Ransomware

5 Schritte, mit denen Sie Ihren Hadoop Cluster sicherer machen

23.02.17 - Hadoop-Anwender müssen sich derzeit vor Hacker-Angriffen in Acht nehmen: Laut den Sicherheitsforschern von Threat Geek werden Nutzer von Hadoop-Distributed-File-System-Installationen (HDFS) angegriffen. Die Kriminellen „leeren“ die Hadoop-Datenbank und bieten dann den Opfern an, die gestohlenen Daten gegen Zahlung eines Lösegeldes wieder herauszugeben. Von solchen Angriffen dürften weltweit 8.000 bis 10.000 HDFS-Installationen betroffen sein. lesen

Bereitstellung und Skalierung von Anwendungen

Da Metron auf Systemen wie etwa der Hortonworks Data Platform und dem Hortonworks Data Flow aufbaut, nutzt es viele der hochskalierten Komponenten dieser Plattformen. Alternativ kann Metron auch in einer Cloud-basierten Umgebung laufen, um eine schnelle Skalierung bei flexiblen Anforderungen sicherzustellen. Für die gesamte Bereitstellung und Konfiguration nutzt Metron Apache Ambari. Letzteres stellt ein Installations-, Verwaltungs- und Konfigurationswerkzeug zur Verfügung.

Verschiedene Authentifizierungsmethoden

Metron verwendet Apache Knox zur Prüfung der Zugriffsberechtigung für das Front-End. Deshalb stehen verschiedene kompatible Single-Sign-On- und Enterprise-Authentifizierungsmethoden zur Verfügung. Das beinhaltet beispielsweise Active Directory, Kerberos oder Web-Authentifizierungen wie etwa OAuth. Die Infrastruktur von Metron selbst nutzt hauptsächlich eine Kombination von Managed Config über Apache Ambari und Apache Zookeeper Service Directory, um beispielsweise Instanzen von Machine-Learning-basierten Modellen, die über einem Cluster verteilt sind, zu erfassen.

IoT-Sicherheit auf Basis von Apache Hadoop

Big Data Security

IoT-Sicherheit auf Basis von Apache Hadoop

20.10.16 - Das Internet der Dinge wächst rasant und immer mehr Sensoren und Geräte werden mit dem Internet verbunden. Mittendrin der gelbe Elefant Hadoop, der das Sammeln und Auswerten von Big Data oft überhaupt erst möglich macht. Eine neue Gattung an Cyber-Security-Anwendungen nutzt jetzt als technische Basis Apache Hadoop und will damit Bedrohungen für das Internet of Things in den Griff bekommen. lesen

Anwendungsfelder

Insgesamt ist Metron aufgrund seiner Dimensionierung für Anwender mit SOC- und Security-Data-Expertise in mittleren bis großen Unternehmen gedacht. Doch auch externe Dienstleister, beispielsweise Managed Security Service Provider (MSSP), nutzen Multi-Tenant-Versionen von Metron. Diese bieten auch kleineren Unternehmen eine Absicherung ihrer Big-Data-Umgebungen.

Gerade im Umfeld des Internet of Things (IoT) erfassen viele Sensoren und kleinere Endgeräte Daten. Eine umfassende dezentrale Absicherung der Daten wäre nicht in jedem Fall machbar und oft nicht im vorgegebenen Projektbudget umsetzbar. Daher verfolgt Metron in solchen Umgebungen einen Netzwerk-zentrierten Ansatz. Es bedient sich intelligenten Edge-Collection-Tools und verhilft Apache NiFi den Zugriff auf IoT-Netzwerke, ohne die einzelnen Geräte in ihrer Funktion zu behindern. Nicht zuletzt sind die Erkennung von Botnets aus IoT-Umgebungen und die Ausbreitung von Infektionen Felder, auf denen Metron besonderen Schutz gewährleisten kann.

Ausblick

Wie jedes Open-Source-Projekt wächst Metron ständig. Mit produktionsreifen Releases und Implementierungen auf der ganzen Welt beginnt es, sich zu einer starken Plattform im Wettstreit gegen die Cyberkriminalität zu entwickeln. Während die Community um das Projekt herum immer größer wird, werden auch komplexere Anwendungsfälle entstehen. Künftige wird Organisationen eine gemeinsame Plattform für Verhaltensprofile, maschinelle Lernmodelle und eine Datenstruktur aus realen Anwendungsfällen anstelle von hypothetischen Standards zur Verfügung stehen.

Über den Autor: Simon Elliston Ball ist Director Product Management, Cyber Security bei Hortonworks.

Kommentare werden geladen....

Kommentar zu diesem Artikel

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45713232 / Monitoring und KI)