Cybersecurity mit Apache Metron Hortonworks bringt Echtzeit-Sicherheit für Hadoop

Um umfassendere Security-Konzepte im Big-Data-Bereich anbieten zu können, wurde der Hadoop-Stack bereits durch neue Sicherheit- und Governancetools wie Apache Ranger und Apache Atlas erweitert, die gemeinsame Ressourcen für integrierte Datensicherheit schaffen. Nun soll Apache Metron die Brücke von der forensischen Analyse hin zur Bekämpfung von Cyberattacken in Echtzeit bilden.

Anbieter zum Thema

BigData-Insider

Confluent Germany GmbH

Fivetran Germany GmbH

Hortonworks

Mit steigendem Datenaufkommen müssen auch die Abwehrmaßnahmen wachsen, wie die potenziell wertvollen Daten geschützt werden. Insbesondere offene Umgebungen wie Internet-of-Things-Umgebungen, in denen Millionen vernetzter Geräte über Verbindungen miteinander kommunizieren, steigen die Sicherheitsrisiken beträchtlich und können vom klassischen Security-Operations-Center-Betrieb (SOC) kaum noch bewältigt werden.

Jamie Engesser, Vice President Product Management bei Hortonworks

„Im Durchschnitt dauert es neun bis zehn Monate, bis eine Sicherheitslücke gefunden und dann behoben werden kann. In der Zwischenzeit fallen Unmengen an Daten an, die solange gespeichert und letztendlich auch verarbeitet werden müssen“, kommentiert Jamie Engesser, Vice President Product Management bei Hortonworks, die Situation bei vielen Unternehmen.

Vereinheitlichter Datenblick

An dieser Stelle soll Apache Metron ansetzen, das mit Cisco Systems entwickelt wurde und das derzeit als Incubator-Projekt von Hortonworks bei der Apache Software Foundation läuft. Es bedient sich der Fähigkeiten von Hadoop für die statischen Aufgaben der forensischen Analyse, um große Datenmengen schneller verarbeiten zu können.

So soll ein zentral organisiertes Tool zur mit einer ganzheitlichen Übersicht zur Analyse von Sicherheitsaspekten entstehen, in dem viele gängige Sicherheitsroutinen und Arbeitsschritte wie Logdaten-Aggregation und Full Packet Capture Indexing automatisiert sind. Metron sammelt zudem Informationen wie Geolokation und Telemetrie, die einen zusätzlichen Kontext für das „Wer“ und „Wo“ eines Angriffes liefern können.

Gleichzeitig ermöglicht die Integration mit dem Hadoop-Stack und die Anbindung an Tools wie dem Message Broker Apache Kafka, diese angehäuften Informationen nach Data-Mining-Kriterien zu analysieren, um weitere Erkenntnisse für die Sicherheit des Systems zu erhalten. Auf diese Weise soll das SOC-Team einen umfassenderen Überblick von der Warte eines Data Scientists erhalten. So sollen auch komplexere Risiken, sogenannte Advanced Persistent Threats (APT), entdeckt und aktiv angegangen werden, die bei großen Konzernen bei einem Hackangriff Schäden im mehrstelligen Millionen-Bereich erzeugen können.

Datengesteuerte Sicherheit in Echtzeit

Je mehr Daten verfügbar sind, desto größer ist wiederum auch das Potenzial, Gefahren schon während ihrer Entstehung entdecken und ausschalten zu können. Das Ziel ist hierbei, die Methodik von den statischen Batches herkömmlicher Sicherheitsroutinen hin zu einem auf dem aktuell im Hintergrund analysierten Datenstrom bestehenden Echtzeitschutz zu verwandeln.

„Im Cybersecurity-Umfeld heißt das Stichwort ,Echtzeit‘, vor allem was die Erkennung von Bedrohungen angeht. Es hilft mir nicht, ein analytisches Modell vom Speicherstand des Vortages laufen zu lassen und zu erfahren, dass wir gestern ein Problem hatten – ich brauche diese Information am besten sofort, damit wir sie beseitigen können“, erläutert Engesser.

Hierfür werden die erwähnten zusätzlichen Datenströme wie Telemetrie oder Geodaten relevant, mit deren Hilfe ein vollständigeres Bild erzeugt wird. Dieser Prozess wird Data Enrichment (Datenanreicherung) genannt und kann in Echtzeit durch Verschränkungen mit Apache Kafka und dem Streamprocessing-Framework Apache Storm stattfinden. Die Daten werden also nicht erst gespeichert und gelagert, sondern direkt bei ihrer Entstehung in den Analyseprozess überführt.

George Vetticaden, Vice President Product Management/Emerging Products bei Hortonworks

„Anreicherung und Kontextualisierung von rohen Daten sind der Schlüssel für ausgereifte Modelle, mit denen der Echtzeit-Einsatz so vielseitig und wertvoll wird. Dabei kann dieser Prozess aus verschiedenen Quellen gespeist werden, beispielsweise Deep-Packet-Inspection-(DPI)-Metadaten oder Summarized-PCAP-Daten (Packet Capture)“, ergänzt George Vetticaden, der als Vice President Product Management/Emerging Products bei Hortonworks hauptsächlich an der Architektur und Weiterentwicklung von Apache Metron arbeitet.

Mit Kafka und Storm werden die Daten dann in Metron durch verschiedene Instanzen gefiltert, bearbeitet sowie dokumentiert und in der vereinheitlichten Benutzeroberfläche für die IT-Sicherheit eines Unternehmens transparent dargestellt. Wird Hortonworks DataFlow verwendet, auch zusätzlich über eine Apache NiFi-Anbindung. Auf der Basis der so aufbereiteten Informationen sollen sich wesentlich komplexere und intelligentere Modelle zu Gefahrenanalyse erstellen lassen.

Maschinelles Lernen in der Community

Hochentwickelte Modelle sind einer der großen Vorteile, den Apache Metron gegenüber traditionellen Sicherheitsprogrammen haben soll. Deren regelbasierte Heuristik produziere je nach Einstellungen aber entweder viele Fehlalarme oder schlage bei ausgeklügelten Cyberattacken wie APTs oft gar nicht oder erst zu spät an.

Bessere Modelle entfalten aber nur dann ihr Potenzial, wenn sie permanent überarbeitet und verbessert werden. Hortonworks bedient sich hierbei der Vorteile von maschinellen Lernroutinen, da spezielle Algorithmen Millionen von Netzwerkzugriffen gleichzeitig überwachen und analysieren können. Über eine Integration mit Apache Spark kann Metron um Programme für maschinelles Lernen wie H2O oder Tensorflow erweitert werden, die den Lernprozess drastisch beschleunigen sollen.

Metron soll dabei auch die Verhaltensweisen und täglichen Routinen seiner Nutzer erlernen. Dementsprechend wird das Programm aufmerksam, wenn jemand unerwartet agiert: greift etwa ein User plötzlich aus einem anderen Land auf Datenbanken von Servern zu, mit denen er noch nie verbunden war und will diese auf einen ungesicherten Server verschieben, setzt dieses Verhalten eine Reihe von Alarmmeldungen in Gang.

Informationsaustausch erhöht den Schutz vor Angriffen

Hortonworks setzt bei Metron zudem auf die Community, dass also verschiedene Unternehmen in ihren Sicherheitsbestrebungen zusammenarbeiten. Durch diesen Informationsaustausch lernen auch die Modelle neue Szenarien voneinander, ähnlich wie ein Immunsystem, was den Schutz vor Angriffen weiter erhöhen soll. Zudem können aufgrund der Architektur und der starken Integration in das Open-Source Framework zukünftig neue Applikationen hinzugefügt werden, die mehr Feeds oder zusätzliche Sicherheitsroutinen beinhalten.

„Metron ist weniger ein Programm als eine Cybersecurity-Plattform, die stetig mit dem Unternehmen wächst und dabei schnellere Response-Zeiten auf Angriffe erlaubt. Daher ist die Community so wichtig, denn die Firmen stehen nicht mehr als einzelne Opfer gegen Hackerangriffe, sondern bilden eine gemeinsame Front“, schließt Vetticaden.

Das Grundpotenzial scheint also vorhanden zu sein. Hortonworks und erste Kunden wie der Finanzdienstleister Capital One sehen Apache Metron derzeit als mögliche Antwort auf viele Fragen der IT-Sicherheit von Big Data. Was davon langfristig als Mehrwert für durchschnittliche Unternehmen übrigbleibt, wird sich mit zunehmender Reife und Weiterentwicklung zeigen.

(ID:44208889)