Bis zu 16-mal schneller

Apache Storm erreicht Version 1.0

| Autor / Redakteur: Thomas Drilling / Nico Litzel

Storm 1.0 verspricht große Fortschritte bei der Usability und bei der Performance. So soll Version 1.0 beispielsweise bis zu 16-mal schneller sein als der Vorgänger und zudem die Latenz um bis zu 60 Prozent verringern.
Storm 1.0 verspricht große Fortschritte bei der Usability und bei der Performance. So soll Version 1.0 beispielsweise bis zu 16-mal schneller sein als der Vorgänger und zudem die Latenz um bis zu 60 Prozent verringern. (Bild: The Apache Software Foundation/T. Drilling)

Storm, das Apache-Projekt zur Echtzeitverarbeitung von Streaming-Daten, hat die symbolträchtige Version 1.0 erreicht. Die jüngste Version eines der ersten Hadoop-unabhängigen Big-Data-Frameworks, das auf YARN portiert wurde, verspricht neben vielen Neuerungen auch eine diesem Release-Stand angemessene Stabilität.

Apache Storm ist ein verteiltes Datenverarbeitungssystem, das initial von den BlackType Labs entwickelt und mit der späteren Übernahme durch Twitter unter eine Open-Source-Lizenz gestellt wurde. Seit 2014 ist Storm ein Top-Level-Projekt der Apache Software Foundation und steht unter einer Apache-Lizenz.

Storm kann sowohl Stream-Abfragen als auch kontinuierliche Berechnungen sowie Remote Procedure Calls (RPC) und ETL-Funktionen (Extract, Transform, Load) ausführen. Storm ist dabei sehr flexibel und lässt sich mit nahezu jeder Programmiersprache und jeder Datenbanktechnik verwenden.

Neuerungen unter der Lupe

Die Neuerungen in Storm 1.0 versprechen große Fortschritte bei der Usability und der Performance. So soll Version 1.0 beispielsweise bis zu 16-mal schneller sein als der Vorgänger und zudem die Latenz um bis zu 60 Prozent verringern. Sogar wenn man berücksichtigt, dass viele externe Faktoren und das Einsatzszenario selbst das Verhalten der Topologie wesentlich mitbestimmen, sollen die Performance-Verbesserungen im Schnitt den Faktor 3 erzielen.

Pacemaker Heartbeat Server

Nach Ansicht der Entwickler stößt ZooKeeper bei hochskalierenden Storm-Architekturen mit hohem Schreibvolumen mittlerweile an Grenzen, was sich auf die Netzwerkverbindung zwischen den Clustern auswirke. Apache ZooKeeper ist ein Open Source API (Application Programming Interface), welche das Synchronisieren verteilter Prozesse in großen Systemen sicherstellt, sodass sämtliche anfragenden Clients immer konsistente Daten bekommen. Bei der neuen Version löst daher Pacemaker ZooKeeper ab, der als einfacher In-Memory Key-/Value-Store zwar ähnlich wie ZooKeeper funktioniert, aber eine deutlich bessere Leistung bietet.

Cache API

Neu ist auch das verteilte Cache API, welches ein Teilen von BLOBs (Binary Large Objects) über die Topologien ermöglicht. Dabei lassen sich Dateien im verteilten Cache jederzeit mithilfe der Kommandozeile aktualisieren, ohne dass dazu die Topologie neu installiert werden muss. Das verteilte Cache API erlaubt Dateien mit einer Größe von wenigen Kilo- bis zu mehreren Gigabyte und unterstützt Komprimierungsformate, wie ZIP oder GZIP. Genau genommen gibt es sogar zwei verschiedene Cache APIs, je eines für das lokale Dateisystem auf Supervisor-Knoten und eines für HDFS, wobei beide Access Control Lists unterstützen.

Weitere Neuerungen

Ferner haben die Entwickler HA Nimbus implementiert, um die Verfügbarkeit von Topologie-Ressourcen bei einem Knotenausfall zu gewährleisten. (High Availability) Nimbus nutzt das verteilte Cache API für die Replizierung. Darüber hinaus bietet Version 1.0 ein natives Streaming Window API, ein Stateful Bolt API, einen automatischen Rückstaumechnismus, dynamische Log Level sowie eine Log-Suchfunktion. Ferner gibt es jetzt ein neues Steuerprogramm zum Einrichten der von einzelnen Topologie-Komponenten benötigter Speicher- und CPU-Ressourcen.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44006244 / Infrastruktur)