4 Gründe für Datenstromverarbeitung und Apache Flink Event Stream Processing im Jahr 2019

Im Zuge von Big Data werden riesige Mengen an Daten erzeugt, verarbeitet und gespeichert. Event Stream Processing erlaubt die Datenverarbeitung nahezu in Echtzeit und ohne klassische Stapelverarbeitung. Vier Gründe sprechen laut data Artisans für die Technik.

Firmen zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran

Als ursprünglichen Entwickler der quelloffenen „Stream Processing“-Technologie Apache Flink ist Till Rohrmann, Software Engineer und Co-Founder bei data Artisans, Experte für Datenstromverarbeitung. Die vier folgenden Punkte dürften seiner Ansicht nach im kommenden Jahr eine zentrale Rolle spielen.

1. Echtzeit-Datenverarbeitung: Die Verarbeitung von Daten mit möglichst geringer Latenz ist eine große Herausforderung. Event Stream Processing löst dieses Problem: eine schnelle Verarbeitung von Daten als Stream mit der Möglichkeit, komplexe Berechnungen und Analysen zu integrieren.

2. Konsequentes Wachstum: Im Jahr 2018 avancierte Apache Flink mit einer Steigerung der Akzeptanzrate um 125 Prozent im Vergleich zum Vorjahr zum am schnellsten wachsenden Open-Source-Projekt im Big-Data- und Hadoop-Ökosystem. Dies zeigt eine aktuelle Qubole-Umfrage.

3. Daten auf vielfältige Weise verarbeiten: Apache Flink bietet diverse Integrationen mit anderen Systemen, um Daten einzulesen. Bibliotheken und Programmierschnittstellen erlauben es, Daten angepasst an die Anwendungsdomäne zu verarbeiten. Besonderes Augenmerk sei hier laut Rohrmann auf die Unterstützung von SQL gelegt.

4. Apache Flink in Produktion: Große Produktionsanwendungen nutzen Apache Flink bereits für das Event Stream Processing. Anbieter wie Alibaba, Netflix, Lyft, Uber, DriveTribe und andere diskutieren im Internet offen über die Einführung von Flink.

„Ich kann Unternehmen, die im kommenden Jahr große Projekte in Sachen Real Time Big Data anvisieren, nur raten eine „Event Stream Processing“-Technologie wie Apache Flink fest einzuplanen“, fasst Till Rohrmann abschließend zusammen. Gemeinsam mit der Open-Source-Community werde man auch in Zukunft alles daran setzen, die Technologie noch weiter voranzubringen.

(ID:45655499)