Suchen

Einschätzung von Data Artisans Stream Processing befindet sich im Aufwind

| Autor / Redakteur: Martin Hensel / Nico Litzel

Der Spezialist für Echtzeit-Datenanwendungen Data Artisans sieht einen Trend zum verstärkten Einsatz von Stream Processing. Schon jetzt werden Geschäftsdaten wie Sensormessungen, Website-Klicks oder Datenbankänderungen häufig als kontinuierlicher Ereignisstrom erzeugt.

Firma zum Thema

Data Artisans sieht einen verstärkten Trend zum Stream Processing.
Data Artisans sieht einen verstärkten Trend zum Stream Processing.
(Bild: pixabay.com / pexels.com)

Speziell in boomenden Technologiebereichen wie Künstliche Intelligenz (KI), maschinelles Lernen, Echtzeit-Analytik und IoT sind leistungsstarke Systeme unerlässlich: Sie müssen Ereignisse in Echtzeit verarbeiten und Unternehmen damit in die Lage versetzen, ihre Wettbewerbsfähigkeit in Hinblick auf neue Chancen, Kundenanfragen und dynamische Marktbedingungen zu erhalten. Data Artisans weist zudem darauf hin, dass derzeit eine Verschiebung in der Akzeptanz der zugrundeliegenden Big-Data-Technologien stattfindet. So zeigt der „Big Data Trends and Challenges Survey Report“ von Qubole etwa, dass die native Hadoop-Batch-Verarbeitungsmaschine MapReduce einen Nutzungsrückgang verzeichnet, während das Open-Source-Datenverarbeitungs-Framework Apache Flink schnell wächst.

Wachsende Akzeptanz

Data Artisans führt diese Entwicklung auf die zunehmende Entwicklerfreundlichkeit der Stream-Processing-Plattformen zurück. So lassen sich Flink-Programme kompakt und containerbasiert gestaltet, was weniger Netzwerkverkehr und bessere Performance zur Folge hat. Als Beweis gilt die Zunahme der Kubernetes-Implementierungen im Vergleich zu YARN-Installationen. Die Entwicklung solcher operativen Anwendungen wird zunehmend von Produktteams geleitet, die Big Data im Fokus haben. Zudem führen Echtzeit-Datentechnologien schneller zu messbaren Geschäftsvorteilen als herkömmliche Batch-Verarbeitung und historische Analytik. Laut Data Artisans wird Flink häufig für sehr spezifische Anwendungsfälle statt Projekte mit offenem Ende genutzt. Der Business-ROI werde durch die Einführung von Live-Anwendungen im ersten Schritt schneller realisiert. Zudem bietet Apache Flink sowohl Stream- als auch Batch-Verarbeitung und deckt damit die Anforderungen vieler Anwendungen ab.

Stream-Verarbeitung entwickelt sich

Data Artisans stellt zudem fest, dass sich die Stream-Verarbeitung über schnelle Datenübertragung und einfache analytische Applikationen hinaus hin zu operativen und transaktionalen Anwendungen entwickelt. Große Unternehmen weltweit nutzen derartige Lösungen bereits zum Beispiel zur Anomalieerkennung in Cloud-Aktivitäten, das Modelltraining von Machine-Learning-Systemen oder die Performance- und Fehleranalyse in serviceorientierten Architekturen. Für Data Artisans ist die Umstellung auf Stream Processing unerlässlich, um moderne Echtzeitanwendungen zu unterstützen. Allerdings sei dazu die kulturelle Transformation von „datenzentrierten“ zu „ereignisorientierten“ Unternehmen nötig. Dies schließe auch Mitarbeiterschulungen und das Schließen von Qualifikationslücken mit ein, um für den Einsatz von Stream-Verarbeitung im Mittelpunkt des Firmen-Nervensystems gerüstet zu sein.

Artikelfiles und Artikellinks

(ID:45583334)