Daten in Bewegung “Big Data as a Service” gehört die Zukunft - nur wie sieht die aus?

Um in der heutigen Welt konkurrieren und gewinnen zu können, gilt es alles jederzeit zu optimieren. Dazu gehören auch Software-Architekturen, die immer mehr Kernprozesse und -aspekte des Business tragen. Denn die Kundenerwartungen wurden und werden von „Digital Natives” gesetzt – Unternehmen, die von Grund auf auf modernen Plattformen aufbauen. Skalierung? Kein Problem!

Gesponsert von

Confluent Germany GmbH

Die Erwartungshaltung an digitale Kundenerlebnisse und vollständig integrierte Echtzeitabläufe passt nicht mit Daten- und Infrastruktur-Silos zusammen. Daten müssen über das komplette Unternehmen hinweg kontinuierlich gesammelt, verarbeitet und in Applikationen reaktiv genutzt werden.

Für Unternehmen geht es dabei nicht nur um Automatisierung, sondern um eine ganzheitliche Neuausrichtung des Geschäfts. Das bedeutet: Während im Frontend nachhaltige digitale Kundenerlebnisse geschaffen werden, muss das Backend hochentwickelte, software-gesteuerte Abläufe in Echtzeit umsetzen können.

Endlich Echtzeit?

Wir können uns also darauf einigen, dass Kundenerfahrungen am Frontend und die Backend-Abläufe eines Unternehmens Aktivitäten sind, die permanent und in Echtzeit stattfinden. Das aktuelle Paradigma für die Dateninfrastruktur unterstützt jedoch keinen kontinuierlichen Echtzeit-Datenfluss. Das Geschäft ist Echtzeit – unsere Daten sind es nicht.

Ein gutes Beispiel hierfür ist das Telefonat mit der Taxizentrale versus der Live-Verfolgung des Taxis per App. Wir erwarten den genauen Standort des Taxis und eine Änderung der Ankunftszeit aufgrund einer roten Ampel in Echtzeit sehen zu können.

Im Zentrum der heutigen Datenverwaltung stehen nach wie vor Datenbanken. Aus dem Erbe der Datenspeicherung hervorgegangen, wurden sie entwickelt, um einer isolierten, UI-zentrierten Anwendung den Zugriff auf gespeicherte Daten als Reaktion auf menschliche Interaktion zu ermöglichen. Sie sind, kurz gesagt, eine Plattform, die für ruhende Daten entwickelt wurde.

Datenbanken bleiben eine wichtige Kategorie, reichen aber als alleinige Datenplattform in einem Unternehmen nicht mehr aus.

Moderne Datenplattformen sowie die Systeme, die den Geschäftsbetrieb ausführen und Kundenerlebnisse liefern, müssen integriert sein und Daten in Echtzeit verarbeiten können. Sie müssen die Infrastruktursilos überwinden und kontinuierlich auf ein sich ständig weiterentwickelndes Geschäft reagieren, antworten und sich anpassen, sobald eine Änderung oder eine Interaktion eintritt. Unternehmen benötigen somit eine Dateninfrastruktur, die das Sammeln eines kontinuierlichen Datenstroms aus dem gesamten Unternehmen unterstützt und Anwendungen erstellt, die diesen Datenstrom in Echtzeit verarbeiten.

Dies ist ein grundlegender Paradigmenwechsel und trifft den Kern dessen, wie wir über Daten denken. “Data in Motion” ist nicht nur eine fehlende Funktion in Datenbanken, sondern ein grundlegendes Umdenken in der Informatik, die Datensystemen zugrunde liegt.

Apache Kafka® als skalierbares Fundament für “Data in Motion”

Als Standard für die Handhabung von “Data in Motion” hat sich in den letzten Jahren Apache Kafka etabliert. Über 80% der Fortune 100 setzen auf die Event-Streaming-Plattform, die bei LinkedIn erfunden wurde und seitdem einen Siegeszug durch die Architekturen von eingesessenen Unternehmen und Digital Natives macht.

Einer der Hauptgründe, warum Apache Kafka zum De-facto-Standard für so viele verschiedene Anwendungsfälle wurde, ist die Kombination aus vier leistungsstarken Konzepten:

• Publish & Subscribe auf Event-Streams, ähnlich wie bei einem auf Message Queues basierenden Enterprise-Messaging-System

• Speichern von Event-Streams in einem fehlertoleranten und persistenten Speicher, solange die Daten benötigt werden (Stunden, Tage, Monate, dauerhaft)

• Kontinuierliches Verarbeiten, Korrelieren und Aggregieren von Ereignisströmen in Echtzeit

• Integration von verschiedenen Daten-Quellen und -Senken (egal ob die Schnittstelle Echtzeit, Batch oder Request-Response Kommunikationsparadigmen anbietet)

Kafka in der Cloud?

Der Aufstieg von “Data in Motion” ist ein weltweites Phänomen, das sich auf jede Branche, jede Region und jede Art von Unternehmen auswirkt. Es war nur eine Frage der Zeit, bis auch dieses Paradigma den Weg in die Cloud findet. In vielen der größten Tech-Giganten verarbeiten deren Data-in-Motion-Plattformen jeden Tag Petabytes an Daten, die permanent in Bewegung sind. Dabei wird jeder Teil eines riesigen digitalen Unternehmens verbunden und alle Aktivitäten des Unternehmens werden über Streams erfasst und verarbeitet.

Dieses Paradigma hat sich jedoch weit über die reinen Tech-Unternehmen hinaus verbreitet und wird mittlerweile von über 80 % der Fortune-100-Unternehmen eingesetzt.

Ein paar Beispiele:

Use Cases in Branchen

• Einzelhändler nutzen "Data in Motion", um ihre stationären Geschäfte mit E-Commerce-Systemen in Echtzeit zu vereinen und so ein einheitliches Kundenerlebnis zu schaffen. Mit Echtzeit-Bestandsmanagement können Einzelhändler sicherstellen, dass Kunden nie einen Artikel online kaufen, nur um später festzustellen, dass er nicht mehr vorrätig ist, wenn sie ihn abholen wollen.

• Ride-Sharing-Unternehmen schaffen ein mobiles Echtzeit-Erlebnis mit sofortigem Fahrer-Fahrgast-Matching, dynamischer Preisgestaltung und in Echtzeit aktualisierter Fahrer-Ankunftszeit.

• Banken nutzen “Data in Motion”, um Kreditkartenbetrug zu erkennen und zu verhindern: Statt Überprüfung der Transaktionen über Nacht werden Echtzeit-Warnungen über Smartphones ausgespielt.

• Telefonanbieter können von periodischen Inspektionen zu einer vorausschauenden Überwachung in Echtzeit übergehen.

Technische Use Cases & Unterstützung von Technologietrends

• Unterstützung der Cloud-Einführung, indem eine Data-in-Motion-Plattform als Echtzeit-Synchronisation zwischen älteren Teilen eines Unternehmens, die in On-Prem-Rechenzentren betrieben werden, und modernen Cloud-Umgebungen fungiert.

• Erschließung von Datenquellen im ganzen Unternehmen, um Machine-Learning-Anwendungen zu speisen und komplexe Trainings- und Produktionsabläufe zu realisieren.

• Backbone für Echtzeit-Datenströme, die von Sensoren, mobilen Geräten, aus der Fertigung und aus Fahrzeugen stammen.

Warum werden nun immer mehr dieser Use Cases im Rahmen des cloud-nativen und voll gemanagten Kafka-Services von Confluent umgesetzt?

Der Wert von Apache Kafka und Echtzeitdaten für Unternehmen steht außer Frage. Leider sind die Kosten der Selbstverwaltung sehr oft zu kostspielig, wenn man Faktoren wie Skalierung, Verwaltung, Support, Sicherung oder die Erstellung von Konnektoren addiert. Ressourcen in Unternehmen sind knapp: Dies betrifft sowohl die besten Teammitglieder als auch das Budget. Diese Ressourcen sollen nicht durch die tägliche Verwaltung von Kafka gebunden sein, sondern Projekten, die einen Wettbewerbsvorteil liefern oder eine Geschäftsdifferenzierung schaffen, vollumfänglich zur Verfügung stehen.

Viele Unternehmen stellen daher auf einen vollständig gemanagten cloud-nativen Kafka-Service um.

Was sollte er also können, der cloud-native Daten-Streaming-Service?

Elastische Skalierbarkeit

Kafka-Cluster können je nach Bedarf serverlos, auto-balanced bereitgestellt werden und elastisch zwischen 0-100 MBps skalieren oder sich mit wenigen Klicks auf GBps+ skalieren lassen. Diese sofortige Elastizität bedeutet, dass in alle Richtungen skaliert werden kann, um entweder einen unerwarteten Bedarf zu decken oder um die Kosten unter Kontrolle zu behalten. Bezahlt wird für das, was benötigt wird, und zwar dann, wann es benötigt wird – nicht mehr und nicht weniger.

Zugriff, aber bitte global

Studien haben gezeigt, dass 80 Prozent der Unternehmen mehr als einen Cloud Service Provider nutzen. Wenn die Kafka-Implementierung nur auf einem von diesen funktioniert, beschränkt das natürlich die Handlungsfähigkeit – vor allem im Bereich der Datennutzung. Confluent erlaubt eine Verknüpfung der Kafka-Cluster, die sich in Echtzeit synchronisieren, sodass Events überall verfügbar sind – über mehrere Public oder Private Clouds hinweg.

Unbegrenzter Speicher

Datenmengen können unbegrenzt in Kafka-Clustern gespeichert werden, ohne dass im Voraus Kapazitäten geplant oder bereitgestellt werden müssen. Kafka wird zu einem “System of Record”, so dass aus Echtzeit-Events alles herausgeholt werden kann. Weiterer positiver Nebeneffekt: Es müssen keine Ressourcen abgezogen werden, um Ausfallzeiten aufgrund von Ausfällen des Festplattenspeichers abzufangen.

Eine komplette Event-Streaming-Plattform

Confluent macht mehr als nur Kafka zu verwalten. Unternehmen erhalten eine komplette Plattform, die auf Kafka aufbaut, damit Projekte schnell umgesetzt werden können. Dies beinhaltet sofort einsatzbereite Konnektoren für die beliebtesten Datenquellen und -senken im Kafka-Ökosystem, eine Schema Registry zur Gewährleistung der Datenintegrität, eine Event-Streaming-Datenbank mit ksqlDB und vieles mehr – alles vollständig verwaltet in ein und derselben Cloud-UI (Abb. 3).

Unternehmen sind immer in Bewegung – ein zentrales Nervensystem kann mithalten

“Data in Motion” steht für die Hälfte des Datenmanagement-Problems, die bisher weitgehend ignoriert worden ist.

Aber: Dieses Paradigma hat das Potenzial, unser Denken und unsere Nutzung von Daten in ähnlichem Maße zu verändern, wie die Cloud unser Denken und unsere Nutzung von Hardware-Infrastrukturen verändert hat. Man nimmt etwas, das statisch war, und verwandelt es in etwas, das dynamisch und allgegenwärtig ist.

Diese Fähigkeit zu nutzen und eine zentrale Integrationsschicht aufzubauen, welche die Systeme und Anwendungen des Unternehmens zu einem kohärenten Ganzen zusammenfügt, wird für die nächste Generation von Unternehmen entscheidend sein. Die Data-in-Motion-Plattform übernimmt die Rolle eines zentralen Nervensystems für Daten und trägt den Strom der Impulse dessen, was geschieht, durch alle Teile des Unternehmens. So kann überall auf diese Echtzeitströme reagiert, geantwortet oder diese verarbeitet werden. Verschiedenen Anwendungen und Software-Services werden so koordiniert, dass sie kontinuierlich und intelligent reagieren, wenn sich das Unternehmen weiterentwickelt.

Die Fähigkeit, Daten in Bewegung zu denken und nutzen zu können, ist kein entscheidender Wettbewerbsvorteil der Zukunft, sondern der Gegenwart. Die cloud-native Umsetzung dieses Paradigmas versetzt Unternehmen direkt in die Lage, diese Gegenwart zeitgemäß zu gestalten.

Unternehmen wie BOSCH, Ricardo, Baader, NORD/LB, Deutsche Bahn oder BMW setzen bereits erfolgreich auf “Data in Motion” und schaffen Mehrwert in Echtzeit.

Confluent Cloud kann kostenlos getestet werden: https://www.confluent.de/confluent-cloud/

(ID:47560670)