Nachbericht Confluent-Tagung „Data in Motion“ Daten in Bewegung setzen

Anbieter zum Thema

Confluent Germany GmbH

QUNIS GmbH

Fivetran Germany GmbH

Um die 150 Gäste kamen zur Confluent-Tagung „Data in Motion“ nach Frankfurt. Dort ging es vor allem um den Mehrwert der Streaming-Technologie im Unternehmens- und Organisationsalltag. Außerdem stellte sich der neue Vice President Sales CEMEA Roger Illing vor.

Bei der deutschen Confluent-Tagung „Data in Motion“ im Steigenberger Frankfurter Hof drehte sich alles um Apache Kafka und Confluent on-prem, in der Cloud, hybrid oder als Multi-Cloud-Implementierung.

Confluents neuer CEMEA-Vertriebsverantwortlicher Roger Illing hat sich vorgenommen, zunächst mit „den 200 größten Unternehmen in Deutschland persönlich ins Gespräch zu kommen“. Die Grenze setzt er hier bei „etwa zwei Milliarden Euro Umsatz“. Illing bringt reichlich IT- und Führungserfahrung mit, etwa von SAP, OpenText oder Alteryx. Kleinere Kunden bedienen weiter Partner. Davon hat Confluent in Deutschland etwa 20, beispielsweise den Integrator SVA.

Kompletter Kafka-Core

Confluents Kafka-Distribution setzt auf dem kompletten Kafka-Open-Source-Core auf – laut Illing ein Alleinstellungsmerkmal gegenüber anderen Kafka-Plattformen. Immerhin hat Confluent-Gründer und CEO Jay Kreps Apache Kafka mitentwickelt. Confluent bettet den Open-Source-Core in Enterprise-Funktionen wie Sicherheit oder Governance ein.

Kafka dient als zentrales Data-Streaming-System und als Ersatz für veraltete ETL- oder Messaging-Tools. Ein kurzer Einblick in die grundsätzliche Funktionsweise: In Kafka laufen ständig Event-Daten von allen Seiten ein. Sie werden dann in der zeitlichen Reihenfolge ihres Eintreffens in sogenannte Topics, also thematisch sortierte Datencontainer, eingebracht. Diese Topics abonnieren die an den entsprechenden Themen oder Event-Daten interessierten Kunden, worauf sie automatisch mit den jeweils aktuellen Daten im gewünschten Zeittakt oder in Near-Echtzeit beliefert werden.

Zusatzsoftware kann den Funktionsbereich erweitern: Durch den Aufsatz kSQL etwa ist es möglich, Streaming-Daten wie SQL-Datenbanken mit der entsprechenden Syntax zu durchsuchen. Streaming-Plattformen auf Kafka-Basis, unter denen Confluent derzeit nach eigenen Angaben führend ist, sollen traditionelle Datensilo-Architekturen, aber auch Data Lakes und Data Warehouses ersetzen oder ergänzen. Wichtig ist das, wo Event-Daten möglichst zeitnah gebraucht, mehrfach genutzt und gegebenenfalls durch andere Datenquellen ergänzt werden sollen.

Confluents Field CTO Kai Wähner gab einen Einblick in potenzielle Anwendungsgebiete:

• Im Transportsektor die Kalkulation von Ankunftszeiten, das Matching von Fahrer und Mitfahrer (laut Wähner nutzen die meisten Uber-ähnlichen Dienste Kafka) oder die vorbeugende Wartung von Fahrzeugen.

• Im Banking Sofortbezahldienste, Betrugsdetektion, mobiles Banking oder die Verbesserung der Kundenerfahrung.

• Im Einzelhandel Echtzeit-Werbung, Personalisierungen oder kundenspezifisches Pricing.

Wie sieht nun der Unternehmenseinsatz von Confluent Cloud konkret aus? Dafür gab es in Frankfurt einige Beispiele. Entscheidend für die Kunden sei, so Wähner, in jedem Fall die individuelle Wertschöpfung. CEMEA-Vertriebschef Illing: „Wir haben in Europa drei Value Engineers, die mit den Kunden konkrete Business Cases durchrechnen.“

Onboarding bei der Allianz

Dr. Annegret Junker, Allianz, gab einen Einblick in die Konstruktion von Kafka-Mikroservice-Architekturen beim Versicherer. Sie wählte als Beispiel das Onboarding von Neukunden. Bei der Kafka-basierenden Neukonstruktion des Prozesses, der vorher durch eng gekoppelte Systeme realisiert wurde, betrieb man zunächst Recherche vor Ort: Wie läuft konkret der Geschäftsprozess ab? Wer ist wie involviert? Das Ergebnis ist ein visualisiertes Domain Storytelling mit allen beteiligten Akteuren, Daten und Handlungen. Diese Darstellung wird dann stärker formalisiert und programmiertechnisch in autonome Microservices umgesetzt, die sich gegenseitig aufrufen, ohne starr aneinander gebunden zu sein. Wo der Prozess Domaingrenzen überschreitet, müssen APIs entwickelt werden.

Für die Kafka-Architektur wurden bei der Allianz zudem eingebundene Legacy-Systeme mit einer speziellen Softwareschicht gepuffert, die die Schnittstelle zum Rest der Confluent-Umgebung enthält. So lässt sich diese Legacy-Umgebung verändern, ohne gleich das ganze System zu beeinträchtigen. Lediglich die zusätzliche Softwareschicht ist gegebenenfalls betroffen. Junker: „So kann man die Legacy-Bestandteile Schritt für Schritt von innen aushöhlen.“

Mercedes-Benz verbessert das Produktdatenmanagement

Beim Autobauer Mercedes-Benz begann man im 3. Quartal 2018 damit, Kafka und Confluent zu implementieren. Die ersten Systeme gingen im 1. Quartal 2020 in den Produktivbetrieb. Heute sind bereichsübergreifend mehr als 70 Use Cases im Einsatz. Dazu gehören auch hybride, bei denen ein Teil der Confluent-Lösung on Premises, ein anderer in der Cloud läuft.

Die entstandene Plattform ist vollständig gemanagt, Multi-Tenant-fähig und besitzt mehrere Namespaces mit jeweils spezifischen Rechten und Rollen. Selbst hinzuprogrammiert hat Mercedes-Benz Customer Connector Logs, eine automatische Selbstbedienung, ein Modul für die Kommunikation mit den vorhandenen Data Lakes für die einfache Integration von Event-Daten und Deployment-Pipelines. Dabei wurde die Sicherheit des Data Lakes durch eine Vault-Lösung von Hashicorp sichergestellt.

Von der Plattform profitiert beispielsweise das Produktdatenmanagement. Henrik Berner, mehrjähriger Projektleiter der Kafka-Implementierung, berichtet: „Unser System für die Materialliste hatte vier Batch-Prozesse mit unterschiedlichen Formaten und Laufzeiten. Heute werden die Daten im Stream und dadurch nahezu in Echtzeit geliefert.“ Das spare sehr viel Zeit. Eine weitere Anwendung ist eine 360-Grad-Sicht auf Kunden, die eine entsprechende Einwilligung zur Datenverarbeitung geben.

Siemens verabschiedet sich von Produktdaten-Batchläufen

Siemens verbesserte mittels Confluent und Kafka das Management der Produkt-Masterdaten. Ein entsprechendes Projekt läuft seit drei Jahren. Hauptdatenproduzent ist in diesem Fall ein komplexes SAP-System. Konsumenten sind beispielsweise die regionalen Sales-Systeme. Die Verkaufsniederlassungen erhalten schon länger einen eCatalog, der natürlich stets aktuell sein soll.

Bis zur Einführung der Confluent-Lösung kam es hier bei Veränderungen der Produktstammdaten zu teils wochenlangem Zeitversatz und entsprechend vielen Nachfragen. Inzwischen wurde mithilfe von Kafka unter anderem eine Lösung für On-demand-Datenlieferung implementiert. Als weiterer Use Case ist die Nachverfolgung von Bestellungen geplant.

GLS ersetzt Softwaremonolithen

Der Paketdienstleister GLS betrieb für die digitale Abwicklung von Aufträgen seiner weltweit 250.000 Unternehmenskunden unter anderem zwei Software-Monolithen: einen Data-Hub und ein Replikationssystem eines Drittherstellers. Sie sollen nun schrittweise „in Scheiben geschnitten werden“, so Dirk Bönning, Senior Manager Customer Solutions. Insbesondere das Datenreplikationssystem machte Probleme: Es gab bei mehr als 1.000 angebundenen Kunden den Geist auf.

An seine Stelle ist inzwischen die Datenreplikation durch Kafka mittels Change Data Capture getreten. Dabei löst eine Datenbankveränderung ein Kafka-Event aus, das dann in die Streaming-Umgebung eingebracht wird. Die neue Lösung soll bis zu 10.000 Kunden-Anbindungen tragen können. 2.000 sind schon installiert.

Damit noch viele solche Anwendungen und Kunden dazukommen, will Confluents CEMEA-Chef Illing 2023 den Personalbestand in Deutschland von derzeit 60 auf 80 weiter aufstocken. Denn in Streaming-Lösungen können, richtig eingesetzt, immense Zeit- und Kostenersparnisse stecken.

(ID:48689099)