20200122-PNG-confluent_logo-denim.png ()

Confluent Germany GmbH

https://www.confluent.de/

05.03.2023

Ein Zeitreise: Vom Verschieben von Kafka in die Cloud bis hin zur Entwicklung einer 10-mal effizienteren Kafka-Lösung

Die Leute stellen sich oft vor, dass die Bereitstellung eines Cloud-Servuces für eine Open-Source-Software einfach darin besteht, den Open-Source-Code zu verpacken und ihn in Kubernetes zu integrieren. Als wir mit dem Aufbau von Confluent Cloud begannen, wussten wir, dass ein echtes Cloud-natives Angebot von Apache Kafka® als Service viel, viel mehr sein würde als das. Ein Rück- und Ausblick von Jay Kreps, CEO von Confluent.

Die Realität ist, dass der Wert eines guten Cloud-Services nicht darin besteht, die Software auf einigen AWS-Instanzen zu starten, sondern darin, eine Kernfunktion als echten elastischen Service bereitzustellen. Das mag ähnlich klingen, ist aber eigentlich viel mehr. Es geht darum, Finktionalitäten, die empfindlich, knapp und eingeschränkt sind, so zu nutzen, dass jedes Team so viel oder so wenig wie nötig und wann immer es will darauf zurückgreifen kann. Um dies zu erreichen, muss sich die zugrunde liegende Infrastruktur jedoch drastisch verändern.

Es ist leicht zu übersehen, dass ein echter Managed Service ein ganz anderes Problem darstellt, aber ich glaube, dass wir in der Branche langsam ein Gefühl dafür bekommen. Zum Vergleich: Teradata und Snowflake sehen auf den ersten Blick ziemlich ähnlich aus - schließlich bieten beide eine SQL-Schnittstelle für Datenanalysen. Wie sie jedoch konzipiert sind, wie sie betrieben werden, wie sie genutzt werden können und vor allem, wie sie einen Mehrwert liefern, unterscheidet sich der Aufbau und der Betrieb eines Managed Service erheblich.

Eine ähnliche Dynamik gibt es im Bereich Streaming. Kafka ist so konzipiert, dass der Einstieg leicht ist und ein einigermaßen qualifiziertes Team es leicht verwalten kann. Es bietet einen Cluster und muss in einer Vielzahl von Umgebungen, in denen es installiert und betrieben werden kann, gut genug funktionieren.

Als wir Confluent Cloud aufbauten, wussten wir, dass wir vor einer Monster-Aufgabe stehen. Die Lösung sollte Zehntausende von Clustern bereitstellen, massiv mandantenfähig sein, hochoptimiert in einer begrenzten, aber stark optimierten Anzahl von Cloud-Umgebungen laufen, elastisch skalieren, automatische Selbstschutz-Limits für jede Aktivität haben und für hochautomatisierte datengesteuerte Operationen ausgelegt sein. In der Praxis verändert dies praktisch jede Schicht im Stack: wie Daten über das Netzwerk geleitet werden, wie Anfragen verarbeitet werden, wie Daten gespeichert werden, wo sie platziert werden und wann sie verschoben werden, und wie all dies in großem Maßstab kontrolliert und beobachtet wird. Das ist so ziemlich auch der Unterschied zwischen Teradata und Snowflake.


Confluent Cloud bietet unbegrenzten Speicherplatz, automatische Skalierbarkeit und ermöglicht eine beschleunigte Entwicklung.


Confluent Cloud bietet nach wie vor das Protokoll von Apache Kafka und ist zu 100 % mit dem Open-Source-Ökosystem kompatibel, aber da es für die Cloud entwickelt wurde, können wir einen wesentlich besseren Service anbieten. In vielerlei Hinsicht ist Confluent Cloud jetzt 10x besser als selbstverwaltetes Open-Source-Kafka oder halbverwaltete Services, die Kafka nur auf einigen Servern installieren.

Es war und es ist eine lange Reise. Unsere erste Version von Confluent Cloud war ziemlich weit von 10x Kafka entfernt. Es war gerade so 1x Kafka! Wir haben Kafka gemanaged, aber nicht viel mehr. Aber in den letzten fünf Jahren haben wir mehr als 3 Millionen Entwicklerstunden in die Verbesserung dieses Services gesteckt.

Was bedeutet das für Unternehmen? Nun, es hat uns geholfen, ein Angebot zu schaffen, das unserer Meinung nach in drei Dimensionen unübertroffen ist:

  • Cloud-Nativ: Apache Kafka® ist vollständig verwaltet und mit neuer Architektur ausgestattet – so können die Vorteile der Cloud voll ausgeschöpft werden. Es werden nur die tatsächlich genutzten Funktionen in Rechnung gestellt.


  • Umfassend: Zusätzlich zu Apache Kafka bietet Confluent eine Reihe an grundlegenden Funktionen zur Nutzung einer umfassenden Streaming-Plattform.


  • Überall: Unternehmensdaten in Echtzeit mit einer Plattform verbinden, die lokale, Cloud- und Multi-Cloud-Umgebungen umfasst.


Confluent Cloud kann direkt kostenlos getestet werden!