Anpassbare Regeln für Datenintegrität und -kompatibilität Confluent rückt vertrauenswürdige Daten in den Fokus

Anbieter zum Thema

Confluent Germany GmbH

QUNIS GmbH

Fivetran Germany GmbH

Beim jüngsten Update für die Confluent Cloud steht insbesondere die Datenqualität im Mittelpunkt. Daten-Streaming-Experte Confluent liefert hierfür u. a. ein Tool für die Sicherstellung der Datenintegrität sowie eine Funktion für die sichere Weitergabe von Echtzeitdaten.

Die neuen Features für die Confluent Cloud sollen die Vertrauenswürdigkeit von Daten sicherstellen sowie deren einfache Verarbeitung und sichere Weitergabe ermöglichen. Data Quality Rules, eine Erweiterung der Stream-Governance-Suite, helfe Confluent-Kunden dabei, Probleme mit der Datenqualität zu lösen, sodass sie Daten als Grundlage für ihre geschäftskritischen Entscheidungen nutzen können. Custom Connectors, Stream Sharing, die Kora Engine und ein Early-Access-Programm für gemanagte Apache-Flink-Umgebungen gehören zu den weiteren Neuerungen.

Data Quality Rules für zuverlässigere Daten

Datenverträge sind formale Vereinbarungen zwischen Upstream- und Downstream-Komponenten, die die Struktur und Semantik der ausgetauschten Daten festschreiben. Die Durchsetzung der Datenverträge steht und fällt mit den Regeln und Richtlinien, die sicherstellen, dass die Daten hochwertig, brauchbar und robust gegenüber einer Weiterentwicklung der Schemadefinition sind.

Da die Datenverträge immer umfangreicher und detaillierter sein müssen, führt Confluent nun Data Quality Rules ein. Mit der neuen Komponente von Stream Governance sei es möglich, individuell anpassbare Regeln für Datenintegrität und -kompatibilität zu definieren. Im gesamten Unternehmen würden so vertrauenswürdige und hochwertige Datenströme entstehen. Durch die Einführung von Data Quality Rules könnten in Schema Registry abgelegte Schemadefinitionen nun durch verschiedene Arten von Regeln ergänzt werden. Die Vorteile seien:

• Sicherstellung einer hohen Datenintegrität, indem die Werte einzelner Felder innerhalb eines Datenstroms validiert und limitiert werden.

• Schnelle Behebung von Datenqualitätsproblemen durch anpassbare Maßnahmen für nicht regelkonforme Nachrichten.

• Einfache Schema-Entwicklung unter Verwendung von Migrationsregeln, um Nachrichten von einem Datenformat in ein anderes zu konvertieren.

Custom Connectors unterstützt Kafka-Konnektoren ohne Infrastrukturmanagement

Viele Unternehmen verfügen über individuelle Datenarchitekturen und müssen daher eigene Konnektoren entwickeln, um ihre proprietären Datensysteme und Anwendungen in Apache Kafka zu integrieren, sagt Confluent. Diese maßgeschneiderten Konnektoren müssten dann eigenständig gemanagt, d. h,. manuell bereitgestellt, aktualisiert und überwacht werden. Die Erweiterung des Confluent-Connector-Ökosystems durch Custom Connectors biete hier folgende Vorteile:

• Schnelle Anbindung an ein beliebiges Datensystem anhand der unternehmenseigenen Kafka-Connect-Plug-ins ohne Code-Anpassung.

• Hohe Verfügbarkeit und Performance durch Protokolle und Metriken zur Überwachung des Konnektorstatus.

• Kein Zusatzaufwand für die Bereitstellung und fortlaufende Verwaltung der zugrunde liegenden Konnektorinfrastruktur.

Die neuen Custom Connectors seien in ausgewählten Regionen auf AWS verfügbar. Die Unterstützung zusätzlicher Regionen und weiterer Cloud-Anbieter soll zu einem späteren Zeitpunkt folgen.

Stream Sharing vereinfacht die sichere Datenweitergabe

Wer in Bereichen wie Lagermanagement, Logistik oder Finanzdienstleistungen aktiv sei, müsse innerhalb seines Ökosystems fortlaufend Echtzeitdaten austauschen, um informierte Entscheidungen treffen, nahtlose Kundenerfahrungen bereitstellen und betriebliche Abläufe optimieren zu können. Viele Unternehmen seien auf Flat-File-Übertragungen oder Polling-Techniken mittels APIs angewiesen, was zu Verzögerungen bei der Datenzustellung, Sicherheitsrisiken und einer unnötig komplexen Integration führe. Confluent biete mit Stream Sharing nun eine Alternative, um Daten über Unternehmensgrenzen hinweg zu streamen, und zwar mit folgenden Vorteilen:

• Problemloser, verzögerungsfreier Austausch von Echtzeitdaten direkt zwischen Confluent und beliebigen Kafka-Clients.

• Sichere Weitergabe und zuverlässiger Schutz der Daten durch robustes, authentifiziertes Sharing, Zugriffsmanagement und abgestufte Verschlüsselungskontrollen.

• Gesicherte Qualität und Kompatibilität der geteilten Daten durch Anwendung konsistenter Schemata auf Nutzer, Teams und Unternehmen.

Zu den weiteren Neuerungen der Daten-Streaming-Plattform von Confluent zählen:

• Kora Engine für schnellere Dateneinblicke und mehr Leistung in Confluent Cloud: Seit 2018 habe Confluent mehr als fünf Millionen Entwicklungsstunden für die Entwicklung von Kora aufgewendet, einer Apache-Kafka-Engine für die Cloud. Highlights der Kora Engine seien Multi-Tenancy-Unterstützung und serverlose Code-Abstraktion, Entkopplung der Netzwerk-, Speicher- und Rechenebene, automatisierte Operationen sowie eine globale Verfügbarkeit. Für die Nutzer von Confluent Cloud bedeute dies eine 30-mal schnellere Skalierung, eine Datenspeicherung ohne Aufbewahrungslimits, einen zugesicherten Datenschutz von 99,99 Prozent und Workloads mit ultrakurzen Latenzzeiten.

• Early-Access-Programm für Apache Flink für frühzeitige Einblicke in kommende Stream-Processing-Funktionen: Als entscheidender Bestandteil der Daten-Streaming-Infrastruktur sei das Stream Processing für die Filterung, Verbindung und Aggregation von Daten in Echtzeit zuständig. Damit könnten nachgelagerte Anwendungen und Systeme unterstützt und sofortige Einblicke gewährt werden. Unternehmen nutzten das Stream Processing und die Entwickler-Communities von Apache Flink für großvolumige Datenströme mit hohem Durchsatz und geringer Latenz.

Nach der Immerok-Übernahme durch Confluent stehe das Early-Access-Programm für gemanagte Apache-Flink-Umgebungen nun auch ausgewählten Nutzern von Confluent Cloud offen. Indem sie im Rahmen des Serviceangebots mit den Produkt- und Engineering-Teams zusammenarbeiten, könnten diese Unternehmen an der Gestaltung der Produkt-Roadmap mitwirken.

(ID:49491692)