Data Artisans Streaming Ledger Serialisierbare ACID-Transaktionen direkt auf Streaming-Daten und ohne Datenbank

Data Artisans, gegründet von den Initiatoren des „Apache Flink“- Projekts, hat heute auf der Flink Forward Berlin eine bereits zum Patent angemeldete Technologie vorgestellt. Diese erweitert die Bandbreite der Stream-Verarbeitung mit schnellen, serialisierbaren ACID-Transaktionen (Atomicity, Consistency, Isolation, Durability) direkt auf Streaming-Daten.

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Mit der Einführung von „Data Artisans Streaming Ledger“ hebt Data Artisans eine langjährige Einschränkung der bestehenden Stream-Processing-Techniken auf. Mit serialisierbaren Transaktionen über mehrere Tabellen, Zeilen und Streams hinweg können sich, so der Anbieter, Programmierer auf die Anwendungslogik konzentrieren, anstatt sich um Konsistenzmodelle kümmern zu müssen.

Bis zum Jahr 2025 soll, so der „Global Streaming Analytics Market Report 2018, der globale Markt für Streaming-Analytik ein Volumen von 47,75 Milliarden Dollar erreichen, bei einer kontinuierlichen jährlichen Wachstumsrate von 34,98 Prozent zwischen 2017 und 2025. Das Wachstum ist dadurch bedingt, dass Unternehmen branchenübergreifend von einem produktzentrischen Geschäftsmodell zu einem Kunden- und Service-orientierten Ansatz übergehen.

Da Unternehmen ihre Streaming-Datenarchitektur ausbauen, wollen sie die Anwendungsfälle erweitern und eine größere Bandbreite von Echtzeitanwendungen einsetzen. Das Produkt Streaming Ledger gehe über das heutige exactly-once Stateful-Stream-Verarbeitungsmodell hinaus und bringt mehrzeilige, mehrstufige Cross-Stream-Transaktionen in die Datenstromverarbeitung, so Data Artisans.

Der Anwendungsbereich

Die Software wurde speziell für die Anforderungen der heutigen datenintensiven Branchen entwickelt. Sie bietet einen hohen Durchsatz, so dass umfangreiche Anwendungen wie Bestandsverwaltung, Preisfindung, Fakturierung, Supply-Demand-Matching, Logistik oder Positionsführung effizient in konsistente Streaming-Anwendungen umgewandelt werden können. Hierbei ist erstmals keine zugrundeliegende relationale Datenbank mehr erforderlich.

Stephan Ewen, Mitbegründer und CTO von Data Artisans, sagt: „Die Gewährleistung serialisierbarer ACID-Transaktionen ist die Königsdisziplin des Daten-Managements. Dabei handelt es sich um ein sehr aufwändiges Problem, an dem selbst große etablierte Datenbanken scheitern. Wir sind sehr stolz darauf, einen Weg gefunden zu haben, dieses Problem für Echtzeit-Datenstreams zu lösen und haben die Lösung so konzipiert, dass sie schnell und einfach zu bedienen ist.“

Die Funktionsweise

Das Produkt verarbeitet Event-Streams über mehrfach verteilte States/Tabellen mit serialisierbarer ACID-Semantik. Die Software überwindet die Einschränkungen bestehender Stream-Processing-Technologien durch die Möglichkeit, verteilte serialisierbare Transaktionen aus mehreren Streams über gemeinsame Tabellen und multiplen Zeilen pro Tabelle durchzuführen.

Ähnlich wie bei serialisierbaren ACID-Transaktionen in relationalen Datenbank-Management-Systemen modifiziert jede Transaktion alle Tabellen, vollständig isoliert gegen gleichzeitige Änderungen. Dadurch kann die Datenkonsistenz wie in den führenden relationalen Datenbanken von heute gewährleistet werden.

Das Produkt wird Bestandteil der „Data Artisans Plattform“. Diese steht somit ab sofort in zwei Versionen zur Verfügung. Die ursprüngliche „Stream Edition“ beinhaltet einen „Application Manager“, der den Prozess der Durchführung und Aufrechterhaltung von Echtzeit-Streaming-Applikationen rationalisiert. Die nunmehr neue „River Edition“ umfasst sowohl die Funktionen von Streaming Ledger als auch des Application Manager.

Stream Processing mit Apache Flink

Data Artisans stellt dA Platform v1.1 für Data Stream Processing vor

Frei zugänglich

Damit ermögliche das Produkt „eine völlig neue Klasse von Streaming-Anwendungen mit maximaler Transaktionskonsistenz“, so der Hersteller. Die Programmier-API, einschließlich einer seriellen Runtime für die lokale Entwicklung, wurde als Open-Source-Projekt auf Github veröffentlicht.

Ewen ergänzt: „Wir sehen dies auch als Beweis für die Leistungsfähigkeit von Apache Flink und seine einzigartigen Fähigkeiten, die Bausteine für eine solch fortschrittliche Technologie zur Verfügung zu stellen.“ Auch jetzt schon wird Apache Flink von Entwicklern zur Analyse und Verarbeitung von Datenströmen mit sehr hohem Volumen verwendet.

Durch den Einsatz von Flink und einer Daten-Streaming-Architektur können Unternehmen innerhalb von Millisekunden auf Erkenntnisse aus Daten reagieren und bestehende historische Datenverarbeitungsanforderungen innerhalb einer einzigen Plattform abdecken. Flink wird von der dynamischen und wachsenden Open-Source-Community der Apache Software Foundation entwickelt und unterstützt, in der mehr als 360 Teilnehmer aktiv sind.

Teilnehmer der Flink Forward Konferenz Berlin (4. und 5. Sepetember 2018) erhalten vor Ort eine Live-Demonstration.

(ID:45479959)