Definition Was ist Spanner Change Streams?

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Mit Spanner Change Streams lassen sich Änderungen in einer Google-Cloud-Spanner-Datenbank in nahezu Echtzeit nachverfolgen und streamen. Change Streams sind für komplette Datenbanken oder einzelne Tabellen und Tabellenbereiche konfigurierbar. Das Change-Streams-Feature ist Bestandteil von Google Cloud Spanner, einem Cloud-Service für relationale Datenbanken, und wird ohne Extrakosten im Rahmen des nutzungsbasierten Preismodells abgerechnet.

Spanner Change Streams ist der Name eines seit Mai 2022 verfügbaren Features des cloudbasierten relationalen Datenbankservices Google Cloud Spanner. Vorgestellt wurde das Feature auf dem Google Data Cloud Summit 2022. Mithilfe von Spanner Change Streams lassen sich Veränderungen in einer Cloud-Spanner-Datenbank wie Löschungen, Einfügungen oder Aktualisierungen in nahezu Echtzeit nachverfolgen und streamen.

Spanner Change Streams sind Bestandteil von Google Cloud Spanner und für alle Kunden des relationalen Cloud-Datenbankservices ohne zusätzliche Kosten und Installationsarbeit nutzbar. Die Change Streams werden im Rahmen des nutzungsbasierten Kostenmodells von Cloud Spanner in Form der regulären Kosten für Compute- oder Storage-Leistungen abgerechnet. Spanner Change Streams sind vielfältig einsetzbar. Sie erlauben eine einfache Integration der Datenbankänderungen in andere Systeme und Services. Beispielsweise sind sie für die Replikation der Datenbankänderungen in ein Data Warehouse und für Datenanalysen nutzbar.

Grundlagen zu Google Cloud Spanner

Spanner Change Streams ist ein Feature von Google Cloud Spanner. Bei Google Cloud Spanner handelt es sich um einen von Google angebotenen, auf der Google Cloud Platform (GCP) produzierten, voll gemanagten Datenbankservice einer relationalen Datenbank. Der global verteilte Datenbankdienst bietet volle Transaktionskonsistenz (ACID-konform) und erreicht eine Verfügbarkeit von bis zu 99,999 Prozent. Dank der horizontalen Skalierbarkeit ist Cloud Spanner in einigen Aspekten mit NoSQL-Datenbanklösungen vergleichbar. Er kombiniert die Vorteile relationaler Datenbankstrukturen mit der unbegrenzten Skalierbarkeit der NoSQL-Datenbanken. Cloud Spanner entkoppelt die Speicher- und Rechenressourcen und ermöglicht eine separate Skalierbarkeit.

Als Datenbanksprache werden die SQL-Dialekte Google-Standard-SQL und PostgreSQL unterstützt. Für die zeitliche Synchronisation der Transaktionen nutzt Cloud Spanner Google TrueTime, einen Cloud-Service für einen hochverfügbaren, verteilten Zeitgeber basierend auf Atomuhr- und GPS-Technologie. Google Cloud Spanner ist seit 2017 für Kunden der Google Cloud verfügbar. Auch für zahlreiche interne Services von Google wird der relationale Cloud-Datenbankdienst seit vielen Jahren genutzt. Das Preismodell von Google Cloud Spanner ist abonnementbasiert und nutzungsabhängig. Die Kosten sind von Faktoren wie der Rechenkapazität einer Instanz, dem genutzten Speicherplatz der Datenbanken, dem genutzten Speicherplatz der Datensicherungen und der genutzten Netzwerkbandbreite für einige Arten von ausgehendem Netzwerkverkehr abhängig. Spanner Change Streams sind ein noch recht junges Feature und seit Mai 2022 für Google Cloud Spanner verfügbar.

Eigenschaften und Merkmale der Spanner Change Streams

Spanner Change Streams sind sehr flexibel konfigurierbar. Sie lassen sich so einrichten, dass alle benötigten Datenveränderungen einer Cloud-Spanner-Datenbank nachverfolgt und gestreamt werden können. Es ist möglich, sowohl sämtliche Datenänderungen einer kompletten Datenbank zu erfassen als auch Change Streams auf einzelne Tabellen oder Tabellenbereiche und Spalten einzuschränken. Datenänderungen in Datenbanken, Tabellen und Spalten können mit mehreren Change Streams gleichzeitig nachverfolgt werden.

Google nennt verschiedene Limits für die maximale Anzahl der Change Streams von Datenbanken und Tabellen. Die berücksichtigten Änderungen eines Change Streams umfassen alle Löschungen, Einfügungen und Aktualisierungen. Änderungen eines Datenbankschemas oder aus Schemaänderungen resultierende Datenänderungen finden in den Änderungsstreams keine Berücksichtigung.

Den Change Streams liegt das gleiche verteilte Speicherkonzept wie der Google-Cloud-Spanner-Datenbank zugrunde. Jede vom Change Stream erkannte Änderung erzeugt einen Änderungseintrag. Die Informationen, die in einem Änderungseintrag zu finden sind, umfassen zum Beispiel den Namen der betroffenen Tabelle, Name und Datentyp der geänderten Spalte und Zeile, neue und alte Werte der geänderten Einträge, Typ der Änderung (Löschung, Einfügung oder Aktualisierung), Zeitstempel, Transaktions-ID, Sequenznummer und weitere.

Die Datenänderungsdatensätze werden über einen konfigurierbaren Zeitraum von einem bis sieben Tagen zwischengespeichert. Mit steigender Aufbewahrungsdauer erhöht sich der Speicherplatzbedarf der Stream-Datenbank. Zum Lesen der Change Streams sind zwei Möglichkeiten vorgesehen:

• mit Dataflow und dem Apache Beam SpannerIO-Connector

• mit der Spanner API

Google stellt Dataflow-Templates zur Verfügung, mit denen sich Pipelines für gängige Anwendungsfälle wie für das Streamen der Änderungen nach BigQuery und Google Cloud Storage einrichten lassen. Über die API und speziell erstelltem Programmcode sind Change Streams direkt lesbar.

Anwendungsmöglichkeiten der Spanner Change Streams

Als typische Anwendungsmöglichkeiten der Spanner Change Streams nennt Google:

• Replikation von Datenänderungen einer Spanner-Datenbank in ein Data Warehouse wie BigQuery zur weiteren Datenanalyse,

• änderungsbasiertes Triggern einer Anwendungslogik durch Einfügen der Eventdaten in Messaging-Systeme wie Google Cloud Pub/Sub sowie

• cloudbasiertes Speichern von Datenänderungen zu Archivierungszwecken oder zur Erfüllung von Compliance-Anforderungen.

(ID:48484899)