Definition Was ist BigQuery?

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

BigQuery ist ein Analytics-Webservice von Google. Der Webservice wird auf der Google Cloud Platform (GCP) produziert und stellt ein vollständig von Google verwaltetes, serverloses Data Warehouse zur Verfügung. BigQuery eignet sich für die Abfrage, Analyse und Verarbeitung großer Datenmengen. Abfragen sind über SQL möglich. Die Cloud-Data-Warehouse-Lösung bietet einen nativen Support von Künstlicher Intelligenz und maschinellem Lernen.

BigQuery ist der Produktname einer von Google angebotenen cloudbasierten Data-Warehouse- und Analytics-Lösung. Sie wird auf der Google Cloud Platform (GCP) produziert. Das Data Warehouse ist voll gemanagt, in großem Umfang skalierbar und arbeitet aus Anwendersicht serverlos. Nutzer von BigQuery müssen keine eigene Infrastruktur mit Servern und Datenbanken verwalten, betreiben oder dimensionieren.

BigQuery ist in der Lage, große Datenmengen bis in den Petabyte-Bereich und darüber hinaus performant abzufragen, zu analysieren und zu verarbeiten. Abfragen sind per Structured Query Language (SQL) möglich. Der Cloud-Service ist speziell für Unternehmen und Geschäftsanalysen im Big-Data- und Business-Intelligence-Umfeld vorgesehen und bietet nativen Support für Künstliche Intelligenz und Machine Learning. Allgemein verfügbar ist BigQuery seit 2011, nach einer ersten Testphase im Jahr 2010.

Die Speicher- und Rechenkapazität dimensioniert BigQuery entsprechend den Anforderungen automatisch. Nutzbar ist der Cloud-Service kommandozeilenbasiert, über eine Web-Oberfläche oder über eine REST-basierte Programmierschnittstelle (API). Daten lassen sich aus verschiedenen Quellen nach BigQuery hochladen. Streamingdaten sind in Echtzeit abrufbar. BigQuery unterstützt die Verschlüsselung der Daten und ist hochverfügbar konzipiert.

Die Kosten für den Data-Warehouse-Cloud-Service sind nutzungsbasiert. Sie sind von der Speicherung, den Streaming-Insert-Anweisungen und den Datenabfragen abhängig. Neben dem Pay-as-you-go-Kostenmodell sind Staffelpreise mit Flatrate Pricing verfügbar.

Merkmale und Funktionsumfang von BigQuery

Die cloudbasierte Data-Warehouse- und Analytics-Lösung BigQuery von Google bietet einen umfangreichen Funktionsumfang. Im Folgenden ein kurzer Überblick über einige wichtige Merkmale und Features des Cloud-Services.

Die Ressourcen für BigQuery werden über die Google-Cloud-Infrastruktur serverlos bereitgestellt. Speicherung und Computing sind entkoppelt. Daten werden automatisch repliziert und ihr Änderungsverlauf gespeichert. Der Datenbestand unterschiedlicher Zeiten lässt sich dadurch einfach wiederherstellen.

BigQuery ist die Basis für Cloud-BI-Lösungen und mit einer performanten In-Memory-BI-Engine für die Analyse großer komplexer Datesets innerhalb von Sekunden ausgestattet. Mit der API für Streaming-Insert-Anweisungen sind Echtzeitanalysen möglich. Mithilfe von Datastream lassen sich Daten aus heterogenen Quellen zuverlässig und mit minimaler Latenz synchronisieren. Mit dem Data Transfer Service (DTS) können Daten jeglichen Umfangs aus Hybrid- und Multi-Cloud-Anwendungen nach BigQuery geladen und transformiert werden.

Darüber hinaus sind verschiedene Datenintegrationstools nutzbar. Als Abfragesprache wird ein ANSI-SQL-Standarddialekt unterstützt. Durch die Möglichkeit föderierter Abfragen können Daten aus unterschiedlichen externen Quellen und in verschiedenen Open-Source-Dateiformaten wie Parquet oder ORC verarbeitet werden, ohne diese verschieben zu müssen. Die Einbindung der Big-Data-Umgebung von Apache mit Hadoop-/Spark- und Beam-Arbeitslasten wird über Dataproc und Dataflow unterstützt.

Dank einer nativen Integration von maschinellem Lernen und Künstlicher Intelligenz lassen sich Daten mit BigQuery zum Trainieren und Ausführen von Modellen verwenden. BigQuery ist in Sicherheits- und Datenschutzdienste der Google Cloud eingebunden und bietet eine umfangreiche Sicherheit der Daten. Alle Anfragen werden über Google-Mechanismen oder andere Verfahren wie OAuth authentifiziert. Inaktive Daten und die Übertragung der Daten sind standardmäßig verschlüsselt.

Für den programmatischen Zugriff auf BigQuery ist eine REST-API nutzbar. Es existieren verschiedene Client-Bibliotheken für Sprachen wie Java, PHP, Go, Ruby, C#, Python oder Node.js. Mit BigQuery Omni steht eine Multi-Cloud-Analyselösung zur Verfügung. Sie kann Daten verschiedener Clouds wie Amazon Web Services (AWS) oder Microsoft Azure analysieren. Räumlich-geografische Analysen sind mit BigQuery GIS realisierbar. Das BigQuery Data Warehouse integriert GIS-Funktionalität mit Unterstützung der gängigen Formate raumbezogener Daten. Umfangreiche Monitoring- und Logging-Funktionen sind ebenfalls vorhanden. Darüber hinaus lässt sich BigQuery mit Cloud Logging als Repository für das Logging beliebiger anderer Services und Anwendungen nutzen.

Vorteile von BigQuery

Die voll gemanagte, serverlose Cloud-Data-Warehouse- und Analytics-Lösung BigQuery bietet unter anderem folgende Vorteile:

• sichere, von Google voll gemanagte, hochverfügbare Plattform

• flexibel und automatisch skalierbar

• keine eigene Infrastruktur mit Servern oder Datenbanken notwendig

• Verarbeitung und Analyse riesiger Datenmengen mit hoher Geschwindigkeit bis in den Petabyte-Bereich und darüber hinaus

• Standard-SQL-Dialekt für Abfragen nutzbar

• maschinelles Lernen und Künstliche Intelligenz nativ integriert

• für Multi-Cloud-Analysen geeignet

• leistungsfähige In-Memory-BI-Engine

• REST-Programmierschnittstelle (API)

• Unterstützung von Streaming-Daten und Echtzeitanalysen

• Unterstützung beliebiger BI-Tools

• hohes Sicherheitsniveau (Authentifizierung aller Anfragen und standardmäßige Verschlüsselung der inaktiven und übertragenen Daten)

• Replikation der Daten über mehrere Regionen hinweg möglich

• frei wählbare geografische Region, in der die Daten von BigQuery gespeichert werden

• transparente Kosten – nutzungsbasiertes Preismodell

(ID:48480786)