So funktionieren Datenanalysen mit BigTable und Co.

Big Data mit der Google Cloud Platform So funktionieren Datenanalysen mit BigTable und Co.

19.10.2015 Von Thomas Joos

Anbieter zum Thema

Google Germany GmbH

fsas-afc-horizontal-2-positive-rgb-nov24 (Fsas)

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Die Google Cloud Platform ist die professionelle und kommerzielle Cloudlösung von Google, die in direktem Mitbewerb zu den Amazon Web Services und zu Microsoft Azure steht. Ähnlich wie Amazon und Microsoft bietet auch Google verschiedene Dienste an, die separat gebucht werden können.

Mit der Google Cloud Platform können Unternehmen jetzt auch effizient Big-Data-Infrastrukturen betreiben.(Bild: Google/T. Joos) — Mit der Google Cloud Platform können Unternehmen jetzt auch effizient Big-Data-Infrastrukturen betreiben.
(Bild: Google/T. Joos)

Unternehmen, die Big Data aus der Cloud nutzen wollen, sollten sich nicht nur mit Microsoft Azure und den Amazon Web Services auseinandersetzen, sondern auch die Google Cloud Platform in ihre Planung mit einbeziehen. Denn Google ist einer der größten Spezialisten, wenn es um die Verwaltung und Verarbeitung großer Datenmengen geht.

Die Google Cloud Platform bietet Zugang zu Werkzeugen, die Google selbst nutzt, um Daten zu verarbeiten. Der Vorteil dabei ist, dass Unternehmen durch die Verwendung dieser Werkzeuge auf ausgereifte Lösungen setzen können, die in der Praxis bereits umfangreich eingesetzt werden. Wie bei Amazon und Microsoft Azure müssen Unternehmen nur die Apps und Daten bezahlen, die auch tatsächlich genutzt werden. Wer sich für die Umgebung interessiert, kann sie einige Zeit kostenlos nutzen. Relativ neu in der Google Cloud Platform ist die Möglichkeit, die Google-Datenbank BigTable als Cloud-Dienst buchen zu können.

Bildergalerie

Mit BigQuery erstellen Entwickler Big-Data-Analysen direkt im Webbrowser.(Bild: Google/T. Joos)

Hadoop-Cluster werden in Google Cloud Platform als virtuelle Server erstellt.(Bild: Google/T. Joos)

Virtuelle Server lassen sich in der Google Cloud Platform relativ schnell erstellen und auch mit Hadoop ausstatten.(Bild: Google/T. Joos)

Cloud BigTable kann als Testversion installiert und genutzt werden. (Bild: Google/T. Joos)

Bildergalerie mit 5 Bildern

Natürlich lassen sich mit Google Cloud Platform auch andere Big-Data-Infrastrukturen aufbauen, Unternehmen können zum Beispiel problemlos Hadoop-Cluster in der Google Cloud Platform nutzen oder Daten mit BigQuery abfragen.

Die Google-Suche-Datenbank und Big Data

Google spielt seine Stärke vor allem dadurch aus, dass die ausgereifte Datenbank, die der Suchmaschinen-Anbieter für seine Google-Suche nutzt, auch für Unternehmen buchbar ist. Dass diese Datenbank vor allem mit großen Datenmengen umgehen kann und diese auch schnell verarbeitet, dürfte klar sein. Google arbeitet seit über einem Jahrzehnt mit dem System. Als Cloud-Dienst ist die Datenbank derzeit als Beta buchbar.

BigTable ist der Name von Googles proprietäres Hochleistungs-Datenbanksystem. Neben der Google-Suche, YouTube, Google Mail und Google Maps wird diese Datenbank auch für Google Analytics seit Jahren in der Praxis eingesetzt. Google gibt die Datenbank jetzt auch für Kunden frei. Der komplette Datenverkehr zu und aus der Datenbank wird verschlüsselt, das gilt auch für die Speicherung der Daten.

Die Datenbank BigTable ist als extrem skalierbare NoSQL-Datenbank optimal geeignet, um auch Big-Data-Berechnungen durchführen zu können. Die Datenbank soll Latenzzeiten im einstelligen Millisekundenbereich bieten und dabei auch sehr große Datenmengen verarbeiten können.

Mit HBase-API und Cloud Dataflow auf die Datenbank zugreifen

Google BigTable unterstützt auch den Zugriff per HBase-API. Das ermöglicht eine schnelle Integration der Datenbank in bereits existierende Big-Data-Umgebungen. Google bietet mit der Programmierschnittstelle Cloud Dataflow auch die Möglichkeit, Datenabfragen mit BigQuery durchzuführen. Diese Abfragen können die Cloud-Datenbank BigTable nutzen. Dataflow soll MapReduce ersetzen und Abfragen zu BigTable schneller durchführen können. Außerdem soll Dataflow einfacher verwendbar sein. Auch intern nutzt Google nicht mehr MapReduce, sondern setzt auf Dataflow.

Virtuelle Server in der Google Cloud Platform

Neben Linux können Unternehmen in der Google Cloud Platform auch Microsoft-Betriebssysteme nutzen. Natürlich lassen sich auch Suse, Red Hat Enterprise und Ubuntu betreiben. Auf Basis dieser Betriebssysteme lassen sich zum Beispiel Hadoop-Cluster aufsetzen. Auch Active-Directory-Umgebungen können so Weg mit Big-Data-Infrastrukturen verbunden werden. Die verschiedenen Dienste lassen sich dabei parallel einsetzen, um cloudbasierte Big-Data-Infrastrukturen zur Verfügung zu stellen.

Google-Komponenten für Big Data

Die Google Cloud Platform bietet verschiedene Big-Data-Lösungen an. Mit Google App Engine können Unternehmen auf Basis eines Platform-as-a-Service-Dienstes (PaaS) eigene Anwendungen bereitstellen. Lastenausgleich und Bereitstellung wird durch Google übernommen. Die Google Computer Engine erlaubt es, virtuelle Server in der Cloud zu betreiben. Auf den Servern können Unternehmen auch Hadoop als Cluster installieren, parallel zu der Möglichkeit, Hadoop als eigenen Cloud-Dienst zu buchen. Hadoop wird in Google übrigens ebenfalls als VM bereitgestellt, das unterscheidet Google von Amazon und Microsoft.

Um Daten zu speichern, wird in der Google Cloud Platform der Dienst Google Cloud Storage verwendet. Dieser Speicher lässt sich für die anderen Dienste in der Cloud Platform nutzen. Zusätzlich steht noch der Google Cloud Datastore zur Verfügung. Dabei handelt es sich um eine NoSQL-Datenbank.

In Big-Data-Umgebungen lassen sich aber auch relationale Datenbanken einbinden. Dazu stellt Google Cloud SQL zur Verfügung. Natürlich lassen sich NoSQL- und relationale Datenbanken parallel betreiben und mit virtuellen Anwendungen auf Basis der App Engine abfragen.

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Geschäftliche E-Mail

Bitte geben Sie eine gültige E-Mailadresse ein.

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Stand: 08.12.2025

Es ist für uns eine Selbstverständlichkeit, dass wir verantwortungsvoll mit Ihren personenbezogenen Daten umgehen. Sofern wir personenbezogene Daten von Ihnen erheben, verarbeiten wir diese unter Beachtung der geltenden Datenschutzvorschriften. Detaillierte Informationen finden Sie in unserer Datenschutzerklärung.

Einwilligung in die Verwendung von Daten zu Werbezwecken

Ich bin damit einverstanden, dass die Vogel IT-Medien GmbH, Max-Josef-Metzger-Straße 21, 86157 Augsburg, einschließlich aller mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen (im weiteren: Vogel Communications Group) meine E-Mail-Adresse für die Zusendung von Newslettern und Werbung nutzt. Auflistungen der jeweils zugehörigen Unternehmen können hier abgerufen werden.

Der Newsletterinhalt erstreckt sich dabei auf Produkte und Dienstleistungen aller zuvor genannten Unternehmen, darunter beispielsweise Fachzeitschriften und Fachbücher, Veranstaltungen und Messen sowie veranstaltungsbezogene Produkte und Dienstleistungen, Print- und Digital-Mediaangebote und Services wie weitere (redaktionelle) Newsletter, Gewinnspiele, Lead-Kampagnen, Marktforschung im Online- und Offline-Bereich, fachspezifische Webportale und E-Learning-Angebote. Wenn auch meine persönliche Telefonnummer erhoben wurde, darf diese für die Unterbreitung von Angeboten der vorgenannten Produkte und Dienstleistungen der vorgenannten Unternehmen und Marktforschung genutzt werden.

Meine Einwilligung umfasst zudem die Verarbeitung meiner E-Mail-Adresse und Telefonnummer für den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern wie z.B. LinkedIN, Google und Meta. Hierfür darf die Vogel Communications Group die genannten Daten gehasht an Werbepartner übermitteln, die diese Daten dann nutzen, um feststellen zu können, ob ich ebenfalls Mitglied auf den besagten Werbepartnerportalen bin. Die Vogel Communications Group nutzt diese Funktion zu Zwecken des Retargeting (Upselling, Crossselling und Kundenbindung), der Generierung von sog. Lookalike Audiences zur Neukundengewinnung und als Ausschlussgrundlage für laufende Werbekampagnen. Weitere Informationen kann ich dem Abschnitt „Datenabgleich zu Marketingzwecken“ in der Datenschutzerklärung entnehmen.

Falls ich im Internet auf Portalen der Vogel Communications Group einschließlich deren mit ihr im Sinne der §§ 15 ff. AktG verbundenen Unternehmen geschützte Inhalte abrufe, muss ich mich mit weiteren Daten für den Zugang zu diesen Inhalten registrieren. Im Gegenzug für diesen gebührenlosen Zugang zu redaktionellen Inhalten dürfen meine Daten im Sinne dieser Einwilligung für die hier genannten Zwecke verwendet werden. Dies gilt nicht für den Datenabgleich zu Marketingzwecken.

Recht auf Widerruf

Mir ist bewusst, dass ich diese Einwilligung jederzeit für die Zukunft widerrufen kann. Durch meinen Widerruf wird die Rechtmäßigkeit der aufgrund meiner Einwilligung bis zum Widerruf erfolgten Verarbeitung nicht berührt. Um meinen Widerruf zu erklären, kann ich als eine Möglichkeit das unter https://contact.vogel.de abrufbare Kontaktformular nutzen. Sofern ich einzelne von mir abonnierte Newsletter nicht mehr erhalten möchte, kann ich darüber hinaus auch den am Ende eines Newsletters eingebundenen Abmeldelink anklicken. Weitere Informationen zu meinem Widerrufsrecht und dessen Ausübung sowie zu den Folgen meines Widerrufs finde ich in der Datenschutzerklärung.

BigQuery bietet die Möglichkeit, Daten aus den verschiedenen Cloud-Diensten für Big-Data-Analysen zu verwenden. Die Abfragen sind ähnlich wie SQL-Abfragen aufgebaut und bieten eine Möglichkeit, schnell und einfach Big Data aus der Cloud zu nutzen.

Hadoop in der Google Cloud Platform

Auch in der Testversion der Google Cloud Platform lassen sich Hadoop-Cluster erstellen. Dabei haben Administratoren zahlreiche Möglichkeiten. Basis von Hadoop ist Compute, der Cloud-Dienst in der Google Cloud Platform, mit dem sich virtuelle Server erstellen lassen

Natürlich lassen sich Hadoop-Installationen auch manuell ausführen, so wie in Microsoft Azure oder Amazon Web Services. Administratoren erstellen dazu virtuelle Linux-Server, fassen diese zu einem virtuellen Netzwerk zusammen und installieren auf den Servern manuell Hadoop. Auch hier können die Daten mit BigQuery analysiert werden, aber auch mit anderen Möglichkeiten, die kompatibel mit Hadoop sind.

Cloud BigTable Cluster testen

Um sich einen Überblick zu Cloud BigTable zu verschaffen, können sich Entwickler derzeit einen Cluster auf Basis der Beta-Version installieren. Die entsprechenden Optionen sind über Storage\Cloud Big Table in der Google-Developers-Konsole zu finden.

Der Cluster ist schnell einsatzbereit und lässt sich jederzeit erweitern. Die entsprechenden Einstellungen sind in der Weboberfläche zu finden. Natürlich lassen sich auch mehrere Cluster erstellen, um verschiedene Daten zu analysieren.

(ID:43625392)