MariaDB ColumnStore

Schnelle Speicher-Engine für Big-Data-Analysen

| Autor / Redakteur: Michael Matzer / Nico Litzel

Im Bereich der massiv-parallelen Datenverarbeitung zu Analysezwecken spielt ColumnStore, das auf der MariaDB-Datenbank aufsetzt, eine zentrale Rolle. Auf einem Speicher-Cluster (node 1-n) hält die Speicher-Engine die Massendaten vor, die für Predictive Analytics und andere Disziplinen benötigt werden.
Im Bereich der massiv-parallelen Datenverarbeitung zu Analysezwecken spielt ColumnStore, das auf der MariaDB-Datenbank aufsetzt, eine zentrale Rolle. Auf einem Speicher-Cluster (node 1-n) hält die Speicher-Engine die Massendaten vor, die für Predictive Analytics und andere Disziplinen benötigt werden. (Bild: MariaDB)

MariaDB, der Anbieter der gleichnamigen relationalen Open-Source-Datenbank MariaDB, hat mit ColumnStore eine spaltenorientierte Speicher-Engine für die massive parallele Abfrageverteilung und ein paralleles Laden von Daten vorgestellt. Damit eignet sich nun MariaDB noch besser für die Analyse von Big Data.

Vor einem Jahr erhöhte MariaDB die Skalierbarkeit seiner Enterprise-Version mit MaxScale. Das neu verfügbare Produkt ColumnStore ist eine spaltenorientierte Speicher-Engine für die massiv-parallele Abfrageverteilung (ein Teil von MPP) und paralleles Laden von Daten (also teilweise ETL). Was ColumnStore von spaltenorientierten Datenbanken wie SAP HANA unterscheiden soll, ist die Möglichkeit, gleichzeitig mehrere, spezifische Speicher-Engines zu nutzen.

Auf diese Weise können gemischte Workloads bei hoher Leistung verarbeitet werden, so der Hersteller. MariaDB will „erstmals sowohl transaktionale als auch massiv-parallele analytische Aufgaben bei einem Hersteller“ ermöglichen. Das soll Investitionen in umfangreiche Datenbank-Infrastrukturen wie etwa bei Oracle überflüssig machen, sagte Michael Howard, der CEO von MariaDB. Die Handhabung sei einfach, wodurch sich die Betriebskosten senken ließen.

Kompatibel zu Hadoop

Nishant Vyas, Vice President für Produkte und Strategie bei MariaDB.
Nishant Vyas, Vice President für Produkte und Strategie bei MariaDB. (Bild: MariaDB)

Die ColumnStore-Engine soll sich für Big-Data-Szenarien eignen und beim Begriff „Big Data“ denkt man zuerst an Hadoop. Die Datenbank MariaDB lässt sich in der Tat sowohl eigenständig als auch in Kombination mit Technologien des Hadoop-Frameworks verwenden. „MariaDB ColumnStore ist von der Architektur her MPP (massive-parallele Verarbeitung) und speichert Daten als Spalten – dafür wird eine Hadoop-Infrastruktur benötigt“, bestätigt Nishant Vyas, VP of Products and Strategy bei MariaDB. „Dies bedeutet, dass MariaDB ColumnStore sowohl AWS- als auch Hadoop-Speicherschichten (HDFS) unterstützt, um dort die Daten zu speichern.“ MariaDB ist auf Amazon Web Services verfügbar.

Das Leistungsmerkmal MPP bedeutet, dass MariaDB ColumnStore Daten parallel speichert und verarbeitet und dadurch „enorme Leistung“ erzielt wird. Allerdings hat der Hersteller bislang keine Leistungsdaten bekannt gegeben. Durch das parallele Laden von Daten würden ETL-Produkte nicht ersetzt, „ETL wird aber beschleunigt“, so Vyas. „Wir werden außerdem die Echtzeiterfassung von Datenänderungen einführen.“ Unter „Echtzeit“ versteht Vyas stets Datenströme, denn Stapelverarbeitung (Batch) wäre viel zu langsam für umfangreich und rasch anfallende Massendaten. Stapelverarbeitung ist aber auch möglich.

„Algorithmische Datenverarbeitung“

Künftig soll darüber hinaus die „algorithmische Datenverarbeitung“ in ColumnStore realisierbar sein. Das bedeutet, dass jeder Nutzer seine spezifischen Algorithmen einsetzen kann, um aus den Massendaten seine individuellen „Nuggets“ herauszufiltern. Apache Spark sowie die Statistiksprache R stellen bereits entsprechende Bibliotheken von Algorithmen für Machine Learning (ML) kostenlos zur Verfügung. Es sei auch geplant, IBM SPSS als Modellierwerkzeug zu unterstützen, so Vyas.

Komplexe Aggregationen, Verbindungen zur Datenbank sowie Window-Funktionen auf Datenspeicherebene können direkt in der Speicher-Ebene ausgeführt werden. Der Vorteil: Solche aufwendigen Prozessschritte müssen nicht mehr in den Compute-Bereich – etwa in-memory – verlagert werden. „Wir haben vor, Engines wie Apache Spark oder Apache Storm in unserem nächsten Release zu integrieren“, sagte Vyas. „Sie lösen einige spezielle Anwendungsfälle, wie etwa maschinelles Lernen.“ Spark wird von Herstellern wie IBM, Intel und Hadoop-Distributoren wie Cloudera und Hortonworks stark unterstützt.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 44017006 / Infrastruktur)