MariaDB ColumnStore Schnelle Speicher-Engine für Big-Data-Analysen

Anbieter zum Thema

QUNIS GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

MariaDB, der Anbieter der gleichnamigen relationalen Open-Source-Datenbank MariaDB, hat mit ColumnStore eine spaltenorientierte Speicher-Engine für die massive parallele Abfrageverteilung und ein paralleles Laden von Daten vorgestellt. Damit eignet sich nun MariaDB noch besser für die Analyse von Big Data.

Vor einem Jahr erhöhte MariaDB die Skalierbarkeit seiner Enterprise-Version mit MaxScale. Das neu verfügbare Produkt ColumnStore ist eine spaltenorientierte Speicher-Engine für die massiv-parallele Abfrageverteilung (ein Teil von MPP) und paralleles Laden von Daten (also teilweise ETL). Was ColumnStore von spaltenorientierten Datenbanken wie SAP HANA unterscheiden soll, ist die Möglichkeit, gleichzeitig mehrere, spezifische Speicher-Engines zu nutzen.

Auf diese Weise können gemischte Workloads bei hoher Leistung verarbeitet werden, so der Hersteller. MariaDB will „erstmals sowohl transaktionale als auch massiv-parallele analytische Aufgaben bei einem Hersteller“ ermöglichen. Das soll Investitionen in umfangreiche Datenbank-Infrastrukturen wie etwa bei Oracle überflüssig machen, sagte Michael Howard, der CEO von MariaDB. Die Handhabung sei einfach, wodurch sich die Betriebskosten senken ließen.

Bildergalerie

Kompatibel zu Hadoop

Die ColumnStore-Engine soll sich für Big-Data-Szenarien eignen und beim Begriff „Big Data“ denkt man zuerst an Hadoop. Die Datenbank MariaDB lässt sich in der Tat sowohl eigenständig als auch in Kombination mit Technologien des Hadoop-Frameworks verwenden. „MariaDB ColumnStore ist von der Architektur her MPP (massive-parallele Verarbeitung) und speichert Daten als Spalten – dafür wird eine Hadoop-Infrastruktur benötigt“, bestätigt Nishant Vyas, VP of Products and Strategy bei MariaDB. „Dies bedeutet, dass MariaDB ColumnStore sowohl AWS- als auch Hadoop-Speicherschichten (HDFS) unterstützt, um dort die Daten zu speichern.“ MariaDB ist auf Amazon Web Services verfügbar.

Das Leistungsmerkmal MPP bedeutet, dass MariaDB ColumnStore Daten parallel speichert und verarbeitet und dadurch „enorme Leistung“ erzielt wird. Allerdings hat der Hersteller bislang keine Leistungsdaten bekannt gegeben. Durch das parallele Laden von Daten würden ETL-Produkte nicht ersetzt, „ETL wird aber beschleunigt“, so Vyas. „Wir werden außerdem die Echtzeiterfassung von Datenänderungen einführen.“ Unter „Echtzeit“ versteht Vyas stets Datenströme, denn Stapelverarbeitung (Batch) wäre viel zu langsam für umfangreich und rasch anfallende Massendaten. Stapelverarbeitung ist aber auch möglich.

„Algorithmische Datenverarbeitung“

Künftig soll darüber hinaus die „algorithmische Datenverarbeitung“ in ColumnStore realisierbar sein. Das bedeutet, dass jeder Nutzer seine spezifischen Algorithmen einsetzen kann, um aus den Massendaten seine individuellen „Nuggets“ herauszufiltern. Apache Spark sowie die Statistiksprache R stellen bereits entsprechende Bibliotheken von Algorithmen für Machine Learning (ML) kostenlos zur Verfügung. Es sei auch geplant, IBM SPSS als Modellierwerkzeug zu unterstützen, so Vyas.

Komplexe Aggregationen, Verbindungen zur Datenbank sowie Window-Funktionen auf Datenspeicherebene können direkt in der Speicher-Ebene ausgeführt werden. Der Vorteil: Solche aufwendigen Prozessschritte müssen nicht mehr in den Compute-Bereich – etwa in-memory – verlagert werden. „Wir haben vor, Engines wie Apache Spark oder Apache Storm in unserem nächsten Release zu integrieren“, sagte Vyas. „Sie lösen einige spezielle Anwendungsfälle, wie etwa maschinelles Lernen.“ Spark wird von Herstellern wie IBM, Intel und Hadoop-Distributoren wie Cloudera und Hortonworks stark unterstützt.

(ID:44017006)