Womit sich Startups heute beschäftigen, Teil 17 Qumulo bringt skalierbares File-System für große Volumina

Die junge Firma Qumulo ist bei uns noch kaum bekannt, in den USA räumt sie derzeit Lob und Anerkennung für ihr hoch skalierbares File-System „QF2“ ab.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Confluent Germany GmbH

Fivetran Germany GmbH

Im März wird Qumulo zwei Jahre alt und darf sich noch mit Recht ein Startup-Unternehmen nennen. Die Gründer und Top-Manager sind allerdings altgediente IT-Spezialisten. Viele von ihnen haben zusammen bei Isilion – Entwickler des OneFS-File Systems - gearbeitet: Bill Richter, CEO und President von Qumulo, Peter Godman, Gründer und CTO, Neal Fachan, ebenfalls Gründer, agiert jetzt als Chefwissenschaftler, Mary Godwin (Operations), Eric Scollard (Verkaufschef) und Jay Wampold (Marketing) blicken auf eine Isilion-Vergangenheit zurück. Deshalb bezeichnen sich die Qumulo-Gründer als „bestes File-System Engineering Team“ der Welt.

1 Film - 5 Millionen Files

„15 Jahre nach der Einführung des letzten erfolgreichen File-Systems – OneFS – war es Zeit, auf die neuen Herausforderungen in der IT zu reagieren“, beschreibt Gründer und CTO Peter Godman das Motiv für die Gründung von Qumulo. Seiner Meinung nach sind File-basierende Daten - und hier insbesondere High-Performance-Files - „der Motor der Innovation“ im modernen Geschäftsleben.

So bestehe beispielsweise ein Zeichentrickfilm durchschnittlich aus fünf Millionen Files. Qumulo freut sich darüber, dass drei der besten fünf Filmstudios für Animation zu seinen Kunden zählen. Aber auch Unternehmen aus der Öl- und Gasindustrie oder Telecom-Provider nutzen Qumulos Speichertechnik mit dem neuen File System „Qumulo File Fabric“ (QF2).

Herkömmliche NAS-Speicher – sowohl Scale-up- als auch Scale-out-Systeme – sind hinsichtlich Kapazität und Leistung limitiert. Das sind aber genau die Kriterien, die heute zu erfüllen sind. In einer Welt, in der immer mehr Daten anfallen, Stichwort Big Data, müssen diese Daten in Echtzeit kontrolliert werden - und das auch noch über verteilte Standorte hinweg. Dazu sollen Speicherplätze flexibel genutzt werden, also im eigenen Rechenzentrum und in der Cloud, je nach dem, was das Geschäft verlangt.

Was das neue File-System kann

Qumulo hat für seine Lösung dieser Probleme eine neue Speicherkategorie etabliert: Universal-scale File Storage. Einer der Vorzüge davon ist die Fähigkeit, das File-System QF2 über das Unternehmens-Rechenzentrum und die Public Cloud hinweg auszurollen. Es skaliert nahezu unbeschränkt auf Milliarden von Files und liefert laut Hersteller höchste Leistung sowohl im Data Center als auch in der Cloud.

Ein weiterer Vorteil der Lösung ist, dass sie keine proprietäre Hardware benötigt, sondern mit herkömmlichen Komponenten zufrieden ist und somit im Vergleich zu proprietären Lösungen die Kosten senkt. Dazu kommt, dass die Speichersysteme in unterschiedlichen Betriebssystemumgebungen arbeiten. Die Mischung von großen und kleinen Files stellt kein Problem dar.

Speicher-Cluster lassen sich über das QF2-File System einfach bilden und zwar über Grenzen hinweg: Cloud-Instanzen oder Rechenknoten mit Standard-Hardware lassen sich zu einem Speicher-Cluster verbinden mit einem einheitlichen File-System und skalierbarer Leistung.

„QF2-Cluster arbeiten zusammen um eine geografisch verteilte aber eng gekoppelte Storage-Fabric zu bilden, die mit andauernder Replikation einher geht“, beschreibt Godman eine globale Ausrollmöglichkeit. Gesteuert wird die Speicherlösung ((siehe Grafik2)) über normale File-Protokolle, dem QF2-REST API und einem GUI für Administratoren.

B-tree-Struktur, Echtzeitanalyse mittels Datenbank und Sicherheit

Wie wird man mit den vielen und unterschiedlich großen Files fertig? Die Qumulo-Entwickler haben sich zunächst für eine B-Tree-Struktur für die Speicherung der Indexdaten entschieden. Damit erreichen sie, dass der I/O-Bedarf für jede Operation bei steigenden Datenmengen minimiert wird.

Die zweite Besonderheit der Lösung ist die „QumuloDB“, die für die Echtzeitanalyse genutzt wird. Die Datenbank pflegt permanent die aktuellen "summaries" der Metadaten für jedes Directory. Sie nutzt die B-Trees des File-Systems um Änderungen im File zu sammeln. Innerhalb des File-Systems werden einige Felder der Metadaten summiert und ein virtueller Index erstellt. Die Leistungsanalyse, die im GUI angezeigt wird, basiert auf Sampling-Mechanismen, die diese Aggregation der Metadaten nutzen.

QumuloDB ist vollständig im File-System integriert, anders als in herkömmlichen Lösungen, wo Anfragen nach den Metadaten von einer Software erledigt werden, die außerhalb des File-Systems agiert.

Die Aggregation der Metadaten in Echtzeit hat noch einen anderen Vorteil. Damit lassen sich auch Quotas – also die Festlegung, wie viel Kapazität ein Directory für Files verwenden darf - in Echtzeit einrichten. Auch bei Snapshots glaubt sich die Company auf der sicheren Seite. „Ein einzelner QF2-Cluster kann eine praktisch unbegrenzte Anzahl von gleichzeitigen Snapshots haben, ohne dass es zu Leistungs- oder Kapazitätseinbußen kommt“, freut sich der Qumulo-CTO.

Auch für die Datenreplikation gibt es eine sichere Lösung: Nachdem eine Replikationsbeziehung zwischen produktivem Cluster und Ziel-Cluster geknüpft und synchronisiert ist, hält QF2 die Daten automatisch konsistent.

Fazit

In den Zeiten des ungebremsten Datenwachstum - gerade von unstrukturierten Daten – und der verteilten Datenhaltung in Clouds und eigenen Data Centern macht es fast unumgänglich, dafür auch ein neuartiges File System zu entwickeln. Qumulo hat sich dieser Aufgabe unterzogen und dafür Meriten eingeheimst. So hat Gartner Qumulo in seinem „Magic Quadrant“ für verteilte File Systeme und Object Storage als Visionär eingestuft.

Qumulo will noch Anfang dieses Jahres in Europa eine Niederlassung gründen. Bis dahin kann man QF2 über HPE beziehen.

*Kriemhilde Klippstätter ist freie Autorin und Systemischer Coach (SE) in München.

(ID:45088522)