Suchen

OpenFlex Data24 NVMe-oF Die Storage-Plattform für viele schnelle Daten

| Autor / Redakteur: Dr. Dietmar Müller / Dr. Jürgen Ehneß

Western Digital hat für den Herbst die OpenFlex-Data24-NVMe-oF-Speicherplattform angekündigt. Wir haben Manfred Berger, Sr. Mgr. Business Development Platforms EMEAI bei Western Digital, zu Sinn, Zweck und Einsatzszenarien des Releases befragt.

Firmen zum Thema

Auf schnelle und viele Daten ausgelegt: Western Digital OpenFlex Data24 NVMe oF.
Auf schnelle und viele Daten ausgelegt: Western Digital OpenFlex Data24 NVMe oF.
(Bild: gemeinfrei / Pixabay )

„SSDs sind heutzutage das Mittel der Wahl im Rechenzentrum, und die Zukunft von Flash ist zweifellos NVMe, denn es dreht sich alles um Geschwindigkeit, Effizienz, Kapazität und kostengünstige Skalierbarkeit. NVMe over Fabric (NVMe oF) bringt das alles auf die nächste Stufe,“ erläutert Manfred Berger, Sr. Mgr. Business Development Platforms EMEAI bei Western Digital, gegenüber Storage-Insider die Beweggründe für die Entwicklung der neuen OpenFlex-Data24-NVMe-oF-Plattform mit bis zu 24 Hot-Swap-fähigen Ultrastar DC SN840 NVMe-SSDs. Hyperscale-Cloud- und Unternehmensrechenzentren hätten alle Hände voll damit zu tun, Engpässe zu beseitigen und mit dem beispiellosen Datenwachstum Schritt zu halten. Nur NVMe und NVMe oF könnten dem Admin von heute dabei behilflich sein, so Berger.

Mit OpenFlex Data24 NVMe-oF bringt Western Digital eine Speicherplattform, mit der die Bandbreite der NVMe-SSDs von bis zu sechs Hosts über eine Ethernet-Fabric mit geringer Latenz gemeinsam genutzt werden kann, ganz so, als wären sie lokal an den PCIe-Bus in x86-Servern angeschlossen. Dreh- und Angelpunkt des OpenFlex-Ansatzes ist die Open Composable API, die den Zugriff auf Komponenten an einer NVMe-oF-Fabric mit OpenFlex-Systemen erlaubt. Western Digital nennt das die „OpenFlex Composable Infrastructure“. Mit ihr hätten die Admins der Hyperskalierungs-, OEM- und Unternehmenskunden die Chance, Kapazität effektiver zu skalieren und gemeinsam disaggregierte Flash-Speicherressourcen in einer offenen Infrastrukturumgebung zu nutzen.

Manfred Berger, Sr. Mgr. Business Development Platforms EMEAI bei Western Digital.
Manfred Berger, Sr. Mgr. Business Development Platforms EMEAI bei Western Digital.
(Bild: Western Digital)

Die zentrale Plattform OpenFlex Data24 NVMe-oF ist vollständig interoperabel mit der OpenFlex-F-Serie von Western Digital. SSDs und Speicher wurden vertikal in ein neues Just-a-Bunch-of-Flash-Gehäuse (JBoF) integriert. Die Plattform bietet ein gemeinsam genutztes Speicherpotential von bis zu 368 TB in einem kompakten 2U-Formfaktor. Damit eignet sich die Plattform für Server-Speichererweiterungen und Scale-Out-Umgebungen mit Software-definiertem Speicher (SDS).

Die integrierten RapidFlex RDMA-fähigen NVMe-oF-Controller aus der Übernahme von Kazan Networks lassen sich direkt über 100-Gb-Ethernet ohne externen Switch anschließen, was in einer Latenzzeit von unter 500 Nanosekunden für eine projektierte Plattformleistung von über 13 Millionen IOPS und 70 GB/s resultiert (sofern bis zu sechs Netzwerkadapter an das OpenFlex Data24 angeschlossen sind).

Geschwindigkeit ist in Sachen Big Data Trumpf

„Sie sehen, die OpenFlex-Data24-NVMe-oF-Plattform ist nicht nur für schnelle Daten ausgelegt, sondern für viele Daten“, kommentierte Berger. In unzähligen Anwendungsfällen komme es eben darauf an, nicht nur schnell zu reagieren, sondern auf viele Faktoren schnell zu reagieren. Beispiele dafür wären etwa der Hochfrequenzhandel, bei dem nur Sekundenbruchteile lang Wertpapiere zum Kauf beziehungsweise Verkauf angeboten werden, das Internet of Things (IoT), in denen Maschinen in Millisekunden auf neue Gegebenheiten reagieren können müssen, oder typische Einsatzszenarien für Künstliche Intelligenz (KI) und Machine Learning (ML), etwa im Falle der Gesichtserkennung am Flughafen. Nur NVMe-SSDs über eine leistungsstarke Ethernet-Fabric könnten die von den entsprechenden Anwendungen benötigte hohe IO-Performance bei gleichzeitig minimaler Latenz der Datenzugriffe liefern.

„Der OpenFlex-Speicher kann zudem vergleichsweise elegant die Ressourcen von anderen Rechnern nutzen“, so Berger. „Entweder werden Teilbereiche einer NVMe als Namespaces genutzt oder eben ganze NVMes zur Verfügung gestellt. Unter einem parallelen Filesystem, wie zum Beispiel BeeGFS oder WEKA.IO, können aber auch viele NVMes zu einem Pool zusammengefasst werden.“

Software-Partner unterstützen OpenFlex Data24 NVMe-oF

Hardware benötigt abgestimmte Software, um seine Wirkung entfalten zu können (und vice versa). Im Software-Umfeld kooperieren verschiedene Alliierte mit Western Digital, um die Stärken von OpenFlex Data24 NVMe-oF nutzen zu können. Drei seien an dieser Stelle genannt: Liqid, DriveScale und Linbit.

Liqid

Liqid hat seinen kollaborativen NVMe-over-Fabric-Layer auf die Plattform von Western Digital ausgelegt. Das Liqid Command Center 2.2 orchestriert OpenFlex Data24 NVMe-oF in Verbindung mit GPU-oF (GPU over Fabric) und CPU-Ressourcen sowohl im Hardware-Rack als auch über mehrere Racks hinweg. Das Resultat ist eine Multi-Petabyte-Speicherkapazität mit NVMe-Geschwindigkeiten, was die Anforderungen selbst der datenintensivsten Anwendungen erfüllen dürfte.

Anwender haben so die Möglichkeit, große Pools von Rechenzentrumsressourcen remote zu aggregieren und gemeinsam zu nutzen; Ressourcenmanagement und Automatisierung finden auf Stack-Ebene statt. Virtuelle Systeme können aus netzwerkbasierten Ressourcen wie Blade-Server, OpenFlex, Display, GPUs oder FPGAs dynamisch und gegebenenfalls temporär erstellt werden.

DriveScale

Auch DriveScale tritt als Partner von Western Digital auf. Der Experte für Bare-Metal-Cloud-Infrastrukturen bietet eine End-to-End-Orchestrierung für Ressourcen wie Compute- oder GPU-Knoten und NVMe-Flash- oder HDD-Speicher. Anwender können dadurch Parameter für die Infrastruktur der Anwendung über die API oder GUI festlegen, wo Compute-, Speicher- und Netzwerkressourcen automatisch verbunden und für die Anwendungsbereitstellung bereit sind. Mit dieser End-to-End-Kompatibilität können bei Bedarf Ergänzungen oder Änderungen an den IT-Ressourcen vorgenommen werden. DriveScale ist auch aktiver Teilnehmer am Open Composable Compatibility Lab von Western Digital.

Linbit

Auch Linbit bietet einen Storage-Layer für Speicherpools mit erweiterter Funktionalität wie Mirroring, De-Duplication, RAID, Replication, Snapshots, Thin-Provisioning und so weiter. „Am Ende ist unser Ziel eine disaggregierte Systemarchitektur“, so Berger. In ihr sollen alle Systemressourcen von CPU über GPU bis zu Storage, Netzwerk und sogar FPGA-Chips (Floating Gate Programmable Array) dynamisch über die Fabric zugewiesen werden. Mit Linstor stellt Linbit zahlreiche Applikationsschnittstellen etwa für Kubernetes, OpenNebula und andere zur Verfügung.

Anwender

Womit wir bereits bei der Frage der Anwender sind. Interessenten für die Plattform kommen laut Berger zuallererst aus den Bereichen Forschung, Medizin, Finanzen, Geologie und On-Line-Gaming. Applikationen und Workloads stammen vorzugsweise aus den Bereichen Real-Time Analytics, Datenbanken, SDS Environments, High-Performance Computing, Public und Private Cloud, Virtualisierung, Scale-Out/Up,Configurations sowie KI/ML.

Beispielhaft sei das Pariser Institut du Cerveau et de la Moelle épinière genannt. Es entwickelt neue Mittel gegen neurologische Störungen. Dazu müssen Patientendaten von digitalen Lichtbogenmikroskopen, MRT-Systemen und anderen klinischen Werkzeugen erfasst und analysiert werden. Allzu oft wurden die Mediziner jedoch durch eine überkommene Speicherinfrastruktur behindert, die nicht mit ihren Bedürfnissen Schritt halten konnte.

Wenn etwa neue digitale Mikroskope hinzugefügt werden, die Bilder mit höherer Auflösung aufnehmen können, stellte die Speicherung einen ständigen Engpass dar. Zur Info: Die neuesten Lichtbogeninstrumente können bis zu 2 Terabyte Daten pro Stunde generieren, mit individuellen Dateigrößen von bis zu 400 Gigabyte.

Das Institut sattelte auf Betreiben seines langjährigen Technologiepartners 2CRSi auf OpenFlex und NVMe oF um. Die zentralisierte OpenFlex-Plattform nutzte zunächst fünf 15-Terabyte1-Fabric-attached-Geräte, die über RDMA over Converged Ethernet (RoCE v2) verbunden waren. Die Plattform unterstützt bis zu 256 Namespaces in jedem Gerät, wodurch bei Bedarf über 1.000 verschiedene Speicherpools für eine große Anzahl von Servern bereitstehen. Mit OpenFlex können die Mediziner nun mit der gleichen ultraschnellen Speicherleistung arbeiten, die sie von lokalem NVMe-attached-Speicher an jedem Arbeitsplatz erhalten würden.

Fazit

Zusammenfassend kann festgehalten werden: Die OpenFlex-Data24-NVMe-oF-Plattform liefert die Leistung von NVMe-Flash für Shared Storage. Sie offeriert die niedrige Latenz von NVMe-SSDs über eine leistungsstarke Ethernet-Fabric, um eine ähnliche Leistung wie lokal angeschlossene NVMe-SSDs zu bieten. Zusammen mit RapidFlex-NVMe-oF-Controllern ermöglicht sie den Anschluss von bis zu sechs Hosts ohne Switch. OpenFlex Data24 NVMe-oF kann mit der OpenFlex API auch als disaggregierte Speicherressource in einer offenen „composable“ Infrastrukturumgebung verwendet werden.

OpenFlex Data24 NVMe-oF wird voraussichtlich im Oktober verfügbar sein, dann mit einer fünfjährigen Garantie. RapidFlex-NVMe-oF-Controller sind bereits erhältlich.

(ID:46806508)

Über den Autor

Dr. Dietmar Müller

Dr. Dietmar Müller

Journalist