Neue Anforderungen an die Storage-Infrastruktur KI-Workloads verändern die Rechenzentren

Anbieter zum Thema

Hitachi Vantara GmbH

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Xpand Solutions GmbH

Die digitale Transformation verändert die Geschäftsprozesse von Unternehmen von Grund auf. Sie löst eine Kettenreaktion neuer Anwendungen aus, die wiederum völlig neue Infrastrukturen erfordern – insbesondere im Bereich Storage.

Vor zwei Jahren prognostizierte IDC, dass bis 2023 (also heute) rund 500 Millionen neue digitale Anwendungen und Dienste entwickelt werden, mehr als alle in den letzten 40 Jahren entwickelten Anwendungen zusammen. Viele davon kommen mit neuen, anspruchsvollen Workload-Typen wie Computer Vision, Recommender Systems, KI & ML. Um den Anforderungen dieser neuen Workloads gerecht zu werden, darunter Echtzeitzugriff auf Daten oder die Kombination mit historischen Daten über eine Gruppe von Anwendungen, müssen Unternehmen die richtige Infrastruktur wählen.

Nachdem es in den letzten Jahrzehnten vor allem auf Ausfallsicherheit und Performance zentraler Anwendungen ankam, leben wir heute in der Welt der verteilten „Cloud-native”-Anwendungen. Beide Architekturen werden im selben Rechenzentrum weiter nebeneinander existieren, erfordern jedoch unterschiedliche Infrastrukturkomponenten, um optimal zu funktionieren. Traditionell eignen sich auf Blockspeicher basierende Plattformen ideal für Workloads mit hohem Durchsatz und hohem IO-Aufkommen bei niedrigen Latenzzeiten, etwa OLTP-Plattformen (Online Transaction Processing), ERP-Systeme und traditionelle IT-Workloads. Sie sind aber nicht in der Lage, die Anforderungen analytischer Workloads wie KI und ML zu erfüllen, weil hier die Berechnungsseite dieser Plattformen ins Spiel kommt.

Die Bedeutung von Storage für den Workload

Mit modernen Scale-Out-Architekturen kann die Speicherkapazität unkompliziert erhöht werden. Da mehr Hardware zur Verfügung steht, um die Last zu verteilen, kann auch die Verkehrskapazität, sprich Netzwerkverbindungen, Speicher und Verarbeitungsleistung, leicht ausgebaut werden. Mehrere Rechenknoten können als ein einziger Scale-Out-Cluster verbunden werden, so dass Arbeitslasten parallel ausgeführt und je nach Bedarf erweitert werden können. Es gibt zwei Ansätze, die helfen können, einen solchen Prozess zum Leben zu erwecken. Der erste ist Software-definierter Blockspeicher (Scale-Out) mit einer nativen Datenebene, die einen nahtlosen Datenaustausch zwischen Scale-Up- und Scale-Out-Speicher ermöglicht. Ein zweiter Ansatz ist ein Scale-Out-Dateisystem, das objektbasierte Speicherung unterstützt.

Die Wahl der richtigen Speicherlösung ist hier für Unternehmen genauso strategisch wichtig wie die Wahl der Compute-Plattform. Eine komplexe, verteilte Berechnung mit zu wenig Leistung führt schnell zu schlechten Ergebnissen. Um die Compute-Plattformen zu unterstützen, muss die verwendete Speichertechnologie mit den Anforderungen moderner Grafikprozessoren (GPUs) während des gesamten Lebenszyklus der Daten Schritt halten.

Dabei ist ein hoher Durchsatz alleine nicht entscheidend: Storage, der nur einen hohen Durchsatz unterstützen kann, führt zu schlechteren Ergebnissen bei Arbeitslasten, die sehr hohe IOPS bei geringer Latenz erfordern.

Wenn das Speichersystem nur eine einzige Ebene von Speichermedien unterstützen kann, ist eine zusätzliche Datenebene erforderlich, um Daten zwischen den Speichertechnologien zu verschieben. Andernfalls leiden beispielsweise KI-Plattformen darunter, dass sie nicht jederzeit Zugriff auf die benötigten Daten haben. Eine Plattform, die eine nahtlose Integration zwischen zum Beispiel Block-Scale-Up und Scale-Out oder dem Dateisystem mit Integration von Technologien wie Objektspeicher unterstützt, bringt hier den größten wirtschaftlichen Nutzen. Außerdem werden der Arbeitsaufwand für die Wartung dieser Systeme reduziert und die fragile Natur herkömmlicher Datenverschiebungs- oder Archivierungssysteme beseitigt.

Fünf KI-Workloads und ihre Anforderungen an Storage

Rechenintensive Anwendungen sprießen in allen Ecken von Unternehmen wie Pilze aus dem Boden, weshalb die entsprechenden Workloads früh in der Architektur berücksichtigt werden müssen. KI-basierte Workloads lassen sich in fünf Typen einteilen: maschinelles Lernen (ML), Deep Learning (DL), Empfehlungssysteme, natürliche Sprachverarbeitung (NLP) und Computer Vision. Aber welche Speicherinfrastruktur unterstützt diese Workloads am effektivsten? Werfen wir einen Blick auf die unterschiedlichen Anforderungen an die Speicherinfrastruktur:

• 1. Machine Learning (ML) wird verwendet, um Vorhersagen und Entscheidungen auf der Grundlage von Daten zu treffen. Eine der wichtigsten Anforderungen an die Speicherinfrastruktur bei ML-Workloads ist die Skalierbarkeit. ML-Modelle benötigen in der Regel eine große Menge an Trainingsdaten, um genaue Vorhersagen zu treffen. Je mehr Daten verwendet werden, desto genauer sind die Modelle. Die zugrunde liegende Speicherplattform muss extrem skaliert werden können und in der Lage sein, die Anforderungen von Technologien wie GPUs während des gesamten Lebenszyklus der Daten zu erfüllen. Generell sind ML-Workloads eher IO- als durchsatzabhängig.

• 2. Deep Learning (DL) ist eine spezialisierte Form des maschinellen Lernens und verwendet neuronale Netze, um komplexe Probleme zu lösen. DL-Workloads nutzen in der Regel Grafikprozessoren (GPUs), um die notwendige Rechenleistung für das Training der KI-Modelle bereitzustellen. Diese GPU-basierten Systeme benötigen eine enorme Datenmenge, um effektiv zu sein, und müssen sich kontinuierlich skalieren lassen. Auch DL-Workloads sind viel mehr von hohen IO-Workloads als von hohem Durchsatz abhängig. Die Speichersubsysteme müssen in der Lage sein, Parallelisierung im großen Maßstab aufrechtzuerhalten, die für die Unterstützung der häufig anzutreffenden großen Anzahl von Grafikprozessoren zur Erstellung der neuronalen Netzmodelle erforderlich ist.

• 3. Empfehlungssysteme werden in Einzelhandelsumgebungen eingesetzt, um auf der Grundlage der Analyse des Konsumverhaltens Produkte und Dienstleistungen für Nutzer zu empfehlen. Diese Plattformen bestehen aus Millionen von Datenpunkten, die aus der Historie des Nutzers und einer Zusammenfassung von Datenpunkten über ähnliche Nutzer stammen. Empfehlungssysteme müssen schnell mit diesen großen Datensätzen versorgt werden, um sicherzustellen, dass die neuronalen Netze in der Lage sind, eine Entscheidung auf der Grundlage von Echtzeit- und historischen Daten zu treffen und dem Verbraucher das beste Produkt oder die beste Dienstleistung für seine Bedürfnisse zu empfehlen.

• 4. Die Verarbeitung natürlicher Sprache (NLP) ermöglicht es Computern, menschliche Sprache zu verstehen, zu interpretieren und sogar zu manipulieren. NLP wird eingesetzt, um in Echtzeit zwischen Menschen zu übersetzen und Emotionen in Aussagen zu erkennen. NLP-Systeme sind wie Empfehlungssysteme empfindlich gegenüber IO-gesteuerter Arbeitslast und massiver Parallelisierung und müssen über genügend IO verfügen, um eine Latenzzeit im Mikrosekunden Bereich und darunter sicherzustellen.

• 5. Computer Vision ist die Fähigkeit eines KI-Modells, die Welt um uns herum zu verstehen, diese Daten zu interpretieren und ein Ergebnis daraus abzuleiten, wie beispielsweise autonomes Fahren. Computer-Vision-Systeme erzeugen die größte Menge an verarbeiteten Daten. Ein Elektrofahrzeug kann beispielsweise 2 PB an Daten pro Jahr erzeugen, die kontinuierlich verarbeitet werden müssen, da das KI-Modell immer genauer wird. KI-Modelle und die Daten, mit denen sie trainiert wurden, müssen für die gesamte Lebensdauer des Fahrzeugs aufbewahrt werden. Computer Vision erfordert eine Plattform, die in Bezug auf Durchsatz, IOPS, Skalierbarkeit und Parallelisierung hochperformant ist.

Neue Workloads treiben die datengetriebene Zukunft an

Durch die stetig wachsende Datenmenge und die fortschreitende Entwicklung der KI-Technologie wird es zunehmend schwieriger, Daten effizient zu verwalten und zu nutzen. In diesem Zusammenhang ist eine leistungsfähige Speicherinfrastruktur unerlässlich, um die Anforderungen der neuen Workloads zu erfüllen. Eine moderne Speicherinfrastruktur unterstützt die Vermischung verschiedener Datentypen und KI-Workloads mit hohen Anforderungen an Durchsatz und IO-Workloads.

Ein Beispiel dafür ist die Verarbeitung von Daten eines autonomen Fahrzeugs, das gleichzeitig Bilder, Telemetrie- und Sensordaten aufnimmt. Traditionelle Hochleistungssysteme sind meist nur in der Lage, eine dieser Arbeitslasten zu bewältigen. Moderne parallele Dateisysteme, die hohe IOPS- und hohe Durchsatzkapazitäten unterstützen, können beide Aufgaben bewältigen. Zusätzlich ist ein Hochleistungsspeicher notwendig, um die zweite Speicherebene, das Langzeitarchiv, zu unterstützen.

KI-Plattformen werden eingesetzt, um Kunden einen Mehrwert zu bieten und Unternehmen zu ermöglichen, Daten besser zu verstehen und fundierte Entscheidungen zu treffen. Sie sind oft entscheidend für den Unternehmenserfolg! Dabei fallen aber enorme Datenmengen an, und die Speicherung dieser Daten ist traditionell sehr kostspielig. Unternehmen entscheiden sich daher oft für Data Lakes, Archive oder kostengünstigere Lösungen wie NL-SAS-Speicher (Near-Line-SAS). Um KI-Workloads ordnungsgemäß ausführen zu können, müssen die Daten jederzeit zugänglich sein.

Wenn die Daten über mehrere Systeme verteilt sind, ist viel manuelle Arbeit erforderlich, um sie wiederherzustellen. Ein paralleles Dateisystem mit nativer Integration und Unterstützung für Objektspeicher ist von entscheidender Bedeutung, da es eine der wirtschaftlichsten Online-Speichertechnologien für die Anforderungen dieser Umgebungen ist. Eine einzigartige Eigenschaft der Objektspeicherung ist das „Erasure Coding“, eine Schutzfunktion zur Wiederherstellung fehlender Daten aus bekannten Daten. Insbesondere im Vergleich zum traditionellen „3-2-1“-Sicherungsansatz, der von den meisten Data Lakes verwendet wird, ist dies eine äußerst wirtschaftliche Option.

Moderne Storage-Lösungen sind auf solche und weitere Herausforderungen vorbereitet. Sie ermöglichen es Kunden, hochleistungsfähige parallele Dateisysteme mit modernen Verbrauchsfunktionen zu erstellen, die sich problemlos in Objektspeicherendpunkte für die Archivierung und Datensicherung integrieren lassen. Die Technologie von Hitachi Vantara ermöglicht es Unternehmen zusätzlich, Daten auf der Grundlage von Regeln, die von den Dateneigentümern und -verwaltern definiert wurden, automatisch auf die strategisch beste Speichertechnologie zu legen. Auf diese Weise unterstützen die Lösungen gleichzeitig hohe IOPS- und Durchsatzkapazitäten für denselben Datensatz, wodurch sie eher einem DevOps-Tool als einer komplexen Speicherplattform ähneln. Unter dem Strich entlastet die Investition in moderne Speicherlösungen, wie Scale-Up- und Scale-Out-Blockspeicher oder parallele Dateisysteme mit Objektspeicher, das Gesamtsystem und macht Unternehmen zukunftssicher und leistungsfähiger.

* Der Autor: Frank Hoerner ist seit März 2019 bei Hitachi Vantara Deutschland als Director Technical Sales EMEA – Germany tätig. Frank hat über 30 Jahren Erfahrung im IT-Bereich, davon knapp 25 Jahre im technischen Vertrieb bei internationalen Software- und Hardware-Unternehmen. Er hat unter anderem bei BMS Software, NetIQ sowie Rode & Schwarz Cybersecurity erfolgreich internationale Pre-& Postsales Organisationen geleitet und aufgebaut. Frank ist passionierter Golfer und liebt es, in seiner Heimat Oldenburg in Holstein an der Ostsee zu entspannen.

Aktuelles eBook

Alle Daten im Griff – der Weg zum passenden Data-Management

Daten nur zum Selbstzweck zu speichern, kann sich heute praktisch kein Unternehmen mehr leisten. Um den Überblick zu behalten und Nutzen aus den gespeicherten Daten zu ziehen, wird ein entsprechendes Datenmanagement benötigt. Unser neues eBook erläutert detailliert, worauf es dabei ankommt, welche Ansätze es gibt und wo Potenziale zur Verbesserung liegen.

Die Themen im Überblick:

• Data-Management lokal und in der Private Cloud
• Data-Management in der Cloud
• Globales Data-Management

eBook „Data-Management“ kostenlos downloaden

(ID:49330749)