Suchen

Supercomputer & Big Data Die Datenflut in die richtigen Bahnen lenken

| Autor / Redakteur: Thomas Weselowksi / Nico Litzel

Big Data und der wachsende Bedarf an Simulationen treiben die Entwicklung im High Performance Computing (HPC) voran. Immer mehr Unternehmen aus allen Branchen benötigen leistungsfähige Supercomputer, um die wachsenden Mengen von strukturierten und unstrukturierten Daten zu verarbeiten, Produkte schneller zu entwickeln oder hochkomplexe Simulationen durchzuführen.

Firmen zum Thema

Viele Fragestellungen liegen an der Schnittstelle zwischen HPC und Big Data – die passenden Supercomputer beschleunigen die Suche nach Antworten.
Viele Fragestellungen liegen an der Schnittstelle zwischen HPC und Big Data – die passenden Supercomputer beschleunigen die Suche nach Antworten.
(Bild: Atos)

Hochleistungsrechner zählen zu den Schlüsseltechnologien unserer Zeit und sind in vielen Bereichen von Industrie und Wissenschaft unverzichtbar geworden. Zu den prominentesten Beispielen der Grundlagenforschung zählen die Klimaforschung und das Human Brain Project der EU-Kommission, an dem über 80 europäische und internationale Forschungseinrichtungen beteiligt sind und das mittels computerbasierter Modelle und Simulationen das menschliche Hirn nachbilden soll.

Die Automobilindustrie nutzt Supercomputer, um mit neuen Materialien und optimierten Formen Fahrzeuge mit geringerem Benzinverbrauch herzustellen. Ein weiteres Beispiel sind die Forschungsabteilungen der Chemie- und Pharmakonzerne, die ultraschnelle Rechner benötigen, um die Entwicklung neuer Medikamente oder die Genom- und Krebsforschung voranzutreiben.

Zwei Herausforderungen – eine Lösung

Die meisten Probleme, mit denen sich Wissenschaftler und Ingenieure beschäftigen, liegen an der komplexen Schnittstelle zwischen HPC und Big Data. Durch die kontinuierlich anwachsenden Datenvolumen erfordern bestimmte Anwendungen die Echtzeit-Datenverarbeitung im Arbeitsspeicher. Für diesen Zweck hat sich das In-Memory-Processing etabliert. Beide Anwendungen – HPC-Berechnungen und In-Memory-Technologien – verlangen nach Rechnern mit einer überproportional hohen Rechenleistung.

Im Big-Data-Umfeld liegt das Ziel darin, in einer sehr großen Datenmenge durch Sortier- und Filtermethoden bislang unerkannte Zusammenhänge und Muster zu identifizieren. Viele HPC-Anwendungen hingegen folgen einem theoretischen Modell, mit dem die Daten in einer gewissen Weise neu berechnet und modelliert werden.

Trotz aller Ähnlichkeiten bleiben Big Data und HPC zwei unterschiedliche Disziplinen. Mit dem Ansatz, wie er in Big-Data-Lösungen verwendet wird, lassen sich beispielsweise keine Crashtests oder Navier-Stokes-Gleichungen berechnen, die etwa für die numerische Strömungsmechanik essenziell sind. Manche Rechenalgorithmen erbringen Höchstleistungen, wenn man sie auf viele kleinere Rechner verteilt. Andere wiederum profitieren von einem zentralen System mit Hauptspeicherkapazität von mehreren Terabyte (= 10 hoch 12 Byte oder 1.000 Gigabyte).

Für jede Anwendung die passende Hardware

Moderne Supercomputer berücksichtigen die Anforderungen beider Ansätze und enthalten die entsprechenden Hardware-Komponenten. Durch die enge Kopplung von Daten und Simulationen können sie große Mengen heterogener Daten sowohl analysieren als auch berechnen. Die Leistung dieser Supercomputer wird in Flops (Floating Point Operations oder Rechenoperationen pro Sekunde) gemessen.

Um diesen unterschiedlichen Anforderungen gerecht zu werden, lässt sich der Rechen-Cluster mit zwei Hauptpartitionen konfigurieren. Zum einen bietet das Message Passing Interface (MPI) skalierbare Software-Performance auf einem Parallelrechnersystem. Über ein Lustre-Dateisystem können mehrere Hundert Server Blades modular zusammengeschlossen und extrem viele Aufgaben parallel verarbeitet werden – je nach Anforderung mit einer Rechenleistung von einigen Teraflops (= eine Billion Flops) bis hin zu mehreren Petaflops (= eine Billiarde Flops).

Dagegen lassen sich für Anwendungen, die auf einem Cluster aus kleineren Servern nicht optimal laufen, über eine SMP-Partition (Symmetric Multiprocessing) größere Serverknoten bilden. Sehr leistungsfähige Supernodes mit Prozessoren der neuesten Generation, die wie die Intel-Xeon-E7-Prozessoren speziell für In-Memory-Anwendungen entwickelt wurden, weisen eine hohe Integration von Rechenressourcen auf, sodass jedes Modul erheblich größere Workloads bewältigen kann.

Die Rechner der Bullx-S6000-Serie beispielsweise unterstützen bis zu 288 Prozessorkerne und bieten eine Memory-Kapazität von bis zu 24 Terabyte. Damit eignen sich die Server sowohl für den Einsatz im Big-Data-Umfeld als auch für geschäftskritische Applikationen und das High Performance Computing. Darüber hinaus können sie alle Rechenprozesse abwickeln, die im Umfeld einer Vielzahl komplexer In-Memory-Datenbanken auftreten.

HPC-as-a-Service bietet On-Demand-Lösungen

In der Vergangenheit stand diese Rechenpower nur Konzernen und großen Forschungsinstituten offen, die über ausreichende Budgets für die kostspielige und leistungsstarke HPC-Hardware verfügten. Unternehmen mit eingeschränkten Möglichkeiten blieben außen vor. Aber in der Zwischenzeit bieten spezialisierte Dienstleister diesem Anwenderkreis über die Cloud einen schnellen und kostengünstigen Zugang zu HPC-Kapazitäten – unabhängig von Betriebsgröße und Branche. Unternehmen müssen deswegen keine aufwendigen Investitionen mehr in eigene Hardware tätigen. HPC-as-a-Service schafft umfassende Chancengleichheit.

Die Kooperation von HPC-Anbietern mit führenden Software-Herstellern stellt zudem sicher, dass die Anforderungen zahlreicher Branchen über ein Online-Portal abgedeckt werden können. Anwender haben so einen geschützten Zugang zu HPC-Infrastrukturen und können ihre gesamten Arbeitsschritte eines Projektes darüber abwickeln. Das Spektrum von verfügbaren Software-Anwendungen reicht dabei von der Datenintegration bis hin zur Visualisierung der Endergebnisse. In der Cloud entsteht auf diese Weise ein genaues Replikat einer Arbeitsumgebung, die über das Internet dem autorisierten Nutzerkreis jederzeit zugänglich ist. Dank HPC-as-a-Service entdecken selbst Unternehmen, die nur sporadisch Big-Data-Berechnungen und Computersimulationen benötigen, die Vorteile der Technologie für sich. Denn sie zahlen nur für die Rechenleistung, die sie tatsächlich benötigen.

(ID:43807608)