Definition Was ist Nvidia Megatron?

Nvidia Megatron ist ein Framework für die Machine-Learning-Open-Source-Programmbibliothek PyTorch. Mit Megatron lassen sich große neuronale Sprachmodelle trainieren, die auf der Transformer-Architektur basieren. Entwickelt wurde das Framework vom Nvidia Applied Deep Learning Research Team. Nvidia Megatron kam beispielsweise für das Training des Megatron-Turing Natural Language Generation Models (MT-NLG) zum Einsatz.

Anbieter zum Thema

Dell GmbH

Sinequa

Confluent Germany GmbH

Nvidia Megatron ist der Name eines vom Nvidia Applied Deep Learning Research Team entwickelten Frameworks für das Training großer Transformer-basierter Sprachmodelle. Es setzt auf der Open-Source-Programmbibliothek für maschinelles Lernen PyTorch auf.

Megatron basiert in Teilen auf Entwicklungsarbeit von Google und arbeitet mit der Modell-, Daten- und Pipelineparallelisierung. Dadurch ist das Framework in der Lage, Sprachmodelle mit mehreren hundert Milliarden Parametern effizient und mit hoher Geschwindigkeit zu trainieren. Die trainierten Sprachmodelle lassen sich beispielsweise für Chatbots, Echtzeitübersetzungen, virtuelle Assistenten, das Zusammenfassen von Texten, das Schreiben von Programmen und vieles mehr verwenden.

Nvidia Megatron wurde bereits für das Training mehrerer Natural-Language-Sprachmodelle eingesetzt. Dazu gehören beispielsweise das Megatron-LM 8.3B Sprachmodell, das klinische Sprachmodell GatorTron oder das Megatron-Turing Natural Language Generation Model (MT-NLG), mit seinen 530 Milliarden Parametern eines der aktuell größten Sprachmodelle. Megatron ist auf GitHub verfügbar.

Hintergrund zur Entwicklung von Nvidia Megatron

Das Natural Language Processing (NLP) und generative Sprachmodelle haben in den vergangenen Jahren eine enorme Entwicklung erfahren. Immer größere Sprachmodelle mit immer mehr Parametern liefern mittlerweile erstaunliche Ergebnisse. Es sind Sprachmodelle mit mehreren hundert Milliarden Parametern wie das Megatron-Turing Natural Language Generation Model (MT-NLG) mit 530 Milliarden Parametern verfügbar.

Für das Training solch großer Sprachmodelle sind zahlreiche Herausforderungen zu bewältigen. Die Modelle lassen sich kaum noch im Arbeitsspeicher einzelner GPUs unterbringen und benötigen aufgrund der hohen Zahl auszuführender Rechenoperationen lange Trainingszeiten. Nvidia Megatron wurde speziell für das Training großer, auf der Transformer-Architektur basierender Sprachmodelle mit vielen Milliarden Parametern entwickelt. Das Framework arbeitet in mehreren Bereichen mit Parallelisierung. Es nutzt die Daten-, Pipeline- und Modellparallelisierung und Kombinationen von diesen im Intranode- und Internode-Bereich.

Die Transformer-Architektur

Moderne generative Sprachmodelle arbeiten mit Künstlichen Neuronalen Netzen (KNN) und Deep Learning. Die neuronalen Netze basieren heute für gewöhnlich auf einer Transformer-Deep-Learning-Architektur, die 2017 erstmals vorgestellt wurde. Vor der Transformer-Architektur kamen für das Natural Language Processing (NLP) rekurrente, rein sequenziell arbeitende Architekturen wie LSTM-Netzwerke (Long Short-Term Memory) zum Einsatz.

Transformer-basierte Architekturen verzichten größtenteils auf rekurrente Strukturen und bauen auf einem sogenannten Aufmerksamkeitsmechanismus auf. Der Aufmerksamkeitsmechanismus verarbeitet die Eingangsdaten im Kontext der Umgebungsdaten. Der Kontext kann viele tausend Wörter betragen und lässt sich leicht skalieren. Dadurch erzielen sie bessere Ergebnisse bei Aufgaben wie dem Zusammenfassen, Übersetzen oder Generieren von Text. Gleichzeitig reduziert sich der Rechenaufwand und die Trainingszeit.

Grundsätzlich bestehen die Transformer aus in Blöcken unterteilte Encoder und Decoder. Heute bilden Transformer die Grundarchitektur vieler vortrainierter Sprachmodelle. Dazu gehören beispielsweise BERT (Bidirectional Encoder Representations from Transformers) von Google, GPT (Generative Pretrained Transformer) von OpenAI oder RoBERTa von Facebook. Das Framework Nvidia Megatron ist einsetzbar, um solche auf Transformer-Architektur basierende Sprachmodelle zu trainieren.

Mit Megatron-Unterstützung trainierte Sprachmodelle

Nvidia Megatron kam bereits für das Training zahlreicher Sprachmodelle zum Einsatz. Darunter das Sprachmodell Turing NLG 17B von Microsoft oder das Megatron-LM 8.3B von Nvidia. Auch das Sprachmodell Megatron-Turing NLG 530B wurde mithilfe von Megatron trainiert.

Für das Training kam auch eine von Microsoft entwickelte Bibliothek für PyTorch mit dem Namen DeepSpeed zum Einsatz. Das Megatron-Turing NLG ist mit 530 Milliarden Parametern eines der aktuell größten und leistungsfähigsten Sprachmodelle weltweit. Es ist in einer Kooperation von Microsoft und Nvidia entstanden und nutzt als Hardwareplattform für das Training Nvidia-Selene-Supercomputer. Für das verteilte maschinelle Lernen wurde eine spezieller Software-Stack entworfen. Mit DeepSpeed und Megatron lassen sich die Rechenlast und der Speicherverbrauch reduzieren, gleichzeitig sind die Modelle innerhalb eines Nodes leichter skalierbar.

Für das Training des Megatron-Turing Natural Language Generation Models wurde das Dataset „The Pile“ verwendet. Es hat eine Größe von gut 800 Gigabyte und setzt sich aus unterschiedlichen Textquellen des Internets wie Wikipedia, Books3, OpenWebText2, Gutenberg (PG-19), ArXiv, RealNews und andere zusammen. Weitere Projekte, für die Nvidia Megatron schon zum Einsatz kam, sind zum Beispiel:

• BioMegatron: ein großes biomedizinisches Sprachmodell

• GatorTron: ein großes klinisches Sprachmodell

• diverse BERT- and GPT-Studien

(ID:47990655)