Definition Was ist GatorTron?

GatorTron ist ein von der University of Florida (UF) Health für den medizinischen Bereich entwickeltes Natural-Language-Processing-Modell. Es basiert auf der Transformer-Architektur und dem Megatron-Framework von Nvidia. Mit seinen rund neun Milliarden Parametern ist GatorTron das aktuell größte medizinische NLP-Modell. Für das Training wurden von der UF Health bereitgestellte, anonymisierte medizinische Daten von über zwei Millionen Patienten verwendet.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Xpand Solutions GmbH

GatorTron ist der Name eines Natural-Language-Processing-Modells für den medizinischen Bereich. Es wurde von der University of Florida Health (UF Health) in Zusammenarbeit mit Forschern von Nvidia entwickelt. Mit seinen circa neun Milliarden Parametern ist es das derzeit größte medizinische NLP-Modell. GatorTron ist das erste medizinische Sprachmodell, das mit einer so umfassenden Menge an medizinischen Daten trainiert wurde. Für das Training wurden unter anderem von der UF Health bereitgestellte, anonymisierte medizinische Daten von über zwei Millionen Patienten verwendet. Mehr als drei Milliarden Sätze und über 80 Milliarden Wörter Text in klinischer Sprache stellte die UF Health für das Training zusammen.

Die technische Basis für das Natural-Language-Processing-Modell bilden die Transformer-Architektur und das Megatron-Framework von Nvidia. Im Prinzip hat GatorTron die Architektur von Megatron-LM übernommen. Trainiert wurde das Modell auf einer verteilten Rechnerplattform mit über tausend GPUs. GatorTron kann komplexe medizinische Inhalte erfassen und medizinische Erkenntnisse aus einer großen Menge klinischer Daten extrahieren.

Denkbare Anwendungen sind die Unterstützung bei klinischen Versuchen und Studien, Unterstützungsleistung für klinische Entscheidungen, Extraktion klinischer Konzepte, automatisierte Zusammenfassungen medizinischer Daten oder medizinische Chatbots und medizinische Experten- und Frage-Antworten-Systeme. In einigen Benchmarks hat GatorTron andere medizinische Modelle wie BioMegatron, ClinicalBERT oder BioBERT deutlich übertroffen.

Die Architektur von GatorTron und Transformer-basierter NLP-Modelle

Aktuelle NLP-Modelle basieren häufig auf der Transformer-Architektur und haben einen sogenannten Aufmerksamkeitsmechanismus implementiert. Dieser Mechanismus reduziert Beschränkungen, wie sie in einfachen Sequenz-zu-Sequenz- und Encoder-Decoder-Modellen auftreten. Die Effizienz der Machine-Learning-Modelle ist deutlich gesteigert. Der Aufmerksamkeitsmechanismus sorgt dafür, vereinfacht ausgedrückt, dass bestimmte Teile der Eingabesequenz für die Erstellung der Ausgabesequenz besondere Beachtung finden. Die kontextuelle Bedeutung der zu prozessierenden Elemente lässt sich besser berücksichtigen. Viele Sprachmodelle wie das Megatron-Turing Natural Language Generation Model (MT-NLG), Google LaMDA, GPT-3 oder BERT und auch GatorTron verwenden die Transformer-Architektur und Aufmerksamkeitsmechanismen.

Das Training ist bei diesen Modellen in zwei Phasen unterteilt. Diese beiden Phasen sind das Vortraining und die Feinabstimmung. Im Vortraining werden große Mengen Textdaten in einem unbeaufsichtigten Lernprozess verarbeitet. Die Modelle sind allerdings sehr groß und können mehrere Milliarden Parameter umfassen. Sie lassen sich nicht mehr ohne Weiteres in einen einzelnen GPU-Speicher laden. Fortschrittliche, verteilte Technologien und Hardwareplattformen werden für das Training notwendig. Um den Speicher- und Rechenbedarf zu optimieren und Trainingszeiten zu verkürzen, kommen Verfahren wie die Daten- und Modellparallelisierung zum Einsatz.

Die mit großen Datenmengen vortrainierten Modelle werden in der Phase der Feinabstimmung in einem Vorgang überwachten Lernens für bestimmte Aufgaben optimiert.

Das Training von GatorTron

Wie im vorigen Abschnitt beschrieben, erfordert das Training von tranformerbasierten Modelle mit großen Textmengen fortschrittliche, verteilte Trainingstechnologien und leistungsfähige Hardwareplattformen. GatorTron übernimmt die Architektur von Nvidia Megatron-LM. Mit Megatron-LM lässt sich dank eines parallelen Ansatzes sowohl Modellparallelität als auch aus Datenparallelität für das verteilte Training nutzen. Als Hardwareplattform für das Training dient ein Nvidia SuperPod-Cluster mit 140 Knoten und über tausend GPUs. Als Trainingsdaten stellte UF Health unter anderem über zehn Jahre gesammelte, anonymisierte Daten von über zwei Millionen Patienten und 50 Millionen Patienteninteraktionen verschiedener medizinischer Fachbereiche zur Verfügung.

Typische NLP-Aufgaben und Anwendungen medizinischer Sprachmodelle wie GatorTron

Sprachmodelle wie GatorTron lassen sich für verschiedene medizinische Anwendungen und NLP-Aufgaben wie die Extraktion klinischer Konzepte oder die automatisierte Zusammenfassung medizinischer Texte und Daten verwenden. Weitere typische NLP-Aufgaben sind die Extraktion von Beziehungen, das Finden semantischer Ähnlichkeiten oder das Erkennen von Entitäten (Named Entity Recognition – NER). Für viele Anwendungen geht es prinzipiell darum, große Mengen an medizinischen Erkenntnissen, die sich in unstrukturierten klinischen Texten verbergen, zu extrahieren und in strukturierter Form für nachgelagerte Aufgaben einsetzbar zu machen. Durch das Training ist GatorTron in der Lage, die Fachsprache der Texte zu verstehen und komplexe medizinische Ausdrücke zu erfassen. So lassen sich beispielsweise medizinische Entscheidungen auf Basis der gesammelten Erkenntnisse schneller und zuverlässiger treffen oder die passenden Patienten für klinische Studien binnen kürzester Zeit identifizieren.

Typische Anwendungen medizinischer Sprachmodelle wie GatorTron sind zum Beispiel:

• Extraktion klinischer Konzepte

• Zusammenfassung medizinischer Texte und Daten

• medizinische Experten- und Frage-Antworten-Systeme

• medizinische Chatbots

• Unterstützungsleistung bei Diagnosen und klinischen Entscheidungen

• Identifizierung von Patientenkohorten

(ID:48238030)