Definition Was ist GenSLMs?

GenSLMs (Genome-Scale Language Models) ist die Bezeichnung für ein auf Genomik spezialisiertes großes KI-Sprachmodell (Large Language Model). Es wurde mit Gensequenzen des COVID-19-Virus trainiert und ist in der Lage, Gensequenzen vorherzusagen. Mithilfe von GenSLMs lassen sich zum Beispiel Genmutationen und Varianten des COVID-19-Virus vorhersagen. Entwickelt wurde das KI-Modell von Wissenschaftlern und KI-Experten mehrerer Universitäten und Unternehmen.

GenSLMs ist das Kürzel für „Genome-Scale Language Models“. Es handelt sich um eine auf Genomik spezialisierte generative Künstliche Intelligenz zur Vorhersage von Gensequenzen. Die KI arbeitet auf Basis großer Sprachmodelle (Large Language Models), die mit einer riesigen Anzahl Gensequenzen trainiert wurden. Entwickelt wurde GenSLMs von einem 34-köpfigen Projektteam mehrerer Universitäten und Unternehmen. Beteiligt waren unter anderem das Argonne National Laboratory, die University of Chicago, die Harvard University, die Northern Illinois University, die Technische Universität München, das California Institute of Technology und die Unternehmen Nvidia und Cerebras.

Die Veröffentlichung der Projektarbeit trägt den Titel „GenSLMs: Genome-Scale Language Models Reveal SARS-Cov-2 Evolutionary Dynamics“. Mithilfe von GenSLMs lassen sich Genmutationen und deren Charakteristiken aktueller COVID-19-Stämme vorhersagen. Das Modell generiert Gensequenzen, die reale COVID-19-Varianten widerspiegeln. Dem Modell wird ein tiefes Verständnis komplexer genetischer Muster nachgesagt. 2022 erhielt GenSLMs den Gordon-Bell-Preis für HPC-basierte COVID-19-Forschung.

Die Fähigkeiten von GenSLMs

GenSLMs wird als eine bahnbrechende KI-Innovation im Bereich der Biowissenschaften angesehen und zeigt bemerkenswerte Fähigkeiten der Genomik. Das KI-Modell ist in der Lage, Genmutationen in aktuellen COVID-19-Stämmen vorherzusagen, obwohl im Training nur „ältere“ Daten der Alpha- und Beta-Varianten verwendet wurden. Die Forscher stellten zum Beispiel fest, dass die von GenSLMs generierten Gensequenzen eng mit den echten, evolutionären Corona-Subvarianten Eris und Pirola übereinstimmten.

Darüber hinaus kann GenSLMs zwischen Virus-Varianten unterscheiden, sie klassifizieren und gruppieren. Dank der Fähigkeit Gensequenzen viraler Mutationen vorherzusagen, lassen sich auf Basis der Ergebnisse des Genomik-Modells Impfstoffe oder spezifische Behandlungsstrategien entwickeln. Mediziner erhalten ein Verständnis dafür, wie es dem Virus durch bestimmte Mutationen gelingt, das menschliche Immunsystem zu überwinden.

Um die genomischen Beziehungen zu visualisieren, verwenden die Forscher keine lineare, sondern eine kreisförmige Darstellung. Diese Visualisierung ist flexibel und unterstützt mehrere interaktive Ebenen zur Darstellung verschiedener Dateneigenschaften und der Beziehungen zwischen Entitäten und Positionen.

Grundsätzlich handelt es sich bei GenSLMs um ein Foundation Model (KI-Basismodell) für sequenzielle biologische Daten, das für unterschiedliche biologische Anwendungen einsetzbar ist. Es ist nicht auf die Genomik beschränkt und kann nach entsprechendem Training und einem Finetuning beispielsweise im Bereich des Protein-Engineerings genutzt werden.

Large Language Models als Grundlage von GenSLMs

Große generative Sprachmodelle wie die Modelle aus der GPT-Familie (Generative Pretrained Transformer) zeigen im Bereich der Verarbeitung natürlicher Sprache (Natural Language Processing – NLP) erstaunliche Fähigkeiten. Sie können Texte erstellen, Texte zusammenfassen, Fragen beantworten, Texte in verschiedene Sprachen übersetzen und vieles mehr. Technisch basieren fast alle aktuellen großen Sprachmodelle auf der sogenannten Transformer-Architektur und künstlichen neuronalen Netzwerken. Diese Architektur eignet sich neben Text auch für andere sequenzielle Daten. Nach entsprechendem Training mit diesen Daten zeigen moderne Sprachmodelle analytische und generative Fähigkeiten in dem jeweiligen Bereich. Beispielsweise können fast alle großen Sprachmodelle auch Programmieren und auf Anweisung Programmcode in verschiedenen Programmiersprachen zu unterschiedlichen Aufgabenstellungen erstellen.

LLMs lassen sich auch mit Gensequenzen trainieren. Diese Sequenzen bestehen aus Nukleotiden, den Grundbausteinen und quasi dem Alphabet der DNS und RNS. Eine Besonderheit von Gensequenzen ist, dass sie aus nur wenigen Grundbausteinen bestehen, aber im Vergleich zu anderen NLP-Anwendungen sehr lang und in großen Teilen sehr ähnlich sind. Dementsprechend haben die Forscher an dem KI-Modell GenSLMs einige Anpassungen vorgenommen. Beispielsweise wurde eine diffusionsbasierte Arbeitsweise implementiert. GenSLMs besitzt die Fähigkeit, lange Folgen von Nukleotiden zu interpretieren. Das ist notwendig, um die Beziehung zwischen verschiedenen Bereichen eines langen Genoms zu verstehen. Beim Coronavirus besteht das Genom aus circa 30.000 Nukleotiden. Ein mit Gensequenzen trainiertes LLM kann, ähnlich wie Sprachmodelle im Textbereich, komplexe genetische Sequenzen analysieren, interpretieren, klassifizieren, gruppieren, vorhersagen und generieren.

Training von GenSLMs

GenSLMs wurde in einem Umfang von 25 Millionen bis 25 Milliarden Parametern mit Sequenzen von Nukleotiden trainiert. Für das Training wurden über 110 Millionen prokaryotische (zelluläre Lebewesen ohne Zellkern) Genomsequenzen verwendet. Anschließend fand eine Feinabstimmung mit über 1,5 Millionen vollständigen Genomsequenzen des COVID-Virus statt. GenSLMs lässt sich aber auch auf Genome anderer Viren oder Bakterien feinabstimmen. Als Rechenressourcen wurden das Argonne Polaris-System und GPU-basierte Supercomputer mit NVIDIA A100 Tensor Core GPU genutzt. Zur Skalierung und KI-Beschleunigung kam unter anderem die Technik des Cerebras Wafer-Scale Cluster zum Einsatz.

(ID:49844278)