Definition Was ist ein Large Multimodal Model (LMM)?

Anbieter zum Thema

Fsas Technologies GmbH

INFOMOTION GmbH

QUNIS GmbH

Ein Large Multimodal Model, LMM, ist ein großes generatives KI-Modell, das multimodale Informationen wie Texte, Bilder, Videos, Audioinhalte und andere Informationen sowie Kombinationen dieser verstehen, verarbeiten und generieren kann. LMMs sind eine Weiterentwicklung großer generativer Sprachmodelle (Large Language Models) und ein nächster Schritt hin zu einer Künstlichen Allgemeinen Intelligenz (Artificial General Intelligence – AGI).

Das Akronym für Large Multimodal Model lautet LMM. Bei einem LMM handelt es sich um ein großes multimodales KI-Modell mit generativen Fähigkeiten. Es ist in der Lage, multimodale Informationen zu verstehen, zu verarbeiten und zu generieren. Neben Text sind das zum Beispiel Videos, Bilder oder Audioinhalte. Das LMM kann auch mit Kombinationen dieser Informationen umgehen.

LMMs sind eine Weiterentwicklung unimodaler generativer KI-Modelle. Sie sind aus großen generativen Sprachmodellen (Large Language Models – LLMs) entstanden, die lediglich Texte verstehen und generieren. Große multimodale KI-Modelle sind ein nächster Schritt hin zu einer Künstlichen Allgemeinen Intelligenz (Artificial General Intelligence – AGI). Da sie Informationen verschiedener Modalitäten interpretieren und erzeugen können, sind sie der menschlichen Wahrnehmung und Informationsverarbeitung ähnlicher. Sie integrieren und kombinieren quasi mehrere Sinne. Dadurch kann ein LMM komplexe Aufgabenstellungen erledigen, die die Verarbeitung unterschiedlicher Datentypen und Informationen erfordern. Beispielsweise versteht ein LMM einen Nachrichtentext inklusive zugehöriger Bilder, Videos oder Audioclips und kann auch solche Inhalte erzeugen.

Aktuell (Stand Anfang 2024) gibt es bereits einige große Sprachmodelle mit multimodalen Fähigkeiten, die sich grundsätzlich der Kategorie der LMMs zuordnen lassen. Dazu zählen zum Beispiel GPT-4 von OpenAI oder Gemini von Google. Anzumerken ist, dass Text-zu-Bild-Modelle wie Midjourney, Stable Diffusion oder DALL-E, obwohl sie grundsätzlich mit zwei Modalitäten (Texte und Bilder) umgehen können, nicht der Kategorie der LMMs zugerechnet werden, da ihnen die Komponente eines großen Sprachmodells fehlt.

Die multimodalen Fähigkeiten eines LMM

Zu den von einem Large Multimodal Model interpretierbaren und generierbaren Informationen zählen:

• Texte: Textinhalte analysieren, verstehen, generieren, übersetzen oder zusammenfassen und Fragen beantworten

• Bilder: Bilder (Fotografien, Zeichnungen und andere visuelle Darstellungen) analysieren, interpretieren und generieren sowie den Kontext eines Bildes und seines Bildinhalts verstehen

• Videos: bewegte Bilder und zugehörige Audioinhalte analysieren, verstehen und generieren

• Audio: Audioinhalte wie Sprache, Musik, Sounds und andere erkennen, verstehen und generieren

Zu diesen genannten Informationen können weitere multimodale Informationen wie 3D-Informationen, Sensordaten, Datenreihen und andere hinzukommen. Die Multimodalität bezieht sich sowohl auf die Eingabedaten als auch auf die Ausgabedaten. Je nach Aufgabenstellung und Einsatzzweck des Modells sind die Ein- oder Ausgaben unimodal und/oder multimodal.

In welcher Form und Kombination einem multimodalen Modell die Eingabedaten präsentiert werden oder welche Modalitäten die Ausgabedaten haben, ist nicht definiert. Ein Large Multimodal Model kann beispielsweise Texte verstehen, die ihm als Bilder oder als Sprachaufnahme präsentiert werden und beides auch generieren. So lässt sich dem Modell eine bestimmte Aufgabe stellen, indem man ihm beispielsweise einen mit Bildern, Videos oder Audioinhalten angereicherten Text liefert.

Einsatzmöglichkeiten großer multimodaler KI-Modelle

Die Multimodalität eines LMM eröffnet der Künstlichen Intelligenz zahlreichen neue Anwendungsbereiche und Interaktionsmöglichkeiten. Ein LMM ist nicht auf den Anwendungsbereich der natürlichen Sprachverarbeitung begrenzt. Es ist eine natürliche, menschenähnliche und auf verschiedene Sinneseindrücke basierende Kommunikation und Interaktion mit einem solchen Modell möglich. Da sich visuelle und andere Elemente einbeziehen lassen, erhöht sich die Benutzerfreundlichkeit der Künstlichen Intelligenz.

Beispielhafte Anwendungsmöglichkeiten sind:

• im Gesundheitswesen für Systeme, die Diagnosen basierend auf multimodalen Informationen (Röntgenbilder, Datenreihen, Arztbriefe, Gespräche und anderes) erstellen

• im Gaming-Bereich für immersive Spielerlebnisse

• im Marketing und Handel für personalisierte Empfehlungssysteme, die multimodale Kunden- und Konsumdaten analysieren

• im Bildungsbereich zum Erstellen von multimodalem Schulungsmaterial

• in der Meteorologie zur Erstellung von Wettervorhersagen basierend auf Satellitenbildern, Datenreihen und anderen multimodalen Informationen

• in der Dokumentenverarbeitung zur intelligenten und automatisierten Verarbeitung und Verwaltung multimodaler Dokumente und Informationen

Architektur und prinzipielle Funktionsweise eines Large Multimodal Model

Derzeit existierende große multimodale Modelle sind fast alle aus der Grundarchitektur großer generativer Sprachmodelle hervorgegangen. Die Architektur basiert auf künstlichen neuronalen Netzwerken und der für Large Language Models üblichen Transformer-Architektur. Für multimodale Fähigkeiten wurde diese Architektur entweder erweitert oder umgestaltet. Unter anderem werden verschiedene Formen von neuronalen Netzen wie konvolutionale (faltende) neuronale Netze (CNNs) oder rekurrente neuronale Netze (RNNs) kombiniert und weiterentwickelte Verfahren genutzt, die beispielsweise auf Konzepten und Ansätzen des von OpenAI entwickelten CLIP (Contrastive Language-Image Pre-training) oder des von DeepMind entwickelten Flamingo basieren.

Vom Grundprinzip her benötigt ein LMM diese drei Funktionskomponenten:

• Für die verschiedenen Modalitäten geeignete Encoder, die für jede Modalität spezifische Dateneinbettung (Datenentsprechungen – Embeddings) generieren.

• Mechanismen, die die Einbettungen der verschiedenen Modalitäten in den multimodalen Einbettungsraum überführen.

• Ein großes Sprachmodell, das auf Input in verschiedenen Modalitäten konditioniert werden kann und diese beim Generieren der Antworten einbezieht und berücksichtigt

Im Vergleich zu einem Sprachmodell benötigt ein LMM für das Pre-training neben Text weitere Trainingsdaten wie Bilder, Videos und Audioinhalte. Es kommt ein sogenanntes multimodales tiefes Lernen (Multimodal Deep Learning) zum Einsatz. Multimodal Deep Learning ist ein Spezialgebiet des Machine Learning und erlaubt den neuronalen Netzen das Lernen aus unterschiedlichen Datentypen.

Nach dem Pre-training wird das LMM mit speziellen Datensätzen für unterschiedliche Modalitäten feinabgestimmt. Die Feinabstimmung ist weiträumiger gefasst als bei einem Sprachmodell, da ein multimodales Modell wesentlich mehr Anwendungsmöglichkeiten hat. Die Modelle sollen auch für unbekannte Aufgabenstellungen vorbereitet sein. Dafür sind Datensätze notwendig, die das Modell auf modalitätenübergreifende Beziehungen abstimmen. Insgesamt ist die Feinabstimmung für eine bestimmte multimodale Aufgabe aufwendiger als bei einem Large Language Model.

(ID:49955564)