Definition Was ist Google LaMDA?

Google LaMDA ist ein auf Künstlicher Intelligenz (KI) basierendes Sprachmodell, das auf Dialoge spezialisiert ist. Mit dem Sprachmodell Google LaMDA sollen fundierte Dialoge und natürliche Gespräche mit offener Themenwahl möglich werden. Das Sprachmodell wurde mit Dialogdaten trainiert und basiert auf der Transformer-Architektur. Es kann sowohl die Rolle eines Gesprächspartners einnehmen als auch aus der Sicht von Gegenständen oder Objekten antworten.

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Sinequa

Google LaMDA steht für „Google Language Model for Dialogue Applications“. Es handelt sich um ein von Google entwickeltes und erstmals auf der Google-I/O-Entwicklerkonferenz im Jahr 2021 vorgestelltes Sprachmodell. Es befindet sich noch in einer recht frühen Entwicklungsphase und basiert auf Künstlicher Intelligenz. Entwickelt wurde Google LaMDA aus einem im Jahr 2020 vorgestellten Chatbot-Prototypen mit dem Namen Meena.

Mit Google LaMDA sind fundierte, natürliche Dialoge und Gespräche mit offener Themenwahl möglich. Laut Google zeigt das Sprachmodell besondere Qualitäten in den Kategorien Einfühlungsvermögen, Spezifität und Relevanz. Die Antworten des Sprachmodells sollen nach Aussage der Entwickler sowohl spezifisch als auch sinnvoll sein. Google LaMDA kann die Rolle eines Gesprächspartners einnehmen oder aus der Sicht von Gegenständen und Objekten antworten. Auf der Google-Entwicklerkonferenz wurden Videos gezeigt, in denen Google LaMDA als Chatbot die Rolle eines Papierfliegers und des Zwergplaneten Pluto einnimmt. Es antwortete aus deren Perspektive auf die gestellten Fragen.

LaMDA nutzt wie andere Sprachmodelle, zum Beispiel GPT-3 (Generative Pre-trained Transformer 3), die Transformer-Architektur. Im Gegensatz zu vorhandenen Sprachmodellen wurde es speziell mit Dialogdaten trainiert. In einem später im Jahr 2021 veröffentlichten Paper gibt Google nähere Einblicke zum aktuellen Stand des Sprachmodells und informiert über Details zum Trainingsprozess.

Merkmale und Besonderheiten von Google LaMDA

Google LaMDA basiert wie andere KI-Sprachmodelle, zum Beispiel GPT-3 oder BERT, auf der von Google entwickelten und seit 2017 unter Open-Source-Lizenz veröffentlichten Transformer-Architektur. Diese Architektur gehört zu den Deep-Learning-Architekturen und lässt sich beispielsweise für das Generieren oder Zusammenfassen von Texten einsetzen.

Die Transformer-Architektur zeigt im Vergleich zu Long-Short-Term-Memory-Architekturen (LSTM) eine stark verbesserte Effizienz. Sie besteht im Wesentlichen aus in Serie geschalteten Kodierern und Dekodierern sowie einem speziellen Aufmerksamkeitsmechanismus, der die Eingabedaten (zum Beispiel Wörter) im Kontext der gesamten Umgebungsdaten (zum Beispiel im Kontext der Sätze oder des kompletten Dokuments) verarbeitet. Die Kontext-Kapazität ist wesentlich höher als bei LSTM-Netzwerken.

Im Gegensatz zu anderen Sprachmodellen wurde LaMDA direkt mit Dialogen trainiert. Dadurch soll das Modell laut den Entwicklern feine Nuancen der natürlichen Unterhaltung erlernt haben. Antworten des Sprachmodells sollen sowohl spezifisch als auch sinnvoll sein. Hierfür ist es notwendig, dass Google LaMDA den Kontext erkennt und so den Hintergrund der Dialoge erfasst. Google nennt folgende Details zum Trainingsprozess des Sprachmodells LaMDA: Im Vortraining wurde ein starker Fokus auf Dialogdaten gelegt, wodurch sich die Dialogfähigkeiten von LaMDA schon vor der Feineinstellung verbesserten. Das größte LaMDA-Modell hat über 100 Milliarden Parameter und wurde mit einem Infiniset-Datensatz trainiert, der aus mehreren Milliarden Dokumenten und Dialogen besteht. Zusätzlich zum Training mit dem Infiniset-Datensatz wurde LaMDA mit mehreren manuell erstellten Datensätzen trainiert. Diese enthielten mehrere 1.000 gelabelte Dialoge.

Eine Besonderheit des Sprachmodells Google LaMDA ist, dass es mit der offenen Themenwahl natürlicher Gespräche umgehen kann. Ein menschlicher Dialog kann bei einem bestimmten Thema beginnen und bei einem völlig anderen Thema enden. LaMDA beherrscht diese themenoffene Dialogführung. Google LaMDA ist zudem in der Lage, sowohl die Rolle eines Gesprächspartners einzunehmen als auch aus der Sicht von Gegenständen oder Objekten zu antworten.

Um zu verhindern, dass Google LaMDA durch die Adaption von Vorurteilen, hasserfüllter Sprache, gewalttätiger Inhalte oder Falschinformationen missbräuchlich verwendet werden kann, folgt das Sprachmodell KI-Richtlinien mit speziell von Google entwickelten Sicherheitsmerkmalen.

Mögliche Anwendungen des Sprachmodells Google LaMDA

Laut Google soll LaMDA in Produkten wie Google Search, Google Workspace und dem Google Assistant zum Einsatz kommen. Den Google Assistant soll das KI-Sprachmodell auf ein neues Dialogniveau heben. Auch die Google Suche ließe sich mit dem KI-Sprachmodell auf Basis von Frage-/Antwort-Dialogen wesentlich vereinfachen. Das System könnte direkt sinnvolle Antworten auf gestellten Fragen liefern. Dank der natürlichen Art der Dialoge und der Interaktion scheinen die Anwendungsmöglichkeiten für Google LaMDA fast unbegrenzt. Aufgrund der besonderen Fähigkeiten des Sprachmodells ist der grundsätzliche Einsatz für Chatbots und Sprachassistenten unterschiedlicher Art und in verschiedenen Anwendungen denkbar.

(ID:48096206)