Mobile-Menu

KI-Architekturen im Wandel Google Titans: KI lernt in Echtzeit!

Von Berk Kutsal 1 min Lesedauer

Anbieter zum Thema

Google Germany GmbH
Fsas Technologies GmbH
QUNIS GmbH
Fivetran Germany GmbH

Google Research stellt mit Titans und dem theoretischen Rahmen MIRAS eine Architektur vor, die Large Language Models ein langfristiges Gedächtnis verschaffen soll. Der Ansatz kombiniert kurze und lange Kontextfenster und wählt selbstständig aus, welche Informationen behalten oder verworfen werden.

Google Research hat eine neue neuronale Architektur namens Titans vorgestellt, die KI-Modelle ermöglicht, Daten in Echtzeit während der Inferenz zu lernen und zu speichern.(Bild: Google)
Google Research hat eine neue neuronale Architektur namens Titans vorgestellt, die KI-Modelle ermöglicht, Daten in Echtzeit während der Inferenz zu lernen und zu speichern.
(Bild: Google)

Google Research entwickelt ein Architekturkonzept, das KI-Modelle über den bekannten Transformer-Ansatz hinaus skalieren soll. Der Vorschlag besteht aus zwei Ebenen: Titans als praktische Modellfamilie und MIRAS als theoretisches Fundament. Beide Systeme verfolgen die Idee, ein neuronales Langzeitgedächtnis in KI-Modelle einzubauen. Klassische Attention-Mechanismen bleiben bestehen, werden aber um modulare Speicherschichten ergänzt, die Informationen langfristig ablegen und über Aufgaben hinweg nutzbar machen.

Der Ansatz adressiert ein zentrales Problem aktueller Modelle: Kontextfenster werden zwar größer, wachsen aber nicht sinnvoll mit den Anforderungen. Titans erweitert den Spielraum deutlich und verarbeitet Eingaben über Millionen Tokens hinweg. Diese Langzeitkomponente basiert nicht auf starren Vektorspeichern, sondern auf einem tiefen neuronalen Netz, das Informationen komprimiert und konzeptuell weiterführt.

Ein zentrales Element ist eine Mechanik, die überraschende oder neuartige Eingaben erkennt und speichert, während redundante Daten automatisch verworfen werden. Ergänzt wird dies durch ein gesteuertes Vergessen, das den Speicher kohärent hält und Modell-Drift reduzieren soll.

In internen Tests soll Titans in Disziplinen wie Sprachverarbeitung, Zeitreihenanalyse und Genomik etablierte Transformer und moderne State-Space-Modelle übertroffen haben. Parallel legt Google MIRAS als theoretischen Rahmen aus, um vergleichbare Modellvarianten mithilfe ähnlicher Speicherregeln zu entwickeln. Damit entsteht eine flexible Klasse von Architekturen, die langfristiges Lernen während der Laufzeit ermöglichen soll.

(ID:50652252)

Jetzt Newsletter abonnieren

Täglich die wichtigsten Infos zu Big Data, Analytics & AI

Mit Klick auf „Newsletter abonnieren“ erkläre ich mich mit der Verarbeitung und Nutzung meiner Daten gemäß Einwilligungserklärung (bitte aufklappen für Details) einverstanden und akzeptiere die Nutzungsbedingungen. Weitere Informationen finde ich in unserer Datenschutzerklärung. Die Einwilligungserklärung bezieht sich u. a. auf die Zusendung von redaktionellen Newslettern per E-Mail und auf den Datenabgleich zu Marketingzwecken mit ausgewählten Werbepartnern (z. B. LinkedIn, Google, Meta).

Aufklappen für Details zu Ihrer Einwilligung

Weiterführende Inhalte