Definition Was ist LAMBADA (LAnguage-Model-BAsed Data Augmentation)?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Disy Informationssysteme GmbH

Xpand Solutions GmbH

LAMBADA (LAnguage-Model-BAsed Data Augmentation) ist eine Methode, mit der sich auf Basis vorhandener Trainingsdaten weitere Trainingsdaten synthetisch erstellen lassen. Die Trainingsdaten werden mithilfe eines bereits trainierten und speziell feinabgestimmten Sprachmodells automatisch erzeugt. Typischer Einsatzzweck der generierten Daten ist das Training von Modellen zur Textklassifizierung im NLP-Bereich. Ein Training mit den synthetisch vermehrten Daten verbessert die Textklassifizierungsleistung der Modelle in vielen Fällen signifikant.

Das Kürzel LAMBADA steht für LAnguage-Model-BAsed Data Augmentation. Es handelt sich um eine Methode zur synthetischen Vermehrung (Augmentation) vorhandener Trainingsdaten für Textklassifizierungsaufgaben mithilfe eines bereits trainierten und feinabgestimmten Sprachmodells. Die Methode wurde maßgeblich von Ateret Anaby-Tavor, Boaz Carmeli, Esther Goldbraich, Amir Kantor, George Kour, Segev Shlomov und Naama Tepper von IBM Research AI, der University of Haifa und Technion – Israel Institute of Technology entwickelt und in einem Paper mit dem Titel „Do Not Have Enough Data? Deep Learning to the Rescue“ veröffentlicht.

Der Grundgedanke der LAMBADA-Methode ist es, zur Vermehrung gelabelter Trainingsdaten ein mit großen Textmengen trainiertes Sprachmodell zu verwenden, das Texte bereits in hoher Qualität erzeugen kann. Zur Augmentation kommt ein GPT-Sprachmodell (Generative Pretrained Transformer) zum Einsatz, das für die synthetische Trainingsdatenvermehrung speziell feinabgestimmt wird. Die generierten Daten werden anschließend hinsichtlich qualitativer Aspekte gefiltert, um nur qualitativ hochwertige Textdaten zu übernommen. Die LAMBADA-Methode hat Ähnlichkeiten mit einigen Meta-Learning-Algorithmen. Untersuchungen zeigen, dass ein zusätzliches Training mit den synthetisch generierten Daten die Textklassifizierungsleistung einiger Modelle in vielen Fällen signifikant verbessert.

Motivation für die Entwicklung der LAMBADA-Methode

Damit ein NLP-Sprachmodell Textklassifizierungsaufgaben wie das thematische Sortieren von Nachrichten oder die automatische Verschlagwortung für ein Dokumentenmanagementsystem zuverlässig durchführen kann, ist ein umfangreiches Training notwendig. In einem überwachten Lernvorgang (Supervised Learning) mit gelabelten Trainingsdaten wird das Sprachmodell darauf trainiert, korrekte Klassifizierungen vorzunehmen. Das Training erfordert möglichst große Mengen gelabelter Daten, über die das Modell Rückmeldungen erhält, ob die Klassifizierungsaufgaben korrekt durchgeführt wurden.

Hochwertige Trainingsdaten manuell zu erstellen ist eine aufwendige, zeitraubende und kostspielige Aufgabe. Gute Trainingsdaten sind daher Mangelware. Data-Augmentation (Datenvermehrung) bietet eine Lösung für dieses Problem. Auf Basis existierender Trainingsdaten vermehrt Data-Augmentation die Datenbasis für das Training.

Es existieren zahlreiche verschiedene Methoden zur synthetischen Trainingsdatenvermehrung. Einfache Methoden erweitern die Trainingsdaten, indem die vorhandenen Daten nur verändert, umgestellt oder aufgefüllt werden. Mit solchen Erweiterungsmethoden vermehrte Trainingsdaten sind nur bedingt für Textklassifizierungsaufgaben einsetzbar und wenig effizient. Unter Umständen wirken sich die Daten sogar kontraproduktiv auf die Textklassifizierungsperformance eines bestimmten Modells aus. Aus diesem Grund wurde die LAMBADA-Methode entwickelt. Sie nutzt die Fähigkeiten eines modernen, leistungsfähigen und bereits trainierten GPT-Sprachmodells zur Generierung neuer gelabelter Trainingsdaten.

Prinzipielle Funktionsweise der LAMBADA-Methode

Die Grundidee hinter der LAMBADA-Methode ist es, ein modernes und leistungsfähiges Sprachmodell zur Trainingsdatenvermehrung zu verwenden. Auf Basis vorhandener Trainingsdaten generiert das Sprachmodell synthetisch neue Daten und erhöht die Vielfalt an Trainingsbeispielen. Die LAMBADA-Methode nutzt ein bereits mit großen Textmengen trainiertes GPT-Sprachmodell mit fortgeschrittenen Textgenerierungsfähigkeiten. Im Wesentlichen besteht die LAMBADA-Methode aus den beiden Schritten:

• Feinabstimmung des Modells zur Generierung gelabelter Daten

• Filterung der erstellten Datensätze hinsichtlich qualitativer Kriterien

Das Sprachmodell wird mithilfe der bereits vorhandenen gelabelten Daten (Textpassagen / Sätze) darauf feinabgestimmt, neue gelabelte Texte zu erzeugen. Zusätzlich werden die erstellten neuen Trainingsdaten gefiltert und nur qualitativ hochwertige behalten. Die gefilterten Daten ergeben den neuen synthetischen Trainingsdatensatz.

Die schon vorhandenen und die synthetisch generierten Trainingsdaten werden anschließend gemeinsam dafür genutzt, ein Textklassifizierungsmodell zu trainieren.

Ergebnisses beim Einsatz der LAMBADA-Methode

Der Vergleich eines nur mit den ursprünglich vorhandenen Daten trainierten Modells und eines mit den ursprünglichen und mithilfe der LAMBADA-Methode synthetisch generierten Daten trainierten Modells zeigt, dass sich die Textklassifizierungsleistung in vielen Fällen signifikant verbessert. Zudem haben die KI-Experten in ihrer Veröffentlichung nachgewiesen, dass Modelle, die mit per LAMBADA-Methode vermehrten Trainingsdaten trainiert wurden, eine deutlich bessere Klassifizierungsleistung zeigen als Modelle, die mit über andere Data-Augmentation-Methoden (zum Beispiel EDA, CVAE oder CBERT) synthetisierten Daten trainiert wurden. Der Einsatz von LAMBADA ist dann besonders sinnvoll, wenn nur wenige Trainingsdaten zur Verfügung stehen. Ab einer bestimmten Menge an vorhandenen Trainingsdaten verbessert die Trainingsdatenvermehrung mit LAMBADA die Textklassifizierungsleistung nur noch unmerklich. Die Vorteile der LAMBADA-Methode sind kurz zusammengefasst:

• das Training mit den ursprünglichen und den synthetisch generierten Trainingsdaten verbessert die Textklassifizierungsleistung

• die Qualität der mit LAMBADA vermehrten Trainingsdaten und ihre Wirksamkeit für das Training von Textklassifizierungsmodellen übertrifft andere Data-Augmentation-Methoden deutlich

(ID:49024301)