Definition Was ist Low-Shot-Lernen?

Anbieter zum Thema

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Xpand Solutions GmbH

Low-Shot-Lernen ist eine Methode des Machine Learnings (ML). ML-Modelle lernen mit nur wenigen Trainingsbeispielen, korrekte Klassifizierungen vorzunehmen. Der Aufwand für das Erstellen großer Mengen gelabelter Trainingsdaten lässt sich mit dem Low-Shot-Lernen reduzieren. Mit dem Zero-Shot-Lernen (ZSL) existiert sogar eine Methode, mit der neue Klassen ohne ein einziges vorheriges Beispiel gelernt werden. Durch ZSL sind Modelle in der Lage, Aufgaben auszuführen, für die sie nicht trainiert wurden.

Low-Shot-Lernen, abgekürzt LSL, ist ein Begriff aus dem Umfeld des Maschinellen Lernens. Manchmal wird der Begriff Few-Shot-Lernen (FSL) verwendet. Es handelt sich um Machine-Learning-Methoden, bei denen die ML-Modelle nur wenige gelabelte Trainingsbeispiele benötigen, um neue Klassen zu lernen und im trainierten Zustand korrekte Klassifizierungen vorzunehmen. Üblicherweise werden die Modelle mit so vielen Trainingsbeispielen wie möglich gefüttert, um optimale Klassifizierungsergebnisse zu erhalten. Low-Shot-Lernen verfolgt einen anderen Ansatz. Es versucht Machine-Learning-Modelle zu erstellen, die nur wenige Trainingsdaten benötigen. So lässt sich der Aufwand für das Erstellen gelabelter Trainingsdaten verringern.

Eine weitere Reduzierung der Trainingsbeispiele führt zum sogenannten One-Shot-Lernen (OSL). Mit OSL sind die Modelle in der Lage, mit nur einem einzigen Trainingsbeispiel, eine neue Klasse zu erlernen und Daten anschließend zuverlässig zu klassifizieren. ML-Modelle, die das sogenannte Zero-Shot-Lernen (ZSL) beherrschen, können sogar Klassifizierungen vornehmen und Aufgaben ausführen, für die sie gar nicht trainiert wurden. Low-Shot-Lernen nutzt für das Training die Kombination bekannter Beispiele bereits gelernter Klassen oder semantische Informationen und lernt neuartige Klassen aus nur wenigen Trainingsbeispielen. Die Machine-Learning-Methode des Low-Shot-Lernens kommt für zahlreiche Anwendungen wie für die Bilderkennung, das Natural Language Processing, die Robotik und vieles mehr zum Einsatz.

Beschreibung der Problemstellung

Üblicherweise verfolgt das Machine Learning den Ansatz, Modelle mit möglichst vielen gelabelten Daten zu trainieren. Je mehr Beispiele in den Trainingsdatensätzen vorhanden sind, desto genauer lassen sich die verschiedenen Klassen lernen und im trainierten Zustand die korrekten Klassifizierungen vornehmen. Beispielsweise enthält der MNIST-Datensatz 60.000 Beispiele mit handgeschriebenen Ziffern, um ML-Modelle für die Klassifizierung von nur zehn verschiedenen Ziffern zu trainieren. Das Erstellen solch großer gelabelter Trainingsdatensätze ist aufwendig, zeitraubend und teuer. Für komplexe ML-Aufgaben und Modelle für viele verschiedene Klassen ist das kaum zu leisten.

Methoden wie das Low-Shot-Lernen versuchen für diese Problemstellung eine Lösung bereitzustellen. Sie orientieren sich näher am menschlichen Lernen. Ein Mensch ist in der Lage, aus wenigen Beispielen effizient zu lernen. Oft genügt ein einziges Beispiel (zum Beispiel das Bild einer ihm bisher unbekannten Tierart), um anschließend korrekte Zuordnungen (andere Bilder der gleichen Tierart) zu treffen. Um beim Beispiel des MNIST-Datensatzes zu bleiben, ließe sich der Datensatz mit dem One-Shot-Lernen auf zehn Trainingsbilder reduzieren.

Abgrenzung der Begriffe Low-Shot-Lernen, One-Shot-Lernen und Zero-Shot-Lernen

Low-Shot-Lernen, One-Shot-Lernen und Zero-Shot-Lernen sind Machine-Learning-Methoden, die alle eine ähnlichen Zielsetzung verfolgen. Die für das Training notwendige Menge gelabelter Trainingsdaten soll reduziert werden. Machine-Learning-Modelle sollen mit nur wenigen Trainingsbeispielen neue Klassen lernen und anschließend korrekte Klassifizierungen vornehmen. Extreme Formen des Low-Shot-Lernens sind das One-Shot- und das Zero-Shot-Lernen. Beim One-Shot-Lernen lernt das Modell eine neue Klasse mit nur einem einzigen Trainingsbeispiel. Zero-Shot-Lernen geht noch einen Schritt weiter. Modelle können Klassifizierungen von Instanzen vornehmen, deren Klassen sie im Training gar nicht gesehen haben. Im Grunde erhält das Modell die Fähigkeit, Aufgaben zu lösen, für die es nicht trainiert wurde beziehungsweise für die es keine Trainingsbeispiele erhalten hat.

Funktionsweise des Low-Shot-Lernens

Es existieren zahlreiche verschiedene theoretische und praktische Ansätze, wie sich für ein Machine-Learning-Modell die Anzahl an Trainingsbeispielen beim Lernen von Klassen reduzieren lässt. Im Detail auf diese einzugehen, sprengt den Rahmen dieser Definition. Grundsätzlich handelt es sich beim Low-Shot-Lernen um eine Problemstellung des Meta-Lernens. Die Effizienz des Lernens soll durch das Regulieren des Lernansatzes verbessert werden. Das Machine-Learning-Modell lernt quasi, wie es lernt, eine Aufgabenstellung zu lösen. Die Modelle erkennen Informationen und Muster in den Trainingsdaten, die auf neue, bisher nur wenig oder nicht gezeigte Klassen schließen lassen. Es werden Ähnlichkeiten bereits gelernter Klassen kombiniert oder verglichen. Das Modell transformiert Parameter, beachtet semantische Attribute und Zwischenschichten oder bezieht globales Wissen mit ein, um mögliche Merkmale für bisher noch nicht oder wenig beobachtete Klassen zu erstellen.

Anwendungen des Low-Shot-Lernens

Für das Low-Shot-Lernen gibt es zahlreiche Anwendungsbereiche. Dazu zählen:

• Bild- und Objekterkennung

• Gesichtserkennung

• Computerlinguistik (Natural Language Processing – NLP)

• maschinelle Übersetzungen

• Textvervollständigung

• Text- und Sprachdialogsysteme

• Informationsextraktion

• autonomes Fahren

• Robotik

• medizinische Bilddiagnostik

Im Bereich des Natural Language Processings besitzen bekannte Sprachmodelle wie das Megatron-Turing Natural Language Generation Model (MT-NLG) oder der Generative Pretrained Transformer 3 (GPT-3) Fähigkeiten des Low-Shot- und des Zero-Shot-Lernens. Sie erledigen ähnliche NLP-Aufgaben ohne oder mit nur geringer vorheriger Abstimmung.

(ID:48022602)