Definition Was ist Überanpassung?

Anbieter zum Thema

Fsas Technologies GmbH

INFOMOTION GmbH

Überanpassung ist ein Phänomen und unerwünschtes Verhalten aus den Bereichen Statistik und Künstliche Intelligenz. Es tritt auf, wenn sich ein Modell zu eng an Trainingsdaten anpasst. Die Überanpassung führt zu sehr genauen Vorhersagen für Trainingsdaten, bereitet einem Modell aber Probleme, Gelerntes zu generalisieren und die richtigen Schlussfolgerungen aus anderen Daten abzuleiten.

Der englische Fachbegriff für Überanpassung lautet Overfitting. Beim Overfitting handelt es sich um ein Phänomen aus dem Bereich der Statistik und der Künstlichen Intelligenz. Es kann zum Beispiel beim Maschinellen Lernen auftreten. Überanpassung bedeutet, dass sich das Modell zu eng an die Trainingsdaten anpasst. Es lernt die Muster und Merkmale der Trainingsdaten zu genau und hat Schwierigkeiten, das Gelernte zu verallgemeinern. Das Modell kann zwar exakte Vorhersagen für die Trainingsdaten liefern, hat aber Probleme, die richtigen Schlussfolgerungen aus neuen, bisher ungesehenen Daten abzuleiten.

Overfitting ist ein unerwünschtes Verhalten. Trotz der hohen Modellgüte für Trainingsdaten und der guten Trainingsergebnisse hat das Modell eine schlechte Vorhersagegenauigkeit. Das Modell hat die Trainingsdaten quasi „auswendig gelernt“, kann aber sein „Wissen“ nicht auf andere Daten übertragen. Im ungünstigsten Fall führt eine massive Überanpassung zu einem vollständig unbrauchbaren Vorhersagemodell. Die Überanpassung von KI-Modellen gilt es daher zu vermeiden.

Ursachen für eine Überanpassung beim Maschinellen Lernen

Machine-Learning-Modelle werden zunächst mit bekannten Daten trainiert. Basierend auf den in den Trainingsdatensätzen erkannten Mustern und Merkmalen sind sie anschließend in der Lage, Vorhersagen für neue Datensätze zu treffen oder sinnvolle Schlussfolgerungen aus diesen abzuleiten. Ist das KI-Modell aber zu komplex, erfasst es unter Umständen zu feine Muster oder Merkmale, die keine wirkliche Bedeutung haben. Eine unzureichende Diversität der Trainingsdaten kann dazu führen, dass falsche Muster, subtile Merkmale oder zufälliges Rauschen als relevant interpretiert werden. Zufälligen oder irrelevanten Mustern und Merkmalen wird zu viel Bedeutung zugemessen.

Ursachen für ein solches Verhalten sind, dass das Modell entweder zu viele Parameter im Vergleich zur Trainingsdatenmenge und Trainingsdatendiversität hat, es zu lange mit den gleichen Daten trainiert wurde, die Menge der Trainingsdaten zu klein ist oder die Trainingsdatensätze zu viele irrelevante Informationen beinhalten. Eine weitere Ursache für Overfitting kann auch sein, dass ein Modell ein zu großes „Gedächtnis“ hat und es Merkmale und Muster der Trainingsdaten auswendig lernt, anstatt daraus auf Daten anwendbare Regeln abzuleiten.

Beispiele für Überanpassung

Zur Verdeutlichung des Phänomens der Überanpassung im Folgenden einige einfache Beispiele:

• Ein Modell soll Fotos von verschiedenen Tieren richtig klassifizieren. In den Trainingsdaten sind die Tiere in unterschiedlichen Umgebungen und Landschaften zu sehen. Unter Umständen passt sich das Modell zu eng an die Hintergründe der Tierbilder anstatt an die Tierabbildungen selbst an. Es findet irrelevante Zusammenhänge zwischen Hintergründen und Tieren und folgert daraus, um welches Tier es sich handelt. Bei Fotos von Tieren in anderen Umgebungen nimmt das Modell unter Umständen falsche Klassifizierungen vor.

• Ein Modell soll handgeschriebene Ziffern erkennen. Es wird aber zu lange mit Trainingsdaten handgeschriebener Ziffern bestimmter Personen trainiert, weshalb es sich zu stark an die besondere Schreibweise der Personen anpasst, anstatt die tatsächlich relevanten Formen für die jeweilige Ziffer zu erlernen. Es erkennt anschließend zwar die von einer bestimmten Person geschriebenen Ziffern perfekt, hat aber Probleme, Ziffern anderer Handschriften richtig zuzuordnen.

• Ein Modell soll Prüfungsfragen eines bestimmten Fachgebiets richtig beantworten. Es wird mit Prüfungsaufgaben aus der Vergangenheit trainiert und kann diese nach dem Training alle richtig lösen. Wird es aber mit neuen Prüfungsfragen konfrontiert, scheitert es. Das Modell hat die Lösungen für die Prüfungsaufgaben im Training mehr oder weniger auswendig gelernt, aber keine tatsächlichen Regeln zum Lösen neuer Aufgaben abgeleitet. Es ist nicht in der Lage, sein Wissen zu generalisieren.

Abgrenzung zur Unteranpassung

Ein weiteres beim Machine Learning auftretendes Phänomen ist die Unteranpassung (Underfitting). Eine Unteranpassung tritt auf, wenn relevante Muster und Merkmale der Trainingsdaten außer Acht gelassen werden. Ein unterangepasstes Machine-Learning-Modell erzielt weder bei den Trainingsdaten noch bei neuen Daten gute Vorhersage- oder Klassifizierungsergebnisse. Ursachen für eine Unteranpassung sind beispielsweise nicht genügend Trainingsdaten, Trainingsdaten mit zu wenig signifikanten Merkmalen, ein zu kurzes Training oder ein zu einfaches beziehungsweise ein für die Eingangsdaten nicht geeignetes Modell. Da Over- und Underfitting viele gegenläufige Ursachen haben, wird beim Training von KI-Modellen in der Regel versucht, eine Art von Gleichgewicht zwischen Unter- und Überanpassung zu finden.

Erkennen von Überanpassung

Um KI-Modelle mit guten Klassifizierungs- oder Vorhersageleistungen zu erhalten, ist es wichtig, eine Über- oder Unteranpassung zu erkennen. Grundsätzlich lässt sich eine Überanpassung daran erkennen, dass die Vorhersagen auf Trainingsdaten sehr genau sind, aber bei neuen, bisher ungesehenen Daten versagen. Die Modellgenauigkeit ist beim Trainingsdatensatz hoch, bei neuen Daten aber gering. Da die Überanpassung häufig erst ab einer bestimmten Trainingsdauer auftritt und anschließend immer weiter zunehmen kann, ist es sinnvoll, das Vorhersageverhalten während des Trainings mit Trainingsdaten und mit einem Satz Validierungsdaten immer wieder zu überprüfen. Trägt man die Fehlerquote der Vorhersagen für Trainings- und Testdaten in einem Diagramm auf, sinken beide Quoten zunächst. Ab einer bestimmten Trainingsdauer erreicht die Fehlerquote für die Testdaten ein dauerhaft niedriges Niveau, während die Fehlerquote für die Testdaten zu steigen beginnt. Dieses Verhalten deutet auf eine Überanpassung hin. Mithilfe dieser Methode ist es möglich, einen optimalen Zeitpunkt für das Trainingsende zu finden.

Maßnahmen zur Vermeidung von Überanpassung

Überanpassung ist ein unerwünschtes Verhalten und sollte vermieden werden. Maßnahmen zur Vermeidung von Overfitting sind:

• Verringerung der Komplexität des Modells (zum Beispiel durch Reduzierung der Parameteranzahl)

• Regularisierung (Bewertung und Gewichtung von Merkmalen nach Wichtigkeit)

• rechtzeitiges Stoppen des Trainings (Überwachen des Trainings mit Validierungsdaten)

• Optimierung und Diversifizierung der Trainingsdaten

• Bereitstellung von mehr Trainingsdaten mit relevanten Mustern und Merkmalen

• künstliche Erweiterung der Trainingsdaten durch Transformationen (Datenaugmentation)

(ID:49991127)