Kommentar von Christian Schreiner, Eoda Model Drift – Hintergründe und Empfehlungen

Digitalisierte Unternehmen stehen oft vor bestimmten Herausforderungen: Dienste, wie Absatzprognosen, Nutzerverhalten, Automatisierungen oder andere Vorhersagen, die vorher zuverlässig funktionierten, werden mit der Zeit immer ungenauer oder unzuverlässiger.

Die „Schuld“ ist dabei nicht bei den Entwicklern der Modelle zu suchen, sondern liegt in der Natur der Sache: Die Daten, die Ziele der Modelle und wir Menschen verändern uns. Dieses Phänomen wird „Model Drift“ genannt und äußert sich auf unterschiedliche Weise. Die Folgen sind z. B. erhöhte Kosten durch falsche Schlussfolgerungen bei Kampagnenplanungen oder durch Ausfälle von automatisierten Diensten. Eine mögliche „Lösung“ mag in verschiedenen Workarounds gefunden werden – oder aber darin, den Umstand zähneknirschend zu akzeptieren.

Aber selbst ein funktionierender Workaround ist auf Dauer teurer als die eigentliche Behebung des Problems. Solche Workarounds sind nämlich oft umständlich, mit höherem Arbeitsaufwand verbunden oder nur symptomatisch erfolgreich. Daher ist es sinnvoll, Ursachen und Auswirkungen zu identifizieren, bevor es zu kritischen Problemen kommt.

Model Drifts – warum man sich damit auseinandersetzen sollte

Es gibt verschiedene Arten von Drifts, die sich in der Ursache und den Auswirkungen unterscheiden. Drei davon werden wir näher beleuchten und auch, welche Maßnahmen sich empfehlen. Die folgenden Beispiele sollen einen kurzen Überblick geben, wie sich Drifts äußern können und wodurch sie bedingt werden. Der Verständlichkeit wegen werden sie nicht in aller Detailtiefe dargestellt.

Concept Drift

Bei einem Concept Drift verändern sich die statistischen Eigenschaften der Ziele. Das kann durch eine plötzliche Änderung der Gesamtsituation erfolgen, aber auch z. B. durch die Einführung neuer Technologien und/oder Trends, wie Modegeschmack oder gesellschaftlicher Art. Beispiele:

Online-Marketing – Ist meine Werbung für die Zielgruppe relevant?

In einem Social-Media-Netzwerk wird eine bestimmte Zielgruppe innerhalb der Nutzer definiert. Nehmen wir an, dass u. a. die Online-Zeit innerhalb des Netzwerks ein Kriterium für das Engagement der Nutzer widerspiegelt. Je länger die Nutzer sich auf der Plattform bewegen, desto wahrscheinlicher ist es, dass sie die gewünschte Werbeeinblendung sehen. Waren zu Beginn des Social-Media-Netzwerkes vermehrt die jüngere Generation, z. B. 14 bis 20 Jahre, in der Nutzerpopulation vertreten, wurden diesen entsprechende Mode-Anzeigen ausgespielt. Altert nun die Population, z. B. durch Abwanderung oder im Laufe der Zeit, werden älteren Nutzern weiterhin die entsprechenden Anzeigen ausgespielt – wobei diese für diese Zielgruppe nicht relevant sind.

Data Drift

Hierbei ändern sich die Eigenschaften bzw. die Verteilung der unabhängigen Variablen innerhalb der Datenpopulation. Das kann auch durch o. g. Trends erfolgen, ist aber oft durch eine grundlegende Änderung zu erklären, z. B. bei der Einführung neuer Variablen. Beispiel:

Retail – Funktionieren die Aktionsgeschäfte?

Ein einfaches Beispiel ist das Kaufverhalten vor und während der aktuellen Corona-Pandemie. Deutlich wird der Concept Drift beim sprunghaften Anstieg des Absatzes für Nudeln und Toilettenpapier im 2. Quartal 2020 – eine Entwicklung, die weder die Experten noch entsprechende Modelle vorhersagen konnten.

Vorsicht: Nutzt man Daten extremer Situationen zum Training von Modellen, kann dies ebenfalls zu Drifts führen. Beim o. g. Beispiel könnte eine direkte Korrelation beider Produkte im 2. Quartal als mögliches Aktionsgeschäft identifiziert werden.

Drifts aufgrund vorgelagerter Datenänderungen

Ursachen betreffen hier Änderungen in der Infrastruktur und/oder der Datenpipelines. Neue Technologien, aber auch Optimierung können dazu führen, dass Modelle nicht mehr ordnungsgemäß funktionieren. Das kann darin liegen, dass bestimmte Messwerte wegfallen, weil z. B. Sensoren nicht mehr verbaut sind oder bestimmte Datenquellen nicht mehr einbezogen werden. Die Grenze zwischen Concept und Data Drift verläuft in diesem Fall fließend.

Umsetzen eines Drift-Aware-Systems

Zum Entgegenwirken von Drifts braucht es ein System zur Erkennung dieser. Es kombiniert idealerweise verschiedene Methoden zur Identifikation und bietet eine Möglichkeit der Einflussnahme auf die entsprechenden Modelle.

Monitoring

Dauerhaftes oder periodisches Beobachten der Genauigkeit der Modellergebnisse ist der erste Schritt. Je schneller Abweichungen erkannt werden, desto schneller können sie behoben werden. Oft reicht eine bloße Visualisierung in einem Dashboard aus, um die Ursache zu identifizieren. Dazu vergleicht man aktuelle Modellergebnisse mit denen von Test- oder initialen Trainingsdaten. So lassen sich erste Anhaltspunkte finden, welche Art von Drift(s) und welche Ursachen vorliegen könnten: In welcher Form äußert sich der Drift? Gibt es plötzliche, graduelle oder wiederkehrende Änderungen?

Nicht alle Business-Intelligence-Lösungen bieten standardmäßig entsprechende Dashboards. Daher wird oft, neben Lösungen zur Modellausführung, zu zusätzlichen Lösungen gegriffen, um diese umzusetzen. Diese haben meist ihre eigenen Anforderungen, wodurch der Gesamtwartungsaufwand des Systems erhöht wird.

Daher findet aktuell der Schritt zur Integration solcher Lösungen im BI-Umfeld statt. Noch sinnvoller sind jedoch moderne Plattformen, wie YUNA, die neben BI-Funktionen auch zentrale Funktionen zur Modellentwicklung, -ausführung und -steuerung bieten und die Möglichkeiten solche Dashboards bereitzustellen.

In YUNA kann ein solches Monitoring-Dashboard, neben einer reinen Visualisierung, zusätzlich mit einem „DataLabeling“-Widget genutzt werden, welches Visualisierungen direkt kommentieren bzw. das Ergebnis zu kategorisieren lässt. Diese Informationen werden dann an Data Scientists automatisch weiterleitet. So können End User mit ihrer Erfahrung, auch ohne Data-Science-Hintergrund, den Ergebnissen direkt das Label „tatsächlicher Drift“ oder bspw. „einmalige Anomalie“ zuordnen und so Nachbesserungen anstoßen. Anschließend wird das Modell durch die Data Scientists entsprechend angepasst.

Das Modell anpassen

Je nach Ursache des Model Drifts wird ein neues Modell entwickelt oder es müssen evtl. neue Daten miteinbezogen sowie die genutzten Daten und das Modell modifiziert werden (Retraining & Resampling). Dabei empfiehlt es sich Folgendes zu beachten und abzuschätzen:

1. Anpassung der Datenpipeline

ETL-Pipelines müssen angepasst oder erweitert werden, um evtl. neue Datenquellen zu nutzen oder die aktuellen Daten entsprechend vorzubereiten.

2. Entwicklung eines neuen Modells

Abhängig von der Komplexität des Modells oder der vorhandenen Strukturen, ist ein neuer Ansatz ein probates Mittel. Hierbei kann ein Data Labeling notwendig sein. Dieser Prozess ist zeitaufwendig und kann vereinfacht werden: Mit dem zuvor angesprochenen Widget können ebenfalls End User beim eigentlichen Data Labeling unterstützen.

3. Retraining & Resampling bestehender Modelle

Modell wird mit einem neuen Trainingsdatensatz oder der Aktualisierung bzw. Neugewichtung der initialen Daten erneut trainiert. Danach werden die neuen Ergebnisse mit der Realität verglichen.

4. Teilweise Nutzung des Modells – Zusammenarbeit zwischen Modell und Mensch

Wenn das Modell in einem Teilbereich nicht verlässlichen funktioniert, können End User zur Genauigkeit beitragen, z. B. durch eine manuelle Eingabe. Hier braucht es Lösungen wie YUNA, die eben jene Eingabe erlauben. Die Eingabe wird dann genutzt, um Modelle durch Active Learning zu optimieren.

Vorsicht: Auch wenn das aktualisierte Modell erwartungsgemäß funktioniert, können Model Drifts erneut auftreten. Daher empfiehlt es sich die o.g. Schritte entweder

• Regelmäßig oder

• Anhand festgesetzter Grenzwerte

durchzuführen.

Feintuning

Um die Genauigkeit zu erhöhen und mögliche Ursachen schneller zu identifizieren, kann es hilfreich sein, bestimmte Modellparameter anzupassen:

• Konsequente Nutzung von Zeitstempeln! So lässt sich der Zeitpunkt, an dem das Modell und die Realität auseinanderdriften, leichter identifizieren – das verkürzt die Suche nach der Ursache.

• Wenn Modelle in Teilbereichen besser funktionieren, kann der Vorhersagezeitraum geändert werden, z. B. von monatlich auf wöchentlich.

• Warten, weil die neue Datenbasis noch nicht ausreicht, um verlässliche Ergebnisse zu liefern.

Idealerweise lassen sich alle notwendigen Schritte in einer Lösung umsetzen. Auf diese Weise verringern sich nicht nur die Fehleranfälligkeit und Wartungskosten, sondern auch die Reaktionszeit an sich.

Fazit

• Nichts tun ist immer mit höheren Kosten verbunden.

• Die Genauigkeit von Modellen kann mit der Zeit, als natürlicher Prozess, erneut nachlassen.

• Die Ursachen können vielfältig sein.

• Mittels Monitoring und Retraining lassen sich Model Drifts beheben.

• Es lohnt sich Softwarelösungen zu nutzen, die mit einem vollumfänglichen Funktionsumfang Dashboarding, BI-Funktionen, Visualisierung und Modellverwaltung unterstützen.

(ID:48041446)