Suchen

AutoML So automatisiert KI die Entwicklung von KI-Modellen

| Autor / Redakteur: Dr. Patrick Unger / Nico Litzel

Schon jetzt gibt es laut Bitkom nicht genügend Fachkräfte, um den steigenden Bedarf an Datenanalysen zu decken. Automatisierung kann hier der Schlüssel sein, der Data Scientists von wiederholenden und zeitaufwendigen Tätigkeiten befreit. Genau hier setzt die Idee an, Künstliche Intelligenz einzusetzen, um den gesamten Modellierungsprozess zu automatisieren und zu beschleunigen.

Firma zum Thema

Im Bereich Künstliche Intelligenz (KI) sind Fachkräfte rar. Ein Ausweg kann sein, KI einzusetzen, um KI-Modelle zu entwickeln.
Im Bereich Künstliche Intelligenz (KI) sind Fachkräfte rar. Ein Ausweg kann sein, KI einzusetzen, um KI-Modelle zu entwickeln.
(Bild: © fotomek - stock.adobe.com)

In den vergangenen Jahren sind datengetriebene Entscheidungen elementar für den Erfolg eines Unternehmens geworden. Der Prozess, aus den vorhandenen Rohdaten tatsächlich nutzbare Erkenntnisse zu gewinnen, ist jedoch mühsam. Data Scientists führen dazu meist eine Reihe von aufwendigen und zeitraubenden Schritten aus.

Der Prozess beginnt mit der Bereinigung und Transformation der Rohdaten, indem etwa Ausreißer entfernt oder fehlende Werte ersetzt werden. Es folgt die Modellbildung und schließlich die Präsentation der Ergebnisse, die den Zielen des Auftraggebers entsprechen müssen. Das ist ein langer und komplexer Vorgang, der viel Zeit, Geschick und Mühe erfordert – insbesondere wegen der kombinatorischen Explosion von Möglichkeiten bei der Auswahl von Algorithmen und ihren Parametern.

KI für KI

Der Aufbau eines maschinellen Lernsystems (ML) erfordert eine große Anzahl von Designentscheidungen. In vielen Fällen müssen diese Entscheidungen wie Züge in einem Brettspiel nacheinander getroffen werden. Daher ist der Einsatz von Technologien, die selbstständig Hypothesen testen und aus Fehlern lernen, der Schlüssel zum Bau intelligenter Modellierungsmaschinen. Diese Aufgabe ist somit ideal geeignet für das Reinforcement Learning. Dessen Methoden folgen dem allgegenwärtigen biologischen Paradigma des bestärkenden Lernens, bei dem ein Agent selbstständig durch Ausprobieren von Aktionen eine Strategie entwickelt, um seine Belohnung zu maximieren.

Mit dieser Technik gelang es beispielsweise 2016 dem Google-Brain-Team, automatisch die Architektur eines neuronalen Netzes zu entwerfen, das in der Bilderkennung auf dem CIFAR-10-Datensatz eine vergleichbare Genauigkeit wie die besten von Menschen konstruierten Netzwerke erreichte.

Ein anderes natürliches Paradigma, das biologische Prinzipien kopiert, sind evolutionäre Algorithmen. Diese Verfahren repräsentieren Lösungen von Problemen als Codes (wie z. B. neuronale Architekturen zur Bildklassifizierung), die Chromosomen in der biologischen DNS ähneln. So wie biologische Organismen durch belohnungsgesteuertes Ausprobieren intelligent werden, verwenden evolutionäre Algorithmen einen darwinistischen Ansatz, bei dem leistungsstarke Architekturen selektiert und ihre besten Eigenschaften mutiert oder neu kombiniert werden, um den Suchraum zu erkunden.

Kürzlich ist das Konzept der Genauigkeitsvorhersage in der Modellselektion aufgetaucht. Die Grundidee besteht darin, die Explorationskosten drastisch zu senken, indem die Genauigkeit von Modellen ohne (oder mit sehr begrenztem) Training prognostiziert wird. Die Genauigkeitsprognose wird z. B. für neuronale Netze entweder aus stark verkürzten Lernkurven oder einer Datenbank mit trainierten Experimenten berechnet. Der erste Ansatz erfordert ein Kurztraining für jedes zur Wahl stehende Verfahren. Der zweite Ansatz setzt voraus, dass Hunderte repräsentativer Netzwerkarchitekturen mit dem gegebenen Datensatz trainiert werden, um eine zuverlässige Datenbasis für Prognosen zu schaffen.

Der Markt für automatisiertes Machine Learning ist hart umkämpft. Angebote gibt es z. B. von DataRobot, Google (AutoML Tables), H2O (Driverless AI), IBM (AutoAI), Microsoft (Azure Automated ML) und als Open-Source-Bibliotheken wie Auto-Weka, Auto-sklearn oder TPOT . Viele dieser Systeme nutzen dafür scikit-learn als ML-Bibliothek für Python. Am Beispiel der IBM-Lösung AutoAI soll die Arbeitsweise einer solchen automatisierten Modellierungsmaschine im Folgenden detaillierter beschrieben werden.

Automatisierung am Beispiel von IBM AutoAI

IBM AutoAI unterstützt Data Scientists, indem es alle Schritte der Modellentwicklung automatisiert – von der Datenvorbereitung und Modellauswahl über die Transformation der Prädiktoren bis hin zur Optimierung der Modellparameter. Mit dieser Lösung gelangen auch Fachleute ohne Programmierfähigkeiten in kurzer Zeit zu wertvollen Erkenntnissen. Zudem bietet AutoAI eine systematischere Durchforstung der verfügbaren Modellierungsoptionen. AutoAI ist ein typisches Beispiel von „KI für KI“, indem KI-Technologie zum Aufbau einer KI-Lösung verwendet wird.

Die Ergebnisse werden in einer Liste der Spitzenreiter präsentiert, welche die automatisch erzeugten Modell-Pipelines von scikit-learn, in der Reihenfolge des gewählten Qualitätskriteriums zeigen.

Ablaufdiagramm und Liste der Spitzenreiter in IBM AutoAI
Ablaufdiagramm und Liste der Spitzenreiter in IBM AutoAI
(Bild: IBM)

Datenvorbereitung

Nehmen wir an, die Daten stehen durch Kommas getrennt in einer csv-Datei. Zunächst sind alle Attribute Zeichenfolgen. Es gilt, alle numerischen Felder zu identifizieren und sie in ganze Zahlen oder Gleitkommazahlen umzuwandeln. Auch die kategorialen Variablen sollten in numerische Werte transformiert werden. Anschließend werden die fehlenden Werte ersetzt und alle Daten normalisiert. Die Möglichkeit, die Datenvorbereitung zu automatisieren, macht Data Scientists effizienter und hilft Einsteigern dabei, Fehler zu vermeiden.

Modellauswahl

Im nächsten Schritt muss das Modell ausgewählt werden. Verwenden wir einen Entscheidungsbaum oder eine logistische Regression? Die Auswahl ist groß. Doch welches ist das beste Verfahren für das aktuelle Problem? AutoAI geht all diesen Fragen nach und trifft eine fundierte Entscheidung für das beste Modell.

Verfügbare Verfahren für Klassifikation und Regression in IBM AutoAI
Verfügbare Verfahren für Klassifikation und Regression in IBM AutoAI
(Bild: IBM)

Dazu führt AutoAI zunächst Trainings auf kleinen Teilmengen der Daten mit allen verfügbaren Verfahren aus. Die Stichprobe der Trainingsdaten wird schrittweise vergrößert, wobei schwächere Verfahren in diesem iterativen Prozess eliminiert werden. Diese Methodik stellt sicher, dass ein sehr guter Algorithmus ausgewählt wird und dabei Rechenzeit und Speicherplatz gespart werden.

Der von AutoAI genutzte DAUB-Algorithmus, der auf einem Banditen-basierten Ansatz des Reinforcement Learnings beruht, wählt Modelle in Experimenten bis zu 31-mal schneller aus, als alle Verfahren auf dem kompletten Datensatz zu trainieren. Einer der Autoren von DAUB, Gerald Tesauro, wurde bekannt durch die Entwicklung von TD-Gammon, einem selbstlernenden neuronalen Netzwerk, das bereits 1992 auf dem Niveau von Weltmeistern Backgammon spielte.

Ergebnisse der automatischen Modellauswahl mit DAUB im Vergleich zu dem vollständigen Training aller verfügbaren Algorithmen
Ergebnisse der automatischen Modellauswahl mit DAUB im Vergleich zu dem vollständigen Training aller verfügbaren Algorithmen
(Bild: IBM)

Transformation der Prädiktoren

Prädiktoren sind die Beobachtungen oder Merkmale, auf denen ein Modell aufbaut. Beispielsweise basiert ein Modell zur Beurteilung des Risikos für Herzerkrankungen bei Patienten unter anderem auf deren Größe, Gewicht und Alter. Es kann jedoch sein, dass die direkte Verwendung der verfügbaren Prädiktoren nicht immer am effektivsten ist. Ein effektiverer Prädiktor ist z. B. das Verhältnis von Gewicht zu Körpergröße, auch bekannt als Body Mass Index (BMI).

Der Vorgang des Ableitens eines neuen abstrakten Prädiktors auf Grundlage der vorgegebenen Merkmale wird allgemein als „Feature Engineering“ bezeichnet. Was die Aufgabe eines effektiven Feature Engineerings schwierig macht, ist die Unmenge an möglichen Transformationen, die ein Data Scientist anwenden könnte.

AutoAI nutzt einen neuartigen Ansatz, der die verschiedenen Möglichkeiten für das Feature Engineering systematisch untersucht und schrittweise die Modellgenauigkeit mithilfe von Reinforcement Learning erhöht. Die Belohnungsfunktion ist die Differenz zwischen der im neuen Feature Space und der im ursprünglichen Feature Space bewerteten Qualitätsmetrik. Dies führt zu einer optimierten Liste von Transformationen für das zuvor durch DAUB ausgewählte siegreiche Verfahren.

Optimierung der Modellparameter

Schließlich verbessert der Hyperparameter-Optimierungsschritt die leistungsfähigsten Modell-Pipelines. Hyperparameter sind alle Parameter, die vom Benutzer vor dem Trainieren eines Modells willkürlich festgelegt werden können wie etwa die Anzahl der Entscheidungsbäume in einem Random-Forest-Verfahren.

AutoAI verwendet unter anderem RBFopt (Radial Basis Function Optimization), einen neuartigen Algorithmus zur Optimierung von Hyperparametern, der für kostenintensive Funktionsauswertungen wie dem Modelltraining entwickelt wurde. Dieser Ansatz ermöglicht eine schnelle Konvergenz zu einer guten Lösung trotz langer Auswertungszeiten in jeder Iteration. Was früher Tage oder Wochen dauerte, dauert nun Minuten.

Schnelle Bereitstellung von produktiven Modellen

Der Autor: Dr. Patrick Unger ist Senior Technical Sales Professional Data Science & AI bei IBM
Der Autor: Dr. Patrick Unger ist Senior Technical Sales Professional Data Science & AI bei IBM
(Bild: IBM)

Sobald Analysten mit ihrem AutoAI-Modell zufrieden sind, können sie es im Repository von IBM Watson Machine Learning (WML) abspeichern und auf Knopfdruck als Webservice anbieten, damit Benutzer ihre Anfragen über eine einfache REST-Schnittstelle schicken können. Anstatt das AutoAI-Modell als Webservice bereitzustellen, können sie es auch als Python-Notebook abspeichern und in IBM Watson Studio weiterbearbeiten.

Egal ob erfahrener Data Scientists, Einsteiger oder Spezialist aus der Fachabteilung: AutoAI ermöglicht es, präzise Modelle schneller zu erstellen, da die Lösung automatisch Daten aufbereitet, Features identifiziert und sehr genaue Verfahren auswählt. Dieser Aspekt ist insbesondere vor dem Hintergrund fehlender Fachkräfte und existierender Qualifikationshürden wichtig und vermeidet lange Einarbeitungszeiten oder Fehler bei der Anwendung. Darüber hinaus sind Modellierungsexperten in der Lage, ihre Modelle über REST-Schnitt-stellen schnell produktiv werden zu lassen.

(ID:46320508)