Definition Was ist Neural Architecture Search (NAS)?

Neural Architecture Search (NAS) ist eine Methode zur automatisierten Entwicklung einer optimalen Architektur künstlicher neuronaler Netzwerke für eine vorgegebene Problemstellung. NAS macht das aufwendige manuelle Design künstlicher neuronaler Netzwerke überflüssig und ist ein Teilbereich des automatisierten Machine Learnings (AutoML).

Anbieter zum Thema

Sinequa

Confluent Germany GmbH

Xpand Solutions GmbH

Die Abkürzung NAS steht im Umfeld des maschinellen Lernens und der künstlichen neuronalen Netzwerke für Neural Architecture Search. Es handelt sich um eine Methode zur automatisierten Entwicklung optimaler Architekturen künstlicher neuronaler Netzwerke für vorgegebene Problemstellungen. Um beispielsweise Machine-Learning-Modelle und ihre neuronalen Netze zu optimieren, benötigt Neural Architecture Search einen Satz Trainingsdaten und eine Problemstellung. Anhand dieser Vorgaben entwickelt NAS die Architektur des neuronalen Netzwerks, die die besten Ergebnisse liefert. NAS macht das aufwendige manuelle Design künstlicher neuronaler Netzwerke überflüssig und kann als ein Teilbereich des automatisierten Machine Learnings (AutoML) betrachtet werden.

Die für NAS eingesetzten Methoden sind sehr unterschiedlich. Sie lassen sich in die verschiedenen Bereiche

• Suchraum (Search Space),

• Suchstrategie (Search Strategy) und

• Leistungsabschätzungsstrategie (Performance Estimation Strategy) einteilen.

Je nach Methode und eingesetzten Algorithmen ist Neural Architecture Search in der Lage, verschiedene Aktionen zum Design und zur Optimierung des Neuronalen Netzwerks – wie Schichten hinzuzufügen und zu entfernen oder den Layertyp zu verändern – durchzuführen.

Die Motivation für Neural Architecture Search

Das Deep Learning auf Basis künstlicher neuronaler Netze hat sich in den vergangenen Jahren etabliert und kommt in vielen Bereichen, beispielsweise in der Bilderkennung oder der Spracherkennung, zum Einsatz. Leistungsfähige Rechnersysteme entwickeln zusammen mit trainierten neuronalen Netzen erstaunliche Fähigkeiten der Künstlichen Intelligenz (KI). Gute Ergebnisse lassen sich jedoch nur erzielen, wenn die Architektur des künstlichen neuronalen Netzwerks optimal zur jeweiligen Problemstellung und Aufgabe passt.

Die Entwicklung der Architektur des künstlichen neuronalen Netzwerks ist eine aufwendige und zeitraubende Tätigkeit, die viel Know-how aus den Bereichen Künstlicher Intelligenz, Machine Learning und neuronaler Netzwerke benötigt. Unter anderem sind die Arten der Neuronen festzulegen und die Anzahl der Schichten und der Neuronen zu definieren. Erst durch das zeitaufwendige Training der designten Netzwerke lässt sich feststellen, ob die gewünschten Ergebnisse mit der vorgegebenen Architektur erzielt werden können. Unter Umständen muss das Netzwerk manuell überarbeitet und anschließend wieder trainiert werden. Eine Übertragung der für eine bestimmte Problemstellung entwickelten Architektur auf eine neue Problemstellung ist meist nicht möglich und macht individuelle Architekturen erforderlich.

Neural Architecture Search bietet eine Alternative zur zeitaufwendigen manuellen Optimierung. NAS entwickelt automatisiert optimale Architekturen für spezifische Problemstellungen und benötigt keine manuellen Eingriffe. Sehr spezielle Kenntnisse des Anwenders aus dem Bereich neuronaler Netzwerke sind nicht notwendig. Die aufwendige Trial-and-Error-Optimierung wird durch das automatisierte Verfahren abgelöst.

Grundsätzliche Funktionsweise von Neural Architecture Search

Neural Architecture Search nutzt verschiedene Methoden und Algorithmen, um eine optimale Architektur eines neuronalen Netzwerks für eine bestimmte Problemstellung zu finden. Die grundsätzliche Funktionsweise der verschiedenen Verfahren ist jedoch ähnlich und basiert in der Regel auf sich periodisch wiederholenden Optimierungsschleifen. Der NAS-Algorithmus stellt zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netzwerk zusammen. Dieses wird anschließend mit einem Satz Trainingsdaten trainiert. Erhaltene Ergebnisse werden von NAS anhand eines bestimmten Schemas bewertet. Diese Leistungsbewertung bildet die Grundlage für den Algorithmus, der die Architektur durch die Veränderung der Bausteine und deren Konfiguration verbessert. Anschließend startet das Training und die Bewertung erneut. Diese Schritte lassen sich so oft wiederholen, bis keine Verbesserungen mehr durch Veränderungen der Architektur erzielbar sind.

Die verschiedenen Bereiche der NAS-Methoden

Die verwendeten NAS-Methoden lassen sich in drei verschiedene Bereiche einteilen. Diese Bereiche sind:

• Suchraum (Search Space)

• Suchstrategie (Search Strategy)

• Leistungsabschätzungsstrategie (Performance Estimation Strategy)

Der Suchraum legt die grundsätzlich möglichen Designs und deren Bausteine des zu optimierenden künstlichen neuronalen Netzwerks fest. Existiert ein vorgegebenes Wissen über optimale Architekturen für bestimmte Problemstellungen, verkleinert sich der Suchraum. Die Suchstrategie definiert, mit welchen Methoden der Suchraum erkundet wird, um optimale Ergebnisse zu finden. Die Leistungsabschätzungsstrategie schließlich beinhaltet Methoden, die die Leistung einer Architektur bei der Bearbeitung einer bestimmten Problemstellung bewerten oder abschätzen.

Vorteile durch die Anwendung von Neural Architecture Search

Neural Architecture Search bietet für das maschinelle Lernen und die Künstliche Intelligenz zahlreiche Vorteile. Wichtige Vorteile sind unter anderem:

• Reduzierung des manuellen Aufwands und des Know-how-Bedarfs zur Entwicklung optimaler Architekturen neuronaler Netzwerke

• keine Notwendigkeit mehr einer Trial-and-Error-Optimierung künstlicher neuronaler Netze

• schnellere Bereitstellung vollständiger Machine-Learning-Modelle

• bessere und schnellere Machine-Learning-Ergebnisse

• weniger Bedarf an Rechnerressourcen durch Nutzung eines neuronalen Netzwerks mit optimaler Architektur

(ID:46251435)