Definition

Was ist Neural Architecture Search (NAS)?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Neural Architecture Search (NAS) ist eine Methode zur automatisierten Entwicklung einer optimalen Architektur künstlicher neuronaler Netzwerke für eine vorgegebene Problemstellung. NAS macht das aufwendige manuelle Design künstlicher neuronaler Netzwerke überflüssig und ist ein Teilbereich des automatisierten Machine Learnings (AutoML).

Die Abkürzung NAS steht im Umfeld des maschinellen Lernens und der künstlichen neuronalen Netzwerke für Neural Architecture Search. Es handelt sich um eine Methode zur automatisierten Entwicklung optimaler Architekturen künstlicher neuronaler Netzwerke für vorgegebene Problemstellungen. Um beispielsweise Machine-Learning-Modelle und ihre neuronalen Netze zu optimieren, benötigt Neural Architecture Search einen Satz Trainingsdaten und eine Problemstellung. Anhand dieser Vorgaben entwickelt NAS die Architektur des neuronalen Netzwerks, die die besten Ergebnisse liefert. NAS macht das aufwendige manuelle Design künstlicher neuronaler Netzwerke überflüssig und kann als ein Teilbereich des automatisierten Machine Learnings (AutoML) betrachtet werden.

Die für NAS eingesetzten Methoden sind sehr unterschiedlich. Sie lassen sich in die verschiedenen Bereiche

  • Suchraum (Search Space),
  • Suchstrategie (Search Strategy) und
  • Leistungsabschätzungsstrategie (Performance Estimation Strategy) einteilen.

Je nach Methode und eingesetzten Algorithmen ist Neural Architecture Search in der Lage, verschiedene Aktionen zum Design und zur Optimierung des Neuronalen Netzwerks – wie Schichten hinzuzufügen und zu entfernen oder den Layertyp zu verändern – durchzuführen.

Die Motivation für Neural Architecture Search

Das Deep Learning auf Basis künstlicher neuronaler Netze hat sich in den vergangenen Jahren etabliert und kommt in vielen Bereichen, beispielsweise in der Bilderkennung oder der Spracherkennung, zum Einsatz. Leistungsfähige Rechnersysteme entwickeln zusammen mit trainierten neuronalen Netzen erstaunliche Fähigkeiten der Künstlichen Intelligenz (KI). Gute Ergebnisse lassen sich jedoch nur erzielen, wenn die Architektur des künstlichen neuronalen Netzwerks optimal zur jeweiligen Problemstellung und Aufgabe passt.

Die Entwicklung der Architektur des künstlichen neuronalen Netzwerks ist eine aufwendige und zeitraubende Tätigkeit, die viel Know-how aus den Bereichen Künstlicher Intelligenz, Machine Learning und neuronaler Netzwerke benötigt. Unter anderem sind die Arten der Neuronen festzulegen und die Anzahl der Schichten und der Neuronen zu definieren. Erst durch das zeitaufwendige Training der designten Netzwerke lässt sich feststellen, ob die gewünschten Ergebnisse mit der vorgegebenen Architektur erzielt werden können. Unter Umständen muss das Netzwerk manuell überarbeitet und anschließend wieder trainiert werden. Eine Übertragung der für eine bestimmte Problemstellung entwickelten Architektur auf eine neue Problemstellung ist meist nicht möglich und macht individuelle Architekturen erforderlich.

Neural Architecture Search bietet eine Alternative zur zeitaufwendigen manuellen Optimierung. NAS entwickelt automatisiert optimale Architekturen für spezifische Problemstellungen und benötigt keine manuellen Eingriffe. Sehr spezielle Kenntnisse des Anwenders aus dem Bereich neuronaler Netzwerke sind nicht notwendig. Die aufwendige Trial-and-Error-Optimierung wird durch das automatisierte Verfahren abgelöst.

Grundsätzliche Funktionsweise von Neural Architecture Search

Neural Architecture Search nutzt verschiedene Methoden und Algorithmen, um eine optimale Architektur eines neuronalen Netzwerks für eine bestimmte Problemstellung zu finden. Die grundsätzliche Funktionsweise der verschiedenen Verfahren ist jedoch ähnlich und basiert in der Regel auf sich periodisch wiederholenden Optimierungsschleifen. Der NAS-Algorithmus stellt zunächst aus verschiedenen Bausteinen und Konfigurationen eine Architektur für das künstliche neuronale Netzwerk zusammen. Dieses wird anschließend mit einem Satz Trainingsdaten trainiert. Erhaltene Ergebnisse werden von NAS anhand eines bestimmten Schemas bewertet. Diese Leistungsbewertung bildet die Grundlage für den Algorithmus, der die Architektur durch die Veränderung der Bausteine und deren Konfiguration verbessert. Anschließend startet das Training und die Bewertung erneut. Diese Schritte lassen sich so oft wiederholen, bis keine Verbesserungen mehr durch Veränderungen der Architektur erzielbar sind.

Die verschiedenen Bereiche der NAS-Methoden

Die verwendeten NAS-Methoden lassen sich in drei verschiedene Bereiche einteilen. Diese Bereiche sind:

  • Suchraum (Search Space)
  • Suchstrategie (Search Strategy)
  • Leistungsabschätzungsstrategie (Performance Estimation Strategy)

Der Suchraum legt die grundsätzlich möglichen Designs und deren Bausteine des zu optimierenden künstlichen neuronalen Netzwerks fest. Existiert ein vorgegebenes Wissen über optimale Architekturen für bestimmte Problemstellungen, verkleinert sich der Suchraum. Die Suchstrategie definiert, mit welchen Methoden der Suchraum erkundet wird, um optimale Ergebnisse zu finden. Die Leistungsabschätzungsstrategie schließlich beinhaltet Methoden, die die Leistung einer Architektur bei der Bearbeitung einer bestimmten Problemstellung bewerten oder abschätzen.

Vorteile durch die Anwendung von Neural Architecture Search

Neural Architecture Search bietet für das maschinelle Lernen und die Künstliche Intelligenz zahlreiche Vorteile. Wichtige Vorteile sind unter anderem:

  • Reduzierung des manuellen Aufwands und des Know-how-Bedarfs zur Entwicklung optimaler Architekturen neuronaler Netzwerke
  • keine Notwendigkeit mehr einer Trial-and-Error-Optimierung künstlicher neuronaler Netze
  • schnellere Bereitstellung vollständiger Machine-Learning-Modelle
  • bessere und schnellere Machine-Learning-Ergebnisse
  • weniger Bedarf an Rechnerressourcen durch Nutzung eines neuronalen Netzwerks mit optimaler Architektur

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Deep Learning ist mehr als die Wahl der richtigen Modellarchitektur

Kommentar von Timon Ruban, Luminovo

Deep Learning ist mehr als die Wahl der richtigen Modellarchitektur

Hinter der Entwicklung eines einsatzfähigen Deep-Learning-Modells steht ein langer Prozess, der weit über die Wahl der Modellarchitektur und dessen Optimierung hinausgeht lesen

Objekte für die Zettabyte-Ära

Womit sich Start-ups heute beschäftigen – MinIO

Objekte für die Zettabyte-Ära

MinIO ist nach Angaben des gleichnamigen Herstellers „ein hochleistungsfähiger, verteilter Objektspeicher-Server für datenintensive Anwendungen wie Deep und Machine Learning, Künstliche Intelligenz und Big Data“. Erstellt wurde das Open-Source-Programm (unter der Apache-Lizenz 2.0) mit der Programmiersprache Go. lesen

Das sind die Gewinner der IT-Awards 2018

IT-Awards 2018

Das sind die Gewinner der IT-Awards 2018

Die Gewinner der IT-Awards 2018 stehen fest. Im Rahmen einer festlichen Abendgala wurden die Gewinner der Readers' Choice Awards 2018 der sieben Insider-Portale am 11. Oktober 2018 in Augsburg gekürt. lesen

Hard-und Software-Bundle für Hadoop und Deep Learning

Dell EMC Ready Solutions für KI

Hard-und Software-Bundle für Hadoop und Deep Learning

Mithilfe der „Dell EMC Ready Solutions für KI“ sollen Unternehmen ihre KI-Umgebungen nicht mehr in einzelnen Komponenten beschaffen und zusammenfügen müssen. Stattdessen könnten sie sich auf ein von Dell EMC entwickeltes und validiertes Paket von Best-of-Breed-Software verlassen – einschließlich KI-Frameworks und -Bibliotheken sowie den benötigten Rechen-, Netzwerk- und Speicherkapazitäten. lesen

Big Data – Little Crime

Datenanalyse bei der Polizei

Big Data – Little Crime

Die Digitalisierung mag für Polizisten und Strafverfolger nicht auf Anhieb als „Freund und Helfer“ gelten. Sie sorgt für ungewohnte Strukturen und Abläufe – und sie treibt das Datenvolumen massiv in die Höhe. Was sich auf den ersten Blick komplex ­gestaltet, kann die Polizeiarbeit heute stark vereinfachen. Sofern Strafverfolger die Chance nutzen, mit modernen Technologien zu digitalen Fährtenlesern zu werden. lesen

Jetzt Lieblings-Anbieter wählen und gewinnen!

In eigener Sache: Readers' Choice Awards 2018

Jetzt Lieblings-Anbieter wählen und gewinnen!

Nach der erfolgreichen dritten Auflage unserer Readers' Choice Awards im vergangenen Jahr geht die große Leserwahl der Insider-Medien nun in die vierte Runde! Erneut rufen wir Sie, liebe Leserinnen und Leser, nun auf, abzustimmen, wer aus Ihrer Sicht aktuell die besten Anbieter aus den Bereichen Big Data, Business Intelligence und KI sind. lesen

Western Digital kündigt mehr Big-Data-Festplatten an

HDD-Angebot wird ausgebaut

Western Digital kündigt mehr Big-Data-Festplatten an

Festplattenhersteller Western Digital wird sein Angebot an Mainstream-Festplattenlaufwerken für Big-Data-Umgebungen in Unternehmen um eine neue Standard-Serie erweitern. lesen

Qumulo bringt skalierbares File-System für große Volumina

Womit sich Startups heute beschäftigen, Teil 17

Qumulo bringt skalierbares File-System für große Volumina

Die junge Firma Qumulo ist bei uns noch kaum bekannt, in den USA räumt sie derzeit Lob und Anerkennung für ihr hoch skalierbares File-System „QF2“ ab. lesen

Qumulo bringt skalierbares File-System für große Volumina

Womit sich Startups heute beschäftigen, Teil 17

Qumulo bringt skalierbares File-System für große Volumina

Die junge Firma Qumulo ist bei uns noch kaum bekannt, in den USA räumt sie derzeit Lob und Anerkennung für ihr hoch skalierbares File-System „QF2“ ab. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 46251435 / Definitionen)