Anbieter zum Thema

EEMBC Embedded Microprocessor Benchmark Consortium

Lattice Semiconductor

Microsoft Corp.

NVIDIA GmbH

Cadence Design Systems GmbH

mehr weniger

Infineon Technologies AG

Intel Deutschland GmbH

weniger

Kernmerkmale von KI-Hardware im Massenmarkt

Bislang war immer nur von der Cloud oder dem Rechenzentrum die Rede. Doch KI wird auch auf Edge-Geräten oder auf dem Massenmarkt für Endverbraucher eine wichtige Rolle spielen, wie alle der Befragten bekräftigten. „In zunehmendem Maß werden KI-Anwendungen in den Bereichen Mobile, AR/VR-Headset, Überwachung und Automotive für On-Device-KI-Anwendungen entstehen“, sagt etwa Pulin Desai, Product Marketing Director, Tensilica Vision DSP Product Line. „Aber gleichzeitig erfordern diese Märkte eine Mischung aus Embedded Vision und KI [auf den Endgeräten selbst], um eine breite Palette an erweiterten Funktionen zu bieten.“

Auch für den Einsatz von Machine Learning auf den Edge-bzw Endgeräten – die sogenannte Inferenz – existieren derzeit noch keine echten Vergleichswerte. Um in diesem Bereich für mehr Übersichtlichkeit zu sorgen, erarbeitet daher auch speziell für diesen Bereich die Industrieallianz für Embedded Systeme EEMBC eine entsprechende Benchmark-Suite.

Bildergalerie

Bildergalerie mit 6 Bildern

Warum eine eigene Benchmark? Consumer-Endgeräte oder Produkte, die an der Edge zur Cloud arbeiten, haben andere Ansprüche als Supercomputer oder Hochleistungsrechner im Rechenzentrum. Eine KI-Lösung am Endmarkt muss zum einen Embedded arbeiten, wie Pulin Desai ausführt. „Für alle Märkte, vom Handy bis zum Automobil, muss eine große Menge an Daten ,on the fly' verarbeitet werden. Während das Training eines neuronalen Netzes meist offline stattfinden kann, müssen die Anwendungen, die [diese neuronalen Netze] nutzen, in ihr eigenes System eingebettet sein, unabhängig vom Markt.“ Und auch Energieeffizienz spielt eine weitaus wichtigere Rolle: „So wie wir keine Rechenzentren in unserem Auto oder auf unserem Gerät mit uns herumtragen, können wir auch keine [für KI] dedizierten Stromquellen mit uns herumtragen, wohin wir auch gehen.“

Peter Torelli, Präsident des EEMBC, relativiert dies etwas: „Eine einfache Kamera zur Gesichtserkennung oder ein Gerät, das Sprache in Text umwandelt, kann es sich nicht erlauben, auf eine 300W-GPU zurückgreifen zu müssen. In einem ADAS ist das aber durchaus machbar – für Level-5-Systeme sogar ein Muss."

Auch Zukunftssicherheit spielt eine wichtige Rolle. „Da die Entwicklung der neuronalen Netzverarbeitung zunimmt, müssen die Produkte, die neuronale Netze in der Entwicklung verwenden, bis zur Auslieferung möglicherweise umprogrammiert werden. Die Plattform muss mit der Industrie wachsen können“, erläutert Desai weiter. Auch Deepak Boppana, Senior Director, Product und Segment Marketing bei Lattice Semiconductor, teilt diese Ansicht: „Letztendlich läuft es auf eine Kombination aus Flexibilität und Programmierbarkeit hinaus“, sagt er im Interview. Ihm zufolge muss ein Baustein zur KI-Beschleunigung an der Edge vor allem vier Aspekte erfüllen können, die im Rechenzentrum eine geringere Rolle spielen: Energieeffizienz, Chipgröße, Quantisierung (engl. ‚Quantization‘) und – in Kombination daraus – Kosten.

KI für den Edge-Einsatz– die Vorverarbeitung vor der Cloud

Zwar betont NVIDIA auch, seine GPU-Lösungen End-to-End anbieten zu können –- nicht nur fürs Rechenzentrum, auch fürs Endgerät seien die Lösungen veritabel. Deepak Boppana von Lattice hält dem entgegen, dass CPU- und GPU-Lösungen für den Einsatz auf dem Endgerät teilweise zu leistungsstark seien – und demgemäß auch leistungshungriger. „Beim maschinellen Lernen gibt es die Frage der Quantisierung, insbesondere die Größe der Bitrate, mit der Ihr KI-Modell läuft“, sagt Boppana. „Je mehr Bits Sie haben – wie z. B. 16 Bits – desto besser ist die Genauigkeit Ihrer endgültigen Lösung. Aber Sie werden auch mehr Leistung ziehen.“

Eine skalierbare Lösung, wie beispielsweise ein Low-End-FPGA, sei hier deutlich praktikabler. „In Anwendungen, in denen Sie nicht wirklich eine hohe Genauigkeit benötigen, können Sie eine geringere Quantisierung verwenden – wie z. B. 8-Bit oder bis hinunter zu 1-Bit“, sagt Boppana. „Das ermöglicht dem Kunden viel mehr Flexibilität in Bezug auf seine Designspezifikation. GPUs und CPUs bieten in der Regel nur 16 Bit, unabhängig davon, ob Sie so viel Genauigkeit benötigen oder nicht –was in der Regel viel mehr Strom verbraucht.“ Ein Smart Speaker, eine simple Smart-Home-Anwendung oder ein KI-Assistent auf dem Smartphone kämen hierfür etwa in Betracht. Anzumerken ist, dass hier von Low-End-FPGAs mit einer relativ geringen Zahl an programmierbaren Logikelementen die Rede ist – nicht von High-End-Bausteinen mit über vier Millionen programmierbaren Logikeinheiten, wie sie im Rechenzentrum zum Einsatz kommen.

Wenn es vor allem um KI im Zusammenhang mit Embedded Vision geht, hält Pulin Deesai von Cadence entgegen, würden sich DSPs zunehmend als eine beliebte Lösung erweisen. Diese können ebenfalls ohne Taktfrequenzen zur Signalverarbeitung, hohe Parallelität dank in die Architektur integrierte Prozessor-Pipelines und –durch die Integrierbarkeit als IP in ein SoC oder ASIC – geringe Fläche und Strombedarf auszeichnen.

Hier stellt sich wie so häufig die Vor- und Nachteilsfrage von ASICs vs FPGAs: ASICs erfordern in der Regel eine langwierige erste Entwicklungsphase, sind aber im Anschluss er in der Massenfertigung günstiger, gelten als schneller und effizienter als FPGAs und sind durch ihre Entwicklung hin auf ein spezielles Anwendungsfeld einfacher in der Handhabung. FPGAs gelten hingegen kompliziert im Umgang, haben aber durch ihre Wiederprogrammierbarkeit einen großen Vorteil, was Zukunftssicherheit, geringe wiederkehrende Kosten und Time-to-Market betrifft.

Bei KI-Hardware kommt es immer auf die Anwendung an

Welche Hardware ist nun für Künstliche Intelligenz am besten geeignet? „Jeder Anwendungsfall stellt bestimmte Anforderungen an die verwendete Technologiek, sagt Stephan Gillich von Intel. Daher bietet das Unternehmen neben den bereits erwähnten FPGA- und NNP-basierten Ansätzen auch weitere, auf spezielle Bedürfnisse zugeschnittene Lösungen an, etwa für Computervision (Movidius), intelligente Sprache und Audio (GNA), Cognitive Computing Software (Saffron) oder das Autonome Fahren (der Mobileye eyeQ-SoC, den Intel in der Vergangenheit mit der GPU-gestützten Plattform NVIDIA Xavier verglichen hat).

Wie sieht es von Seiten von Firmen aus, die nicht die Hardware für KI-Einsatz produzieren, diese aber für Ihre Lösungen nutzen möchten? „Was das Training neuronale Netzwerke betrifft, haben in der letzten Jahren schnellere Internetverbindungen und umfangreichere Cloud-Angebote neue Möglichkeiten geschaffen“, sagt Sandro Cerato, Chief Technology Officer der Division Power Management & Multimarket bei der Infineon Technologies AG. Anbieter wie Amazon Web Services (AWS), Microsofts Azure Cloud oder die Webdienste des chinesischen Betreibers Alibaba ermöglichen nun gewissermaßen jedem den Zugang zu Hochleistungsrechenzentren bzw. HPCs (High Performance Computing). Microsoft setzt in seinen Rechenzentren und im KI-Unterfangen „Project Brainwave“ beispielsweise auf eine Kombination aus Intel-Xeon-Prozessoren und Stratix-10-FPGAs.

Künstliche Intelligenz für Jedermann erfordert Umdenken

„Nutzt man Clouddienste für das Training von Neuronalen Netzwerke scheint es erst einmal unerheblich, welche Hardware hierfür zu Grunde liegt. Mit Tools, Frameworks und Bibliotheken unter Open-Source-Lizenz, wie Tensorflow oder Caffe und entsprechenden Datensätzen, mit denen die künftige KI trainiert werden soll, lässt sich Maschinelles Lernen relativ einfach bewerkstelligen“, führt Sandro Cerato aus eigener Erfahrung weiter aus. „Zudem ist nur ein Minimum an eigenem Softwarecode nötig – egal ob auf GPUs, CPUs, NPPs oder FPGAs. Möchte man eine KI auf eigener Hardware trainieren, sind allerdings Abwägungen zu treffen – vor allem wenn die Frage vorherrscht, wie schnell es gehen soll.“

Damit der Übergang von Training zu Inferenz möglichst nahtlos vonstatten gehen kann, macht sich hier NVIDIA besonders für seinen End-to-End-Ansatz stark: „Unser Hardware- und Software-Stack umfasst das gesamte KI-Ökosystem, sowohl in der Trainings- als auch in der Inferenzierungsphase“, sagt Axel Köhler von NVIDIA. „Von der Cloud über das lokale KI-Rechenzentrum bis hin zu intelligenten IoT-Geräten und einzelnen Workstations ist es das Ziel von NVIDIA, die KI zu demokratisieren, indem die wesentlichen Tools mit den Fähigkeiten, Formfaktoren und Skalierbarkeiten, die Entwickler, Wissenschaftler und IT-Manager benötigen, breit verfügbar gemacht werden“.

Deepak Boppana von Lattice sieht das kritischer: Um mit einem solchen Ansatz seine Geräte mit KI auszustatten, müssten bestehende Designs von Grund auf umgekrempelt und neu konzipiert werden. Dabei bestehe bei einem FPGA-basierten Ansatz für Entwickler keine große Notwendigkeit, sich mit neuer Hardware auseinanderzusetzen. „Es ist nicht einfach, eine handelsübliche Chip-Lösung einzubauen, die sich nahtlos in ein bestehendes Design integrieren lässt. FPGAs können die Technologie besser in diese bestehenden Designs integrieren“, sagt Boppana.

„Man kann diesem Problem nicht ausweichen“, sagt Peter Tovelli vom EEMBC. „Entwickler werden sich hinsichtlich der [KI-]Modelle, die Sie implementieren möchten weiterbilden müssen, ehe Sie die nötige Hardwareauswahl treffen. Das ist kein Feature, dass sich einfach per Knopfdruck hinzufügen lässt, wie es mit zusätzlichen Schnittstellen der Fall ist. Hier gibt es schon eine gewisse Lernkurve zu meistern.“

Künstliche Intelligenz

So schnell ist das Deep Learning Framework Caffe

Open-Source-Programmbibliothek für Künstliche Intelligenz

So funktioniert Google TensorFlow

Erste Schritte

So funktioniert verteiltes Lernen mit TensorFlow

Dieser Artikel stammt von unserem Partnerportal Elektronikpraxis.

(ID:45339020)