MLPerf

Benchmark misst KI-Performance

| Autor / Redakteur: Sebastian Gerstl / Nico Litzel

Um die Leistung neuer Hardware zur KI-Beschleunigen einschätzen und vergleichen zu können, präsentieren Google, Baidu sowie die Universitäten Stanford und Harvard ab August eine gemeinsam entwickelte Benchmark-Suite.
Um die Leistung neuer Hardware zur KI-Beschleunigen einschätzen und vergleichen zu können, präsentieren Google, Baidu sowie die Universitäten Stanford und Harvard ab August eine gemeinsam entwickelte Benchmark-Suite. (Bild: © Egor - stock.adobe.com)

Google, Baidu sowie Forscher der Universitäten Harvard und Stanford haben ein Benchmark-Verfahren zum Messen der Leistung von maschinellem Lernen definiert. Ein erster Release der MLPerf genannten Suite ist für August vorgesehen.

Google und Baidu haben gemeinsam mit Forschern in Harvard und Stanford eine Reihe von Benchmarks für maschinelles Lernen definiert. Wie das Fachplatt EETimes meldet, haben bereits AMD, Intel, zwei KI-Startups und zwei weitere Universitäten ihre Unterstützung für MLPerf zum Ausdruck gebracht.

Die Leistung moderner Hardware, insbesondere dedizierten Hardware-Beschleunigern für KI, hat einen neuen Trend für so genannte neuronale Netzwerke ausgelöst. Eine Flut von neuen Beschleunigern auf unterschiedlichster Hardware-Basis - von FPGAs zu DSPs oder GPUs bis hin zu dedizierten Prozessoren – kommt auf den Markt. Allerdings der Industrie fehlen Möglichkeiten, deren Performance zu messen oder adäquat zu vergleichen.

Um die Lücke zu schließen, konzentriert sich das erste Release von MLPerf auf Trainingsjobs auf verschiedenen Systemen, von Workstations bis hin zu großen Rechenzentren, was für Web-Giganten wie Baidu und Google eine große Herausforderung darstellt. Spätere Versionen werden um Inferenzjobs erweitert, eventuell auch um solche, die auf eingebetteten Clientsystemen laufen.

„Ein Modell zu trainieren, das wir wirklich laufen lassen wollen, würde alle GPUs, die wir für zwei Jahre haben, benötigen“, sagte Greg Diamos, ein leitender Forscher in Baidus Deep-Learning-Gruppe, und gab ein Beispiel für das Problem für Web-Giganten.

Erste Vorab-Version ab August einsatzbereit

„Wenn Systeme schneller werden, können wir das Potenzial des maschinellen Lernens viel schneller erschließen“, sagte Peter Mattson, ein Mitarbeiter des Google Brain-Projekts, der MLPerf auf einer Veranstaltung Anfang Mai ankündigte.

Eine frühe Version der Suite, die auf einer Vielzahl von KI-Frameworks läuft, soll in etwa drei Monaten einsatzbereit sein. Damals wollten die Organisatoren eine Arbeitsgruppe einberufen, um eine vollständigere Fassung zu erarbeiten.

„Wir nennen es zunächst Version 0.5. Wir haben das mit einem kleinen Team gemacht, und jetzt wollen wir, dass die Community einer Version 1.0 ihren Stempel aufdrückt, um etwas zu sein, das jeder besitzt“, sagte Mattson. „Wir ermutigen Feedback [...] um Workloads, Benchmark-Definitionen und Ergebnisse vorzuschlagen, damit wir den Benchmark schnell iterieren können.“

Prüfmechanismen der KI-Benchmark MLPerf

Zunächst wird MLPerf die durchschnittliche Zeit messen, um ein Modell auf ein Minimum an Qualität zu trainieren, wahrscheinlich in Stunden. Da diese Jobs auf großen Serverbänken laufen, kann es sein, dass sie keine Leistung pro Watt melden. Sie berücksichtigt die Kosten von Aufträgen, solange der Preis nicht über die Tageszeit variiert.

Der P100 Volta Chip von Nvidia wird ein Referenzstandard sein, da er in vielen Rechenzentren für Schulungen eingesetzt wird. Die Gruppe beabsichtigt, die veröffentlichten Ergebnisse alle drei Monate zu aktualisieren.

MLPerf wird zwei Modi verwenden. Eine geschlossene Metrik für gewerbliche Anwender spezifiziert das zu verwendende Modell und den Datensatz und schränkt die Werte von Schlüsselparametern wie z. B. die Losgröße ein. Eine offene Metrik, die sich an Forscher richtet, wird weniger Restriktionen anwenden, so dass die Nutzer mit neuen Ansätzen experimentieren können.

Dieser Artikel stammt von unserem Partnerportal Elektronikpraxis.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Infos finden Sie unter www.mycontentfactory.de (ID: 45288614 / Künstliche Intelligenz)