MLPerf Inference v2.0 Inspur hat im KI-Benchmark die Nase vorn

Das Open-Engineering-Konsortium MLCommons hat vor kurzem die Ergebnisse seiner KI-Benchmark-Suite MLPerf Inference v2.0 veröffentlicht. Grund zur Freude für Inspur: Die KI-Server des Computing-Spezialisten stellten in allen 16 Aufgaben der Kategorie „Data Center Closed“ Rekorde auf.

Anbieter zum Thema

Dell GmbH

Fujitsu Technology Solutions GmbH

Fivetran Germany GmbH

Inspur Electronic Information Industry Co., Ltd.

Der MLPerf-Benchmark ist in die Segmente Open und Closed unterteilt. Die Closed Division ermöglicht einen direkten Anbietervergleich, da sie den Einsatz desselben Modells und Optimierers voraussetzt. Sie gilt deshalb als Referenz-Benchmark und ist in der Kategorie Rechenzentren stark umkämpft: Insgesamt wurden 926 Ergebnisse eingereicht, was etwa einer Verdopplung gegenüber dem vorhergehenden Benchmark entspricht.

Rekorde bei der Inferenzleistung

Der MLPerf-Benchmark für KI-Inferenz deckt sechs weitverbreitete KI-Aufgaben ab. Dabei handelt es sich um Bildklassifizierung (ResNet50), Verarbeitung natürlicher Sprache (BERT), Spracherkennung (RNN-T), Objekterkennung (SSD-ResNet34), Segmentierung medizinischer Bilder (3D-Unet) und Empfehlung (DLRM). In allen Bereichen können die KI-Server von Inspur Rekordergebnisse erzielen. Zudem schnitten die für Edge-Szenarien konzipierten KI-Server in der Kategorie „Edge Inference“ ebenfalls gut ab: Hier konnte Inspur 11 von 17 Aufgaben in der Closed Divison für sich entscheiden.

Eine schnellere Inferenzverarbeitung sorgt für höhere Effizienz und Leistungsfähigkeit von KI-Anwendungen. Sie beschleunigt damit den Wandel hin zu intelligenten Industrien. Laut Inspur haben sich die Ergebnisse der eigenen Server im Vergleich zum MLPerf AI Inference v1.1 bei Bildklassifizierung, Spracherkennung und Verarbeitung natürlicher Sprache um 31,5 Prozent, 28,5 Prozent sowie 21,3 Prozent verbessert. Somit könne der KI-Server verschiedene KI-Aufgaben in Szenarien wie autonomes Fahren, Sprachkonferenzen, intelligente Fragen und Antworten sowie intelligente medizinische Versorgung effizienter und schneller ausführen.

Optimierte Server liefern höhere Performance

Laut Inspur sind vor allem Systemdesign und umfassende Optimierungsmöglichkeiten der eigenen KI-Computing-Systeme für die überzeugenden Ergebnisse verantwortlich. So wird beispielsweise der Datenfluss zwischen Prozessor und GPU durch Feinkalibrierung und Hardware-Optimierungen maximiert.

Auf Software-Ebene lässt sich durch eine verbesserte Round-Robin-Planung für mehrere GPUs die Leistung einzelner oder multipler Grafikprozessoren nahezu linear steigern. Für Deep Learning wird die Leistung des Modells durch einen von Inspur entwickelten Kanalkomprimierungsalgorithmus auf der Grundlage der Recheneigenschaften der NVIDIA GPU Tensor Core Unit optimiert.

Die vollständigen Ergebnisse der Benchmarks sind auf zwei Websites von MLCommons (hier und hier) zu finden.

(ID:48265498)