Definition

Was ist eine Tensor Processing Unit (TPU)?

| Autor / Redakteur: Stefan Luber / Nico Litzel

(Bild: © aga7ta - stock.adobe.com)

Die Tensor Processing Unit (TPU) ist ein von Google entwickelter Spezialchip. Er ist optimiert für maschinelles Lernen und Künstliche Intelligenz (KI). Die TPU ermöglicht eine effiziente Ausführung der Algorithmen der Programmbibliothek TensorFlow. Zum Einsatz kommen TPUs beispielsweise für Street View oder für Google Translate.

Die Abkürzung TPU steht für Tensor Processing Unit. Es handelt sich um einen Chip, der von Google für Anwendungen der Künstlichen Intelligenz und des maschinellen Lernens entwickelt wurde. Durch eine optimierte Ausführung von Algorithmen der TensorFlow-Programmbibliothek erreicht eine TPU hohe Prozessgeschwindigkeiten in neuronalen Netzwerken. Die TPUs kommen in den Google-Rechenzentren schon seit circa 2015 für Anwendungen wie StreetView zum Einsatz. Auch für den Wettkampf von Alpha Go gegen die weltbesten Go-Spieler nutzte Google den Spezialchip. Mittlerweile ist die dritte Generation von Tensor Processing Units entwickelt. Für externe Kunden steht die Rechenleistung der TPUs als Google Cloud Service zur Verfügung.

Die verschiedenen Generationen der TPUs

Erstmals stellte Google die Tensor Processing Unit im Jahr 2016 der Öffentlichkeit vor. Die erste Generation bestand aus einem sogenannten systolischen Array und einer 256×256 8-Bit-Matrizenmultiplikationseinheit (MMU). Gefertigt wurde der Chip in 28-nm-Technik. Die Taktfrequenz betrug 700 MHz.

Die Vorstellung der zweiten Generation erfolgte im Jahr 2017. Der Chip war mit zwei Matrizenausführungseinheiten (Matrix Execution Units – MXUs) bestückt, von denen jede eine Rechenleistung von 22,5 TFLOPS erreichte. Vier TPUs auf einem TPU-Board erreichten bis zu 180 TFLOPS.

2018 schließlich gab Google die Entwicklung der dritten TPU-Generation bekannt. Sie besitzt vier Matrizenausführungseinheiten mit je acht GiB Arbeitsspeicher. Als Besonderheit sind die TPUs in Form eines 3D-Torus angeordnet und mit Wasser gekühlt. Ein TPU 3.0 Pod, bestehend aus acht Racks mit insgesamt 1.024 TPUs, erreicht eine Rechenleistung von insgesamt etwa 100 PFLOPS.

Aufbau und Besonderheiten der TPUs

TPUs sind für die schnelle Berechnung in trainierten neuronalen Netzen optimiert. Die benötigten Grundfunktionen in diesen aus vielen Schichten von Neuronen bestehenden Netzen sind das Aufaddieren und das Multiplizieren von Zahlen. Die Trainingsphase der neuronalen Netze nutzt Gleitkommaoperationen, die von GPUs besonders schnell ausgeführt werden können.

Um schnell zu addieren und zu multiplizieren, besitzt die TPU eine Matrix aus Multiplizier- und Aufaddier-Einheiten. In der ersten Generation der TPUs waren 256×256 8-Bit-Matrizenmultiplikationseinheiten (MMU) integriert, die bei einem Takt von 700 MHz mit 8-Bit-Ganzzahlen arbeiteten. Die Recheneinheiten nehmen nur etwa ein Viertel der Chipfläche in Anspruch. Die restliche Chipfläche wird benötigt, um die Recheneinheiten schnell mit Daten zu beliefern. Buffer speichern die Zwischenwerte der Berechnungen. Die Gewichtsdaten der neuronalen Netze sind über externe Speicher angebunden. Die Kommunikation des Host-Systems mit der Tensor Processing Unit erfolgt über einen für das Googles TensorFlow-Framework maßgeschneiderten CISC-Befehlssatz (Complex Instruction Set Computer), der nur wenige unterschiedliche Befehle kennt. Hauptsächlich sind dies die Befehle für das Aufaddieren und Multiplizieren, für das Austauschen von Daten zwischen Host und TPU, für das Laden von Gewichten und für die Synchronisation.

Performance der Tensor Processing Units

Im Vergleich zu einer CPU (Central Processing Unit) oder GPU (Graphics Processing Unit) erreicht eine Tensor Processing Unit bei KI-Berechnungen eine deutlich höhere Performance und benötigt weniger Energie. Bereits die ersten TPUs waren um den Faktor 15 bis 30 schneller als GPUs oder CPUs. Die Energieeffizienz war sogar um den Faktor 30 bis 80 besser. TPUs der aktuellen dritten Generation sind nochmals um einiges schneller und effizienter. Die Chips sind in Form von riesigen Hülsen gelegt und etwa achtmal performanter als TPUs älterer Generationen. Es sind Rechenleistungen von weit über 100 Petaflops erreichbar. Die Google-Internas zu den Benchmarks sind nicht öffentlich verfügbar.

Anwendungen für Tensor Processing Units

Google nutzt TPUs hauptsächlich für interne Anwendungen und Services, die Algorithmen des maschinellen Lernens und der Künstlichen Intelligenz verwenden. So nutzt das RankBrain, das die ausgespielten Suchergebnisse mit Künstlicher Intelligenz weiter verbessert, Tensor Processing Units. Beispielsweise kann RankBrain für bisher unbekannte Suchanfragen eigenständig passende Ergebnisse liefern. Weitere Anwendungsbereiche der TPUs bei Google sind Street View, die Bildersuche, Google Translate und Google Photos. Maßgeblichen Anteil sollen TPUs am Sieg der KI-Software Alpha Go gegen die weltweit besten Go-Spieler gehabt haben. Extern sind Funktionen und Rechenleistung der Tensor Processing Units in Form der Google Compute Engine in Googles Cloud-Angebot nutzbar.

Kommentare werden geladen....

Kommentar zu diesem Artikel abgeben

Der Kommentar wird durch einen Redakteur geprüft und in Kürze freigeschaltet.

Anonym mitdiskutieren oder einloggen Anmelden

Avatar
Zur Wahrung unserer Interessen speichern wir zusätzlich zu den o.g. Informationen die IP-Adresse. Dies dient ausschließlich dem Zweck, dass Sie als Urheber des Kommentars identifiziert werden können. Rechtliche Grundlage ist die Wahrung berechtigter Interessen gem. Art 6 Abs 1 lit. f) DSGVO.
  1. Avatar
    Avatar
    Bearbeitet von am
    Bearbeitet von am
    1. Avatar
      Avatar
      Bearbeitet von am
      Bearbeitet von am

Kommentare werden geladen....

Kommentar melden

Melden Sie diesen Kommentar, wenn dieser nicht den Richtlinien entspricht.

Kommentar Freigeben

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Freigabe entfernen

Der untenstehende Text wird an den Kommentator gesendet, falls dieser eine Email-hinterlegt hat.

Aktuelle Beiträge zu diesem Thema

Google startet TensorFlow Enterprise

KI und Machine Learning für Großunternehmen

Google startet TensorFlow Enterprise

Google macht das KI- und Machine-Learning-Framework Tensorflow Enterprise-fähig. Große Unternehmen können bei der Entwicklung von KI-Anwendungen somit von Langzeit-Support, Leistung auf Cloud-Niveau und verwalteten Diensten profitieren. lesen

Künstliche Intelligenz im Eigenbau

Übersicht KI- und ML-Stacks, Teil 2

Künstliche Intelligenz im Eigenbau

Eine kaum noch überschaubare Vielzahl an KI/ML-Frameworks, -Bibliotheken und -Diensten buhlt um die Gunst innovativer Unternehmen. So wird Big Data zur Goldgrube. lesen

KI-Engines im Bündel mit Hardware

Übersicht KI- und ML-Stacks, Teil 1

KI-Engines im Bündel mit Hardware

Künstliche Intelligenz (KI) „fällt nicht vom Himmel“. Leistungsstarke KI-Lösungen entstehen auf der Basis gut abgestimmter KI- und Machine Learning Stacks. Davon gibt es zum Glück einige. Etablierte Softwareentwicklungshäuser sind in Sachen KI und Machine Learning (ML) mittlerweile fest im Sattel. Inzwischen wollen andere Unternehmen auch mit ins Boot. lesen

Google gibt Pläne für Android Things bekannt

OEM-Partnerschaften gehen erst einmal vor

Google gibt Pläne für Android Things bekannt

Google will dafür sorgen, dass mehr IoT-Consumer-Geräte mit Android Things und dem integrierten Sprachassistenten Google Assistant ausgestattet werden. Insbesondere in der Kategorie smarter Lautsprecher und Displays wolle man die OEM-Partnerschaften ausbauen. lesen

Updates für Analyse- und KI-Services von Google

Zahlreiche Neuerungen

Updates für Analyse- und KI-Services von Google

Im Rahmen der Konferenz Cloud Next 2018 hat Google eine Vielzahl an Updates für seine Analyse- und KI-Dienste vorgestellt. Zudem wurde eine Partnerschaft mit Iron Mountain geschlossen. lesen

Google bringt TPU für Inferenz-Rechner heraus

Der KI-Beschleuniger für den Einsatz in LG-Fabriken

Google bringt TPU für Inferenz-Rechner heraus

Google hat eine „Edge Tensor Processing Unit“ (TPU) für das Edge-Computing angekündigt. Die Application-Specific Integrated Circuits (ASICs) eignen sich für Inferenz-Workloads – nicht für das KI-Training – auf „Tensorflow Lite“, einer Low-Overhead-Version von „Tensorflow“, „Tensorflow Lite“. lesen

Welche Hardware eignet sich zur KI-Beschleunigung?

Künstliche Intelligenz

Welche Hardware eignet sich zur KI-Beschleunigung?

Moderne Hardwarebeschleuniger haben den praktikablen Einsatz von Künstlicher Intelligenz in IT und Industrie in greifbare Nähe gerückt. Doch welche Technologie eignet sich hierfür besser: GPUs, DSPs, programmierbare FPGAs oder eigene, dedizierte Prozessoren? lesen

Googles Machine-Learning-Chip braucht Wasserkühlung

Luftkühlung reicht nicht

Googles Machine-Learning-Chip braucht Wasserkühlung

Die Wärmekapazität von Wasser ist um den Faktor 3.300 und die Wärmeleitfähigkeit in etwa 20-mal höher als die der Luft und eine CPU produziert mehr Wärme als eine handelsübliche Herdplatte. Doch mit Wasser im Rechenzentrum gibt es keine Tier-III-Zertifizierung. Mit Künstlicher Intelligenz steigen die Anforderungen nochmals; das Kühlen können Luftströme nicht mehr leisten. Nun hat Google die Version 3.0 seiner „Tensor Processing Unit“ (TPU) vorgestellt und diese wird flüssig gekühlt. lesen

copyright

Dieser Beitrag ist urheberrechtlich geschützt. Sie wollen ihn für Ihre Zwecke verwenden? Kontaktieren Sie uns über: support.vogel.de/ (ID: 45479951 / Definitionen)