NVIDIA Kitchen Keynote – Ein Blick auf die Neuerungen der GTC

NVIDIA, NVIDIA Kitchen Keynote – Ein Blick auf die Neuerungen der GTC

Schon seit einiger Zeit wurde die Ankündigung einer neuen Data Center GPU zur diesjährigen GPU Technology Conference GTC erwartet. Jensen Huang, CEO von NVIDIA, ist bekannt für seine umfassenden und teils spektakulären Keynotes mit einem Feuerwerk an Produktankündigungen. Und die GTC ist aktuell die taktgebende Konferenz für AI & Data Science Infrastruktur. Als NVIDIA Elite Partner ist SVA jedes Jahr mit mehreren Consultants vertreten, um sich fortzubilden und aktiv an der AI & Data Science Community teilzuhaben.

Innovation aus dem Ofen gezaubert

Letzte Woche war es dann endlich soweit. NVIDIA holte, bei der mittlerweile zur virtuellen Konferenz gewandelten GTC, die Keynote in Form einer “Kitchen Keynote“ aus der Küche von CEO Jensen Huang nach https://www.nvidia.com/en-us/gtc/keynote. Schon einige Tage zuvor fachte NVIDIA die Spannung mit der „Get Amped“ Kampagne an. Diese zeigt, wie Jensen Huang „the world’s largest graphic card“ aus dem Ofen holte. Beides eine Anspielung auf den bereits vermuteten Produktnamen für die Ampere GPU Architecture und das auf GPUs basierende System DGX, was Jensen Huang auch häufig als die größte Grafikkarte der Welt bezeichnet.

Die Keynote startete allerdings nicht mit der eigentlichen Produktvorstellung, sondern mit einer Darstellung, wie sich Accelerated Computing mit GPUs über die letzten Jahre entwickelt hat und wie NVIDIA in den nächsten Jahren darauf aufsetzen wird. Die GPU hat eine massive Parallelisierung der Rechenleistung in einem Server ermöglicht. Doch dies reicht für die Probleme und Workloads, an denen aktuell gearbeitet wird, nicht mehr aus. Kein einziger Server kann mehr diese Menge an Daten verarbeiten. Aber gerade für AI und Data Science nimmt die Wichtigkeit von Transfer und die Speicherung der Daten im gesamten Rechenzentrum immer mehr zu. Nicht mehr der Server wird als die zentrale Computing Unit angesehen, sondern der gesamte Datacenter Stack von Software über Server, Networking und Storage ist die neue Computing Unit. Jensen Huang spricht von Datacenter Scale Accelerated Computing und definiert das Ziel von NVIDIA für die nächsten Jahre, nämlich diesen gesamten Stack im Datacenter für AI und Data Science zu optimieren. Er erklärt damit auch die mittlerweile abgeschlossene Akquisition von Mellanox für das Highspeed Datacenter Networking.

Die Hardware-Neuerungen versprechen immense Performancesteigerung

Die Neuerungen im Software Stack sprengen den Rahmen dieses Beitrags. Darauf werden wir in einem separaten Beitrag eingehen.

Was die Hardware angeht, wird sicherlich niemand enttäuscht. Wie erwartet, stellt Huang die A100 GPU basierend auf der neuen Ampere Architecture vor. Die Performance-Werte der A100 stellen die bisher stärkste GPU V100 bei weitem in den Schatten. Die Verbesserungen reichen bis zum Faktor 20 bezogen auf die Inference-Leistung. Ermöglicht wird dies durch neue Tensor Cores und die Art, wie sie den verfügbaren Speicher ausnutzen. 

Ein neues Zahlenformat, Tensor Float 32 https://blogs.nvidia.com/blog/2020/05/14/tensorfloat-32-precision-format, und Optimierungen bei der Verarbeitung von Sparse Matrix Operationen https://blogs.nvidia.com/blog/2020/05/14/sparsity-ai-inference/sorgen für diese Performancesteigerung.

Eine besondere Neuheit ist allerdings die Funktionalität der Multi-Instance GPU (MiG), die mit der Ampere Architecture eingeführt wird. So lässt sich eine A100 GPU in bis zu sieben kleinere GPUs partitionieren. Positionierte NVIDIA vorher die V100 GPU für das Training von Modellen und die T4 GPU für Inference Workloads, so ist die A100 GPU nun eine universell einsetzbare GPU, die je nach Anforderungen eine große GPU für Trainingsszenarien oder sieben kleinere GPUs für die Inference-Phase bereitstellen kann. Gerade bei Service Providern oder größeren Clustern von Systemen wird diese Funktion für eine höhere Auslastung der Systeme sorgen und damit für ein besseres Kostennutzenverhältnis führen. Oder wie Jensen Huang es wieder einmal etwas ironisch nannte: „The more you buy, the more you save.“

Wer sich alle Neuerungen der Ampere Architecture im Detail anschauen möchte, dem sei die ausführliche Beschreibung auf dem NVIDIA Developer Blog nahegelegt: https://devblogs.nvidia.com/nvidia-ampere-architecture-in-depth/

Training und Inference in einer GPU

In der ebenfalls vorgestellten DGX A100, der dritten Generation des NVIDIA‘s AI & Data Science Servers, mit 8x A100 GPUs können daher bis zu 56 kleinere GPU Instanzen partitioniert werden. Jede dieser 56 Instanzen ist vergleichbar mit der Leistung einer bisherigen V100 GPU.

NVIDIA, NVIDIA Kitchen Keynote – Ein Blick auf die Neuerungen der GTC

Wurden bisher verschiedene Systeme für Training und Inference mit unterschiedlichen GPUs angeschafft und jeweils nur Zeitweise ausgelastet, kann die DGX A100 nun flexibel, je nach Workload partitioniert und entsprechend höher ausgelastet werden. Das führt letztlich zu einer Reduktion der Gesamtkosten für eine AI & Data Science Infrastruktur.

Eine neue Referenzarchitektur für Unternehmen ist greifbar nahe

Jensen Huang hatte noch weitere Innovationen in petto: NVIDIA hat u. a. mit IBM, Pure Storage, Dell EMC und Netapp (alles strategische Partner von SVA) die sogenannten POD Referenzarchitekturen veröffentlicht. Diese beinhalten neben den NVIDIA DGX Systemen auch die Dimensionierung und Integration von Netzwerk und Storage. Sie soll Kunden helfen die Inbetriebnahme einer solchen Infrastruktur signifikant zu vereinfachen und zu verkürzen.

Die SuperPOD Referenzarchitektur ist die größte Skalierung und beinhaltet neben 140x DGX A100 Systemen auch 170 Mellanox Quantum 200G Infiniband Switches und 4PB All-Flash Storage. Auf Basis dieser Referenzarchitektur konnte NVIDIA dieses System mit 700 PFLOPS für AI-Anwendungen in weniger als drei Wochen aufbauen. Spätestens hier wurde dem Zuhörer der Keynote klar, was Jensen Huang mit Datacenter Scale Accelerated Computing for AI & Data Science meint.

Kurz in eigener Sache: SVA ist einer von wenigen Elitepartnern für die Implementierung von POD Referenzarchitekturen und der einzige, der bei allen relevanten Technologieanbietern den höchsten Zertifizierungs- und Partnerstatus erfüllt.

Die neue Edge AI Platform schließt die Lücke zum Datacenter

NVIDIA weiß aber auch, dass sich die AI Uses Cases nicht nur im Rechenzentrum befinden und bietet bereits seit Jahren GPUs für autonome Systeme an. Der letzte Teil der Keynote schließt mit der Ankündigung der EGX Edge AI Platform die Lücke zwischen Datacenter und Edge bzw. Robotics Systemen. EGX besteht aus dem Software Stack für Edge Systeme und einer Converged PCIe Karte mit A100 GPU und Mellanox ConnectX-6 DX Highspeed Networking NIC für 100Gb/s Ethernet oder Infiniband. Gerade für die erhöhten Sicherheitsanforderungen im Edge-Bereich ist eine Line-Speed TLS/IPSec Encryption Engine enthalten.

NVIDIA setzt also seinen Weg fort und optimiert AI-Workloads nun nicht nur mehr in der GPU oder in einem Server. Durch die Akquisition von Mellanox und der Definition von Referenzarchitekturen inklusive Netzwerk und Storage optimiert NVIDIA nun den ganzen Software- und Hardware Stack im Rechenzentrum für diese Workloads. Und selbst hier hört es nicht auf. Durch die Edge AI Platform EGX https://www.nvidia.com/de-de/data-center/products/egx-edge-computing/ und die Erweiterung der Jetson Platform für autonome System https://www.nvidia.com/de-de/autonomous-machines/embedded-systems/jetson-xavier-nx/, wird die Welt außerhalb des Rechenzentrums mit diesen AI-Supercomputern verbunden.

Webinar-Tipp: Falls Sie interessiert, was in der Praxis schon geht

Dem Einsatz von künstlicher Intelligenz sind de facto keine Grenzen gesetzt. NVIDIA hat sich hierbei auch auf zahlreiche Branchen mit dedizierten Anwendungsfällen spezialisiert. Eine dieser Branchen ist die Medizinbranche. SVA wird am 17.06. in einem Webinar den Einsatz von KI in der Medizin näher vorstellen und hierbei auch näher auf das NVIDIA Clara SDK eingehen. Melden Sie sich gerne dazu an.

NVIDIA Healthcare: In wenigen Schritten zum KI-Modell am 17.06.2020, 10-11 Uhr:
https://www.xing.com/events/nvidia-healthcare-wenigen-schritten-ki-modell-2883847

War dieser Artikel für dich interessant?