Nvidia GH200: Grace Hopper bekommt ein HBM3e-Upgrade
Nvidia legt die dritte Variante seiner H100-GPU auf. Im GH200-Superchip erhält sie 141 GByte HBM3e-Speicher und einen Boost auf 5 TByte/s.
Ein Server mit zwei GH200-Boards.
(Bild: Nvidia)
Die H100-GPU erhält einen weiteren Geschwindigkeitsschub: Nvidia legt sie mit HBM3e- anstelle von HBM3-Speicherbausteinen auf. Das erhöht sowohl die RAM-Kapazität als auch die Übertragungsrate und soll insbesondere das Training großer KI-Modelle beschleunigen.
Nvidia spricht in seiner Ankündigung zur Siggraph-Messe von einem Boost um den Faktor 3,5 – natürlich in ausgewählten "Best Case"-Szenarien. Die verbesserte H100-GPU gibt es vorerst allerdings nur als GH200-"Superchip" in Kombination mit Nvidias eigenem ARM-Prozessor Grace auf einer gemeinsamen Platine.
141 GByte HBM3e pro GPU
In dieser Variante verwendet der Beschleuniger 141 GByte HBM3e-Speicher mit einer Übertragungsrate von rund 5 TByte/s. Technische Hintergründe zu dieser krummen Kapazität liefert Nvidia nicht – vermutlich sind manche Speicherlagen deaktiviert. Samsung, SK Hynix und Micron stellen vorerst Bausteine mit bis zu 24 GByte Kapazität her – sechs davon ergäben eigentlich 144 GByte.
Bei der ursprünglichen H100-Version sind fünf der sechs aufgesetzten HBM3-Bausteine aktiv. 80 GByte RAM mit einer Übertragungsrate von 3,35 TByte/s sind somit nutzbar. Bei der H100 NVL ist der sechste HBM3-Baustein aktiv. Dadurch wächst die Kapazität auf 94 GByte – auch hier sind einzelne Speicherlagen ausgeknipst –, die Übertragungsrate auf 3,9 TByte/s.
| GPU | H100 | H100 NVL | H100 (GH200-Board) |
| Shader-Kerne | 14.592 | 14.592 | 14.592 |
| Speicher | 80 GByte HBM3 | 94 GByte HBM3 | 141 HBM3e |
| Übertragungsrate | 3,35 TByte/s | 3,9 TByte/s | ca. 5 TByte/s |
An der restlichen Ausstattung ändert sich zwischen den drei Ausführungen nichts. Sie alle greifen auf 14.592 Shader-Kerne zurück, die beim KI-Training eine Rechenleistung von fast 4 Petaflops erreichen. Dieser Wert gilt für FP8-Berechnung mit niedriger Genauigkeit, die zum Training aber ausreicht.
Die Grace-CPU der GH200-Boards gehört mit 72 ARM-Kernen vom Typ Neoverse V2 heutzutage zur gehobenen Mittelklasse. Die Hauptrechenlast stemmt mit Abstand die H100-GPU.
Noch lange nicht verfügbar
Erste Systeme mit den neuen GH200-Boards sollen im zweiten Quartal 2024 verfügbar sein. Bis dahin sollen die Speicherhersteller HBM3e-Bausteine liefern können. Zudem hat Nvidia dann noch Zeit, die Lieferengpässe zu lockern.
Systeme mit der bisherigen Grace-Hopper-Kombination machen sich derweil immer noch rar. Nvidia hatte sie im Frühsommer 2022 für das erste Halbjahr 2023 angekündigt; auf der Fachmesse Computex im Mai gab es erste Modelle zu sehen. Im Handel sind sie aber noch nicht aufgetaucht.
(mma)