NVIDIA ogłosiła akceleratory H200 oparte na tej samej architekturze Hoppera, co ich poprzednicy, H100, wprowadzony ponad półtora roku temu. Według firmy nowy H200 to pierwszy na świecie akcelerator wykorzystujący pamięć HMB3e. Czy wyprze H100, czy pozostanie pośrednim ogniwem w ewolucji rozwiązań NVIDII, czas pokaże – H200 pojawi się w sprzedaży w drugim kwartale przyszłego roku, ale także w 2024 roku powinna pojawić się nowa generacja akceleratorów B100, która być bardziej produktywne niż modele H100 i H200.
H200 otrzymał 141 GB pamięci HBM3e o łącznej przepustowości 4,8 TB/s. H100 miał 80 GB HBM3, a przepustowość wynosiła 3,35 TB/s. Akceleratory hybrydowe GH200, w tym H200, otrzymają aż 480 GB LPDDR5x (512 GB/s) i 144 GB HBM3e (4,9 TB/s). Z GH200 jest jednak pewne zamieszanie, gdyż w jednym miejscu NVIDIA mówi o 141 GB, a w innym o 144 GB HBM3e. Zaktualizowana wersja GH200 stanie się powszechnie dostępna po wydaniu H200, ale na razie NVIDIA będzie dostarczać oryginalną wersję 96 GB z HBM3. Przypomnijmy, że nadchodzący konkurencyjny AMD Instinct MI300X otrzyma 192 GB pamięci HBM3 o przepustowości pamięci 5,2 TB/s.
W chwili pisania tego tekstu NVIDIA nie ujawniła pełnej specyfikacji H200, ale najwyraźniej część obliczeniowa H200 pozostaje taka sama lub prawie taka sama jak H100. NVIDIA podaje wydajność FP8 platformy HGX z ośmioma akceleratorami (dostępna jest również opcja z czterema), co daje 32 Pflops. Oznacza to, że na każdy H200 przypadają 4 Pflopy, a H100 wyprodukował dokładnie tę samą ilość. Niemniej jednak szybsza i pojemniejsza pamięć ma zalety – w zadaniach wnioskowania można uzyskać wzrost o 1,6–1,9 razy.
Jednocześnie płyty HGX H200 są w pełni kompatybilne z istniejącymi na rynku platformami HGX H100, zarówno pod względem mechanicznym, jak i pod względem zasilania i odprowadzania ciepła. Umożliwi to bardzo szybką aktualizację ofert do partnerów firmy: ASRock Rack, ASUS, Dell, Eviden, GIGABYTE, HPE, Lenovo, QCT, Supermicro, Wistron i Wiwynn. H200 będzie dostępny także w chmurach. W pierwszej kolejności otrzymają je AWS, Google Cloud Platform, Oracle Cloud, CoreWeave, Lambda i Vultr. Na liście szczególnie brakuje Microsoft Azure, który wydaje się już cierpieć na wadę H100.
GH200 jest już dostępny dla wybranych klientów w chmurach Lamba Labs i Vultr, a będzie dostępny w CoreWeave na początku 2024 roku. Pod koniec tego roku firmy ASRock Rack, ASUS, GIGABYTE i Ingrasys rozpoczną dostawy serwerów z GH200. Wkrótce te chipy pojawią się także w serwisie NVIDIA Launchpad, jednak firma nie powiedziała jeszcze nic na temat dostępności tam H200.
Jednocześnie NVIDIA zaprezentowała podstawowy „element konstrukcyjny” superkomputerów najbliższej przyszłości – płytę Quad GH200 z czterema chipami GH200, na której wszystkie akceleratory są połączone ze sobą za pośrednictwem NVLink w schemacie każdy do każdego. W sumie płyta zawiera ponad 2 TB pamięci, 288 rdzeni Arm i osiąga wydajność 8 FP na poziomie 16 Pflops. Węzły HPE Cray EX254n i Eviden Bull Sequana XH3000 są oparte na procesorze Quad GH200. Według szacunków NVIDIA do końca 2024 roku całkowita wydajność AI systemów z GH200 osiągnie 200 Eflops.
Powiązane materiały:
NVIDIA rzekomo przygotowuje dla Chin trzy nowe akceleratory, które mają zastąpić te objęte sankcjami: H20, L20 i L2 NVIDIA zdecydowała, gdzie będzie dostarczać akceleratory A800 przeznaczone dla Chin Grube i cienkie: NVIDIA wprowadziła najmniejsze i największe akceleratory AI L4 i H100 NVL Microsoft po cichu uruchomił pierwszy region chmurowy Azure w Izraelu 1C zmieni koszt swojego oprogramowania w oparciu o 1C:Enterprise 8 w 2024 roku
