Firma NVIDIA przedstawiła dzisiaj najpotężniejszy na świecie akcelerator obliczeniowy, H200. Jest zbudowany na znanej już architekturze NVIDIA Hopper i jest właściwie zaktualizowaną wersją popularnego flagowego akceleratora H100 z szybszą pamięcią HBM3e. Nowa pamięć umożliwi akceleratorowi szybsze przetwarzanie ogromnych ilości danych na potrzeby generatywnej sztucznej inteligencji i obciążeń obliczeniowych o wysokiej wydajności.
NVIDIA H200 to pierwszy procesor graficzny wyposażony w pamięć HBM3e, która jest szybsza niż zwykła karta HBM3. NVIDIA H200 otrzymała 141 GB pamięci HBM3e o prędkości 4,8 TB/s, czyli prawie dwukrotnie więcej pod względem objętości i 2,4 razy większej przepustowości w porównaniu do pamięci poprzedniej generacji akceleratora NVIDIA A100. Dla porównania, H100 ma 80 GB pamięci HBM3 przy 3,35 TB/s, podczas gdy nadchodzący Instinct MI300X firmy AMD będzie wyposażony w 192 GB pamięci HBM3 przy 5,2 TB/s.
Dzięki modernizacji pamięci H200 zapewni znaczny wzrost wydajności w pracy już przeszkolonych systemów sztucznej inteligencji (wnioskowanie). Przykładowo NVIDIA obiecuje zwiększenie szybkości wielkojęzycznego modelu Llama 2 z 70 miliardami parametrów o 1,9 razy w porównaniu do H100. A nowy produkt 1,6 razy przyspieszy pracę wytrenowanego modelu GPT-3 ze 175 miliardami parametrów.
NVIDIA H200 będzie dostępna na płytach serwerowych NVIDIA HGX H200 w konfiguracjach z czterema i ośmioma akceleratorami. Co więcej, nowe produkty są kompatybilne zarówno ze sprzętem, jak i oprogramowaniem systemów HGX H100. Producenci serwerów, w tym ASRock Rack, ASUS, Dell Technologies, Eviden, GIGABYTE, Hewlett Packard Enterprise, Ingrasys, Lenovo, QCT, Supermicro, Wistron i Wiwynn, wypuszczą swoje systemy z akceleratorami H200. Z kolei Amazon Web Services, Google Cloud, Microsoft Azure i Oracle Cloud Infrastructure będą jednymi z pierwszych dostawców usług chmurowych, którzy od przyszłego roku zaoferują instancje oparte na H200.
NVIDIA zauważa, że system HGX H200 z ośmioma akceleratorami zapewnia ponad 32 Pflops (32 biliardy operacji na sekundę) wydajności obliczeniowej głębokiego uczenia się 8PR. Co więcej, taki system zapewni łącznie 1,1 TB pamięci o dużej przepustowości, co zapewni najwyższą wydajność w generatywnych zastosowaniach AI i HPC.
W połączeniu z procesorami NVIDIA Grace Arm z ultraszybkim interfejsem NVLink-C2C, H200 tworzy superchip GH200 Grace Hopper z HBM3e. NVIDIA pozycjonuje takie zintegrowane moduły jako wysokowydajne rozwiązania do pracy z aplikacjami HPC i AI na gigantyczną skalę.
NVIDIA zaprezentowała także płytkę Quad GH200 z czterema superchipami GH200, w których wszystkie akceleratory są połączone ze sobą poprzez NVLink w schemacie każdy do każdego. W sumie płyta zawiera ponad 2 TB szybkiej pamięci i 288 rdzeni Arm, a jej wydajność osiąga 16 Pflops w 8PR. Według szacunków NVIDIA do końca przyszłego roku łączna wydajność AI systemów z GH200 osiągnie 200 Eflops.
Akcelerator NVIDIA H200 będzie dostępny w drugim kwartale 2024 roku.
