Nvidia H200 NVL (141GB) GPU AI i HPC

H200 nie jest nową architekturą. To ta sama inżynieria Hopper GH100 napędzana tymi samymi rdzeniami CUDA, tymi samymi rdzeniami Tensor i tym samym Transformer Engine co H100. To, co NVIDIA zmieniła, to podsystem pamięci: HBM3 zastąpiono HBM3e, pojemność zwiększono z 80GB do 141GB, przepustowość z 3 350 GB/s do 4 800 GB/s. Wszystkie inne specyfikacje pozostają identyczne. Jest to ukierunkowana rozbudowa pamięci dla obciążeń, w których 80GB w H100 staje się ograniczeniem. Praktyczny wpływ można podzielić na trzy kategorie, które odzwierciedlają decyzje dotyczące wdrożenia. Inference LLM z pełną precyzją. Model z 70 miliardami parametrów w FP16, z narzutem na KV cache, wymaga około 140GB do 160GB pamięci GPU, w zależności od rozmiaru partii i długości sekwencji. H100 z 80GB nie mieści tego bez kwantyzacji do FP8 lub INT8, co zmniejsza dokładność modelu. H200 NVL z 141GB mieści 70B w FP16 na pojedynczym GPU, zachowując pełną precyzję. Dla zastosowań, gdzie utrata dokładności kwantyzacji jest nieakceptowalna (medyczna AI, analiza dokumentów prawnych, modelowanie finansowe), jest to różnica między "możliwe" a "gotowe do produkcji". Skalowanie inference na długi kontekst. Modele Transformer alokują pamięć KV cache proporcjonalnie do długości okna kontekstowego. Model obsługujący okna kontekstowe 128K tokenów na H100 może wyczerpać 80GB zanim sekwencja się zakończy. 141GB H200 wydłuża maksymalne okno kontekstowe, które może obsłużyć pojedynczy GPU, o 76 procent, zanim konieczne będzie offloading pamięci. Dla RAG pipelines, przetwarzania dokumentów i agentów konwersacyjnych z długą historią rozmów, oznacza to bezpośrednio dłuższe konteksty bez komplikacji infrastrukturalnych. Gęstość wieloklientowa dzięki większym partycjom MIG. Każda instancja MIG na H200 ma 16,5GB w porównaniu do 10GB na H100. To 65-procentowe zwiększenie na instancję pozwala każdej partycji obsługiwać większe modele inferencyjne. Gdzie na H100 partycja o 10GB obsługuje modele od 3B do 7B, na H200 partycja o 16,5GB obsługuje modele od 7B do 13B na partię. Siedem jednoczesnych instancji modeli 7B na pojedynczym GPU H200 to praktyczna konfiguracja wieloklientowa inference. Szczegóły formatu PCIe NVL. Do 4 GPU połączonych przez mostki NVLink w jednym serwerze. Kompatybilne z chłodzeniem powietrznym przy TDP do 600W, konfigurowalne (w przeciwieństwie do 700W na H200 SXM, które wymaga chłodzenia cieczą). Interfejs PCIe Gen 5 x16. Pasywny radiator wymagający przepływu powietrza w obudowie serwera. Pasuje do tych samych platform serwerowych z kartami A100 PCIe lub H100 PCIe, co czyni go możliwością wymiany typu drop-in. Lenovo, Supermicro, Dell i HPE dokumentują zgodność H200 NVL na istniejących liniach serwerów. Przepustowość ma znaczenie dla szybkości generowania tokenów. Generacja tokenów LLM w autoregresywnym dekodowaniu jest ograniczona przez przepustowość pamięci: każdy nowy token wymaga odczytu całych wag modelu z HBM. Przy 4 800 GB/s w porównaniu do 3 350 GB/s w H100, H200 generuje tokeny około 43 procent szybciej w obciążeniach ograniczonych przepustowością. Benchmarki RunPod potwierdzają, że przekłada się to na rzeczywiste zyski w przepustowości inference od 1,5x do 1,9x w dużych modelach językowych. Decyzja między NVL a SXM dla H200 odzwierciedla linię H100. SXM: TDP 700W, chłodzenie cieczą, płyta bazowa HGX, sieć NVSwitch łącząca 8 GPU po 900 GB/s każdy, zoptymalizowana do rozproszonego treningu. NVL: do 600W, chłodzenie powietrzem, standardowe serwery PCIe, do 4 GPU przez NVLink, zoptymalizowane pod inference i elastyczne wdrożenia. SXM dla klastrów treningowych. NVL dla serwerów inference i modernizacji istniejącej infrastruktury. Te same kontrole eksportowe co H100. Podlegają ograniczeniom USA dotyczącym zaawansowanego sprzętu AI.