Nvidia H100 NVL (94GB) GPU AI i HPC

H100 NVL jest odpowiedzią NVIDIA na problem limitu 80 GB w własnej linii H100. H100 SXM zapewnia 80 GB na kartę na podstawce HGX, co jest liderem w branży dla treningu. Jednak do inferencji na modelach powyżej 70 miliardów parametrów w FP16 (pamięć powyżej 140 GB) pojedyncza karta o pojemności 80 GB jest niewystarczająca. NVL rozwiązuje ten problem, łącząc dwie karty PCIe H100 za pomocą trzech mostków NVLink w jednolitą pulę HBM3 o pojemności 94 GB, którą stos softwarowy widzi jako pojedynczą przestrzeń pamięci. Architekturą na kartę jest GPU GH100 w technologii TSMC 4nm z 14 592 rdzeniami CUDA (132 SM z pełnych 144 włączonych), 456 czwartej generacji Tensor Cores obsługujących precyzję… FP64, TF32, FP16, BF16, FP8 i INT8 z Transformer Engine, który dynamicznie wybiera optymalną precyzję dla warstwy podczas inferencji. 47 GB HBM3 na kartę przy przepustowości około 1 979 GB/s. Dla pary NVLink: 94 GB zintegrowanej przestrzeni przy 3 938 GB/s łącznej przepustowości, połączonej dwukierunkowym NVLink o przepustowości 600 GB/s. Transformer Engine jest kluczową cechą H100 w porównaniu do A100. Automatycznie zarządza obliczeniami mieszanej precyzji pomiędzy FP8 i FP16 na poziomie warstw sieci neuronowych, zapewniając do 4 razy wyższą przepustowość treningu i 30 razy szybszą inferencję na modelach opartych na transformatorach w porównaniu do A100. Obsługa LLM produkcyjnych na parach H100 NVL generuje od 2 do 3 razy więcej tokenów na sekundę za dolara w porównaniu z wdrożeniami A100 80 GB dla modeli w zakresie 30 miliardów do 70 miliardów parametrów. TDP wynosi 400 W na kartę w trybie domyślnym, a konfiguracja z kablem PCIe 16-pin wspiera moc od 200 W do 600 W na kartę. Przy domyślnych 400 W na parę (800 W łącznie) para NVL zużywa mniej więcej tyle samo energii co jedna H100 SXM przy 700 W, ale zapewnia 94 GB zamiast 80 GB przy prostocie infrastruktury slotu PCIe. Możliwość MIG umożliwia utworzenie do 7 w pełni izolowanych instancji na kartę (łącznie 14 w parach) z dedykowaną pamięcią, cache i obliczeniami. Dla wielo-dominium inferencji istotna jest ta granularność: obsługa różnych klientów lub modeli na izolowanych odcinkach GPU z gwarantowaną jakością usług. NVL pasuje do standardowych platform serwerowych PCIe. Każdy serwer z dwoma sąsiednimi slotami PCIe Gen 5 x16, przestrzenią na mostek NVLink (trzy mostki obejmujące obie karty) oraz odpowiednim przepływem powietrza do pasywnego chłodzenia o łącznej mocy 800 W. Platformy Supermicro, Dell PowerEdge, HPE ProLiant i Lenovo ThinkSystem potwierdzają kompatybilność H100 NVL. Nie jest wymagana podstawka HGX. W porównaniu do innych ofert MillionMiner: w porównaniu do H100 SXM 80GB (oddzielny produkt): SXM zapewnia wyższą przepustowość na GPU (3 350 GB/s) oraz połączenie NVSwitch dla wielogpu treningu, ale wymaga infrastruktury HGX. W porównaniu do H200 NVL 141GB: H200 podwaja pojemność pamięci z nowszym HBM3e dla operatorów potrzebujących jeszcze większej przestrzeni VRAM. W porównaniu do RTX PRO 6000 96GB (10 000–13 000 USD): RTX PRO 6000 oferuje nowszą architekturę Blackwell z wyższą precyzją FP32 TFLOPS, ale brakuje mu przepustowości HBM, Transformer Engine i sprawdzonego ekosystemu data centre Hopper.