Nvidia H100 NVL (94GB) AI and HPC GPU

Le H100 NVL est la réponse de NVIDIA au plafond de 80 Go dans sa propre gamme H100. Le H100 SXM offre 80 Go par carte sur une HGX baseboard, ce qui est leader de l'industrie pour l'entraînement. Mais pour l'inférence sur des modèles de 70B paramètres et plus à FP16 (empreinte mémoire de 140 Go et plus), une seule carte de 80 Go n'est pas suffisante. Le NVL résout cela en associant deux cartes PCIe H100 via trois ponts NVLink pour former un pool unifié de 94 Go HBM3 que la pile logicielle perçoit comme un espace mémoire unique. Architecture par carte : GH100 GPU sur TSMC 4 nm avec 14 592 cœurs CUDA (132 SM sur les 144 activés), 456 Tensor Cores de quatrième génération prenant en charge FP64, TF32, FP16, BF16, FP8 et INT8 de précision avec le Transformer Engine qui sélectionne dynamiquement la précision optimale par couche lors de l'inférence. 47 Go HBM3 par carte à environ 1 979 Go/s de bande passante. Par paire NVLink : 94 Go unifiés à 3 938 Go/s combinés, connectés par une bande passante NVLink bidirectionnelle de 600 Go/s entre les deux cartes. Le Transformer Engine est la caractéristique déterminante du H100 par rapport à l'A100. Il gère automatiquement le calcul à précision mixte sur FP8 et FP16 par couche du réseau de neurones, offrant jusqu'à 4x de débit d'entraînement et 30x de débit d'inférence sur des modèles basés sur des transformers par rapport à l'A100. Le service LLM en production sur des paires H100 NVL génère 2x à 3x plus de jetons par seconde et par dollar que les déploiements A100 80 Go pour des modèles comptant entre 30B et 70B paramètres. La TDP est de 400 W par carte en mode énergie par défaut, avec le câble PCIe 16 broches supportant une configuration entre 200 W et 600 W par carte. À 400 W par paire par défaut (800 W au total), la paire NVL consomme à peu près la même puissance qu'un H100 SXM à 700 W mais offre 94 Go contre 80 Go grâce à la simplicité d'infrastructure PCIe-slot. La capacité MIG permet de créer jusqu'à 7 instances entièrement isolées par carte (14 au total sur la paire) avec mémoire, cache et calcul dédiés. Pour l'inférence multi-locataires, cette granularité est précieuse : servir différents clients ou modèles sur des tranches GPU isolées avec une QoS garantie. Le NVL s'adapte aux plates-formes serveur PCIe standards. Tout serveur disposant de deux emplacements PCIe Gen 5 x16 adjacents, d'un dégagement physique pour l'assemblage du NVLink bridge (trois ponts couvrant les deux cartes), et d'un flux d'air adéquat pour un refroidissement passif combiné de 800 W. Les plates-formes Supermicro, Dell PowerEdge, HPE ProLiant et Lenovo ThinkSystem documentent toutes la compatibilité du H100 NVL. Aucun HGX baseboard requis. Par rapport aux autres offres de MillionMiner. Par rapport au H100 SXM 80Go (liste séparée) : le SXM offre une bande passante par GPU plus élevée (3 350 Go/s) et une connectivité NVSwitch pour l'entraînement multi-GPU, mais nécessite une infrastructure HGX baseboard. Contre le H200 NVL 141Go : le H200 double la capacité mémoire avec le plus récent HBM3e pour les opérateurs qui ont besoin d'encore plus de marge VRAM. Contre le RTX PRO 6000 96Go (10 000 à 13 000 dollars) : le RTX PRO 6000 offre une architecture Blackwell plus récente avec des FP32 TFLOPS plus élevés mais manque de bande passante HBM, du Transformer Engine et de l'écosystème Hopper pour les centres de données éprouvé.