Nvidia H200 NVL (141GB) AI and HPC GPU

Le H200 n'est pas une nouvelle architecture. Il s'agit du même die Hopper GH100 exécutant les mêmes cœurs CUDA, les mêmes Tensor Cores et le même Transformer Engine que le H100. Ce que NVIDIA a changé, c'est le sous-système mémoire : la HBM3 a été remplacée par la HBM3e, la capacité est passée de 80 GB à 141 GB, la bande passante est passée de 3 350 GB/s à 4 800 GB/s. Toutes les autres spécifications demeurent identiques. Il s'agit d'une mise à niveau mémoire ciblée pour les charges de travail où les 80 GB du H100 sont devenus la contrainte. L'impact pratique se répartit en trois catégories qui correspondent à des décisions de déploiement réelles. Inférence LLM à pleine précision. Un modèle de 70 milliards de paramètres à FP16, avec le surcoût du cache KV, nécessite environ 140 Go à 160 Go de mémoire GPU, en fonction de la taille du lot et de la longueur de la séquence. Le H100 à 80 GB ne peut pas le faire tenir sans quantification en FP8 ou INT8, ce qui réduit la précision du modèle. Le H200 NVL à 141 GB peut faire tourner 70B à FP16 sur un seul GPU, en conservant la pleine précision. Pour les applications où la perte de précision due à la quantification est inacceptable (IA médicale, analyse de documents juridiques, modélisation financière), c'est la différence entre "possible" et "prêt pour la production". Évolutivité de l'inférence pour des contextes longs. Les modèles Transformer allouent de la mémoire cache KV proportionnellement à la longueur de la fenêtre de contexte. Un modèle servant des fenêtres de contexte de 128K tokens sur le H100 peut épuiser 80 GB avant que la séquence ne soit terminée. Les 141 GB du H200 étendent la fenêtre de contexte maximale qu'un seul GPU peut gérer de 76 % avant que le déchargement mémoire ne devienne nécessaire. Pour les pipelines RAG, le traitement de documents et les agents conversationnels avec de longs historiques de conversation, cela se traduit directement par des contextes plus longs sans complexité d'infrastructure. Densité multi-locataires via des partitions MIG plus grandes. Chaque instance MIG sur le H200 dispose de 16,5 Go contre 10 Go sur le H100. Cette augmentation de 65 % par instance signifie que chaque partition peut prendre en charge des modèles d'inférence plus volumineux. Alors que les tranches MIG de 10 Go du H100 gèrent des modèles de 3B à 7B, les tranches de 16,5 Go du H200 gèrent des modèles de 7B à 13B par partition. Sept instances de modèles 7B simultanées sur un seul GPU H200 constituent une configuration d'inférence multi-locataires pratique. Les détails de la forme NVL PCIe. Jusqu'à 4 GPUs connectés via des ponts NVLink dans un seul serveur. Compatible refroidissement par air jusqu'à 600 W TDP configurable (contre 700 W sur H200 SXM qui nécessite refroidissement liquide). Interface PCIe Gen 5 x16. Radiateur passif nécessitant le flux d'air du châssis du serveur. S'adapte aux mêmes plateformes serveur exécutant des cartes A100 PCIe ou H100 PCIe, ce qui en fait une mise à niveau plug-and-play. Lenovo, Supermicro, Dell et HPE documentent tous la compatibilité H200 NVL sur les lignes de serveurs existantes. La bande passante compte pour la vitesse de génération de jetons. L'inférence LLM lors de la génération de jetons par décodage autoregressif est limitée par la bande passante mémoire : chaque nouveau jeton nécessite la lecture de l'ensemble des poids du modèle depuis la mémoire HBM. À 4 800 GB/s contre 3 350 GB/s pour le H100, le H200 génère des jetons environ 43 % plus vite sur les charges de travail liées à la bande passante. Les benchmarks RunPod confirment que cela se traduit par des gains de débit d'inférence réels de 1,5x à 1,9x sur les grands modèles de langage. La décision H200 NVL versus H200 SXM reflète la gamme H100. SXM : TDP de 700 W, refroidissement liquide, baseboard HGX, NVSwitch fabric connectant 8 GPUs à 900 GB/s chacun, optimisé pour l'entraînement distribué. NVL : jusqu'à 600 W, refroidissement par air, serveurs PCIe standard, jusqu'à 4-GPU NVLink, optimisé pour l'inférence et le déploiement flexible. SXM pour les clusters d'entraînement. NVL pour les serveurs d'inférence et les mises à niveau d'infrastructure existantes. Les mêmes contrôles d'exportation que le H100. Soumis aux restrictions américaines sur le matériel d'IA avancé.