Nvidia H100 SXM (80GB) AI and HPC GPU

Le H100 SXM existe parce que la formation d'IA distribuée rencontre un problème de bande passante que PCIe ne peut pas résoudre. La formation d’un modèle de 70 milliards de paramètres sur plusieurs GPUs nécessite que chaque GPU échange des mises à jour de gradient avec tous les autres GPU après chaque passe forward et backward. Sur PCIe Gen 5 à 128 GB/s, ces échanges de gradients deviennent le goulot d’étranglement bien avant que les GPUs n’atteignent leur capacité de calcul. NVLink 4.0 à 900 GB/s par GPU (7x PCIe) et NVSwitch connectant tous les 8 GPUs d’un nœud à pleine bande passante éliminent ce goulot d’étranglement. C’est pourquoi chaque déploiement sérieux de formation d’IA utilise SXM, pas PCIe. Spécifications complètes du die GH100. 80 milliards de transistors fabriqués par TSMC en 4nm. 16 896 CUDA cores répartis sur 132 SM (activation complète du die sur SXM contre 114 SM sur PCIe). 528 Tensor Cores de 4e génération prenant en charge FP64, TF32, FP16, BF16, FP8, et INT8 avec le Transformer Engine. 132 RT Cores de 3e génération. 80GB HBM3 sur un bus de 5 120 bits avec une bande passante de 3 350 GB/s. Cache L2 de 50MB. La forme SXM5 offre environ 30 pour cent de TFLOPS en plus que la version PCIe (67 contre 51 TFLOPS FP32) grâce à des vitesses d’horloge plus élevées permises par le budget électrique de 700W et l’infrastructure thermique HGX. Débit de calcul à chaque niveau de précision. FP64 : 34 TFLOPS (67 TFLOPS Tensor). FP32 : 67 TFLOPS. Tensor TF32 : 989 TFLOPS avec sparsité. Tensor FP16/BF16 : 1 979 TFLOPS avec sparsité. Tensor FP8 : 3 958 TFLOPS avec sparsité. Tensor INT8 : 3 958 TOPS avec sparsité. La valeur FP8 est celle qui importe pour la formation de transformers : 3 958 TFLOPS avec gestion automatique de la précision via le Transformer Engine, ce qui signifie que le H100 SXM offre environ 4 fois le débit de formation d’un A100 SXM sur des modèles de type GPT. Architecture NVLink et NVSwitch. Chaque H100 SXM se connecte au tissu NVSwitch via 18 liens NVLink 4.0 offrant une bande passante bidirectionnelle de 900 GB/s. NVSwitch fournit une connectivité de type tout-à-tout : tout GPU peut communiquer avec tout autre GPU dans le même nœud à pleine vitesse de 900 GB/s sans passer par un CPU ou un bus PCIe. Un nœud HGX H100 à 8 GPU délivre 7,2 TB/s de bande passante aggregate NVLink répartie sur tous les GPUs. Pour le scaling multi-nœuds, NVIDIA Quantum-2 NDR InfiniBand à 400 Gb/s par port étend le tissu au-delà des nœuds uniques. DGX H100 versus HGX H100. Le DGX H100 est le système clé en main NVIDIA à 8 GPU (classe entre 250 000 et 400 000 dollars) comprenant CPU, mémoire, stockage, réseau et pile logicielle. Le HGX H100 est le module de carte GPU que les OEM de serveurs (Supermicro, Dell, HPE, Lenovo) intègrent dans leurs propres plateformes serveur. Les deux utilisent la même configuration de 8 GPU H100 SXM avec NVSwitch. La voie HGX offre plus de flexibilité pour les choix de CPU, stockage, et réseau. Le cadre de décision SXM versus NVL versus PCIe. SXM (ce produit) : performance maximale par GPU, scalabilité NVLink 8-GPU, TDP de 700W, nécessite une carte de base HGX, optimisé pour la formation distribuée. NVL (H100 NVL 94GB, liste séparée MillionMiner) : cartes PCIe appairées, mémoire unifiée de 94GB, convient aux serveurs standards, optimisé pour l’inférence avec grands modèles. PCIe (H100 standard 80GB PCIe) : carte unique à 350W, emplacements serveurs standards, coût inférieur, limité à 2 NVLink GPU, adapté pour l’inférence sur un seul GPU et le fine-tuning. Choisissez SXM lorsque la cadence de formation et l’efficacité de la scalabilité multi-GPU sont prioritaires. Optez pour NVL ou PCIe lorsque l’inférence ou la simplicité d’infrastructure importent davantage. MIG sur le H100 SXM permet de créer jusqu’à 7 instances isolées de 10GB chacune. Les patterns de production les plus courants selon Spheron : 7x 1g.10gb pour l’inférence multi-locataires de petits modèles, ou 2x 3g.40gb pour deux serveurs simultanés de modèles de 13B. Chaque instance MIG apparaît comme un GPU séparé par le système d’exploitation avec une isolation hardware renforcée. L’informatique confidentielle via Trusted Execution Environment (TEE) protège les données et les poids du modèle durant le traitement. C’est une fonctionnalité de sécurité hardware pour les déploiements IA soumis à la conformité dans la santé (HIPAA), la finance (SOC 2), et le secteur public (FedRAMP), où les données ne peuvent pas être exposées à l’opérateur de l’infrastructure. Jusqu’à 700W de TDP configurable. Nécessite un refroidissement liquide ou une ingénierie de chassis serveur à flux d’air élevé. Le refroidissement à air standard est insuffisant pour une opération soutenue à 700W. NVIDIA DGX H100 utilise un refroidissement liquide direct. Les configurations HGX H100 de Supermicro et Lenovo offrent des options à la fois à air et à liquide en fonction du budget thermique.