Nvidia H100 SXM (80GB) AI and HPC GPU

L'H100 SXM esiste perché l'addestramento AI distribuito ha un problema di larghezza di banda che PCIe non può risolvere. L'addestramento di un modello da 70B parametri su più GPU richiede che ogni GPU scambi aggiornamenti di gradienti con tutte le altre GPU dopo ogni passaggio forward e backward. Su PCIe Gen 5 a 128 GB/s, questi scambi di gradienti diventano il collo di bottiglia molto prima che le GPU esauriscano la capacità di calcolo. NVLink 4.0 a 900 GB/s per GPU (7x PCIe) e NVSwitch che collega tutte le 8 GPU in un nodo a banda piena eliminano quel collo di bottiglia. Per questo motivo ogni deployment serio di training AI utilizza SXM, non PCIe. Specifiche complete del die GH100. 80 miliardi di transistor a TSMC 4nm. 16.896 CUDA cores distribuiti su 132 SM (abilitazione completa del die su SXM contro 114 SM su PCIe). 528 Tensor Cores di quarta generazione supportano FP64, TF32, FP16, BF16, FP8 e INT8 con il Transformer Engine. 132 RT Cores di terza generazione. 80GB HBM3 su bus da 5.120 bit con larghezza di banda di 3.350 GB/s. 50MB di cache L2. La forma SXM5 offre circa il 30 percento in più di TFLOPS rispetto alla variante PCIe (67 contro 51 TFLOPS FP32) grazie alle frequenze più elevate consentite dal budget energetico di 700W e dall'infrastruttura termica HGX. Aumento del throughput di calcolo a ogni livello di precisione. FP64: 34 TFLOPS (67 TFLOPS Tensor). FP32: 67 TFLOPS. Tensor TF32: 989 TFLOPS con sparsity. Tensor FP16/BF16: 1.979 TFLOPS con sparsity. Tensor FP8: 3.958 TFLOPS con sparsity. Tensor INT8: 3.958 TOPS con sparsity. La cifra di FP8 è quella che conta per l'addestramento dei transformer: 3.958 TFLOPS con gestione automatica della precisione tramite il Transformer Engine significa che l'H100 SXM fornisce circa 4 volte il throughput di training rispetto a un A100 SXM su modelli GPT-class. Architettura NVLink e NVSwitch. Ogni H100 SXM si collega alla rete NVSwitch tramite 18 link NVLink 4.0 che offrono 900 GB/s di larghezza di banda bidirezionale. NVSwitch fornisce connettività all-to-all: qualsiasi GPU può comunicare con qualsiasi altra GPU nello stesso nodo alla piena capacità di 900 GB/s senza attraversare CPU o bus PCIe. Un nodo HGX H100 con 8 GPU rilascia 7,2 TB/s di banda aggregata NVLink su tutte le GPU. Per la scalabilità multi-nodo, NVIDIA Quantum-2 NDR InfiniBand a 400 Gb/s per porta estende la rete oltre i singoli nodi. DGX H100 versus HGX H100. DGX H100 è il sistema turnkey NVIDIA a 8 GPU ($250.000 - $400.000) che include CPU, memoria, storage, networking e stack software. HGX H100 è il modulo baseboard GPU che i produttori di server (Supermicro, Dell, HPE, Lenovo) integrano nelle proprie piattaforme server. Entrambi usano la stessa configurazione di 8x GPU H100 SXM con NVSwitch. Il percorso HGX offre maggiore flessibilità su scelta di CPU, storage e networking. Il quadro decisionale SXM versus NVL versus PCIe. SXM (questo prodotto): massima performance per GPU, scalabilità a 8-GPU NVSwitch, TDP di 700W, richiede la baseboard HGX, ottimizzato per training distribuito. NVL (H100 NVL 94GB, elenco separato MillionMiner): schede PCIe abbinate, memoria unificata da 94GB, compatibile con server standard, ottimizzato per inferenza di grandi modelli. PCIe (H100 standard da 80GB PCIe): singola scheda da 350W, slot server standard, costo inferiore, limitato a 2-GPU NVLink, adatto per inferenza singola GPU e fine-tuning. Scegli SXM quando il throughput di training e l’efficienza della scalabilità multi-GPU sono prioritari. Scegli NVL o PCIe quando l’inferenza o la semplicità infrastrutturale sono più importanti. MIG sul sistema H100 SXM crea fino a 7 istanze isolate da 10GB ciascuna. I pattern di produzione più comuni per Spheron: 7x 1g.10gb per inferenza multi-tenant di modelli piccoli, oppure 2x 3g.40gb per due server di modelli da 13B simultanei. Ogni istanza MIG appare come un dispositivo GPU separato per il sistema operativo con isolamento sancito hardware. Il computing confidenziale tramite Trusted Execution Environment (TEE) protegge dati e pesi dei modelli durante l'elaborazione. Questa funzione di sicurezza a livello hardware è destinata a deploy AI sensibili alla compliance in sanità (HIPAA), finanza (SOC 2) e governo (FedRAMP), dove i dati non possono essere esposti all'operatore dell’infrastruttura. TDP configurabile fino a 700W. Richiede raffreddamento a liquido o ingegnerizzazione di chassis server ad alto flusso d'aria. Il raffreddamento ad aria standard è insufficiente per operazioni sostenute a 700W. NVIDIA DGX H100 utilizza raffreddamento diretto a liquido. Le configurazioni HGX H100 di Supermicro e Lenovo offrono opzioni sia ad aria che a liquido a seconda del budget termico.