GIGABYTE G893-ZD1-AAX5 HGX B200 8-GPU Server

HGX B200 è il modulo di NVIDIA con 8-GPU Blackwell: otto GPU B200 SXM e la rete NVSwitch che li collega, forniti ai produttori come Gigabyte che progettano server completi attorno ad esso. Le modifiche rispetto a Hopper: ogni B200 è un package dual-die con 208 miliardi di transistor, la memoria sale a 180GB di HBM3e per GPU a circa 8 TB/s, NVLink raddoppia a 1.8 TB/s per GPU, e il Transformer Engine di seconda generazione aggiunge la precisione FP4 con micro-scalatura di tensor.

1.440 GB di pooled HBM3e, 64 TB/s di bandwidth di memoria aggregata, 144 petaFLOPS di calcolo FP4 e 14.4 TB/s di fabric NVLink tramite NVSwitch. In termini di carico di lavoro: ottimizzazione con precisione completa di modelli con alcune centinaia di miliardi di parametri, servizio in tempo reale FP4 di modelli di classe trilione di parametri e inferenza con contesto lungo con spazio KV cache superiore a qualsiasi nodo Hopper.

Tre situazioni. Flotte di inferenza alla frontiera, dove FP4 raddoppia approssimativamente i token per watt e NVIDIA cita fino a 15x di inferenza in tempo reale con trillion-parameter contro la generazione H100. Programmi di training in cui il fabric raddoppiato e il guadagno del 60 percento di banda comprimono le tempistiche con valore aziendale. E carichi di lavoro che già sfiorano il limite di 141GB per-GPU dell'H200. I team che raffinano modelli della classe 70B o che servono all’interno dell’envelope Hopper sono generalmente meglio serviti dai sistemi Lenovo o ASUS HGX H200, e MillionMiner modellerà entrambi nel preventivo.

Utilizzabile, con ingegneria. Il Transformer Engine di seconda generazione implementa il micro-tensor scaling, tracciando la scala di quantizzazione a granularità fine in modo che i pesi a quattro bit mantengano un'accuratezza che la quantizzazione naive perde. Le stack di servizio in produzione, tra cui TensorRT-LLM, lo supportano, e l'inferenza di grandi modelli è il vero vantaggio: l'impronta di memoria si dimezza rispetto a FP8 e il throughput raddoppia grossolanamente. L'addestramento continua a utilizzare FP8 e BF16; FP4 è un leva economica per l'inferenza, e di grande impatto su scala flottante.

Sì, questa è la premessa ingegneristica di questa piattaforma Gigabyte: un chassis 8U con il volume di flusso d'aria sufficiente a contenere l'intero complesso HGX B200 alle specifiche senza raffreddamento liquido diretto. La conseguenza pratica è la libertà di deployment, poiché non sono necessari distribuzione del coolant, impianti idraulici o manutenzione del ciclo liquido e qualsiasi data center con energia adeguata e raffreddamento convenzionale è idoneo. MillionMiner conferma i requisiti di flusso d'aria e temperatura di ingresso per il tuo sito durante il preventivo.

Densità del core e larghezza di banda della memoria. La serie EPYC 9005 raggiunge 192 core per socket, che alimentano pipeline con preprocessing intensivo per otto GPU di questa classe, e la piattaforma gestisce dodici canali DDR5 per processore con i ventiquattro moduli popolati uno per canale, l’organizzazione che sostiene tutta la larghezza di banda. Il budget di linee PCIe Gen5 supporta anche la topologia di rete one-adapter-per-GPU senza compromessi. La serie 9004 rimane disponibile per i team standardizzati su di essa.

Il confine è il dominio NVLink. Questo nodo collega otto GPU in un unico tessuto coerente; la classe GB200 collega 72 a livello rack, con raffreddamento a liquido e ingegneria delle strutture per adattarsi. Se il tuo parallelismo di addestramento necessita realmente di più di otto GPU in un singolo dominio, la soluzione è a livello rack. Per tutto ciò che si adatta a otto GPU Blackwell, che copre la maggior parte dell'addestramento aziendale e quasi tutto il servizio di inferenza, questo nodo offre la stessa generazione senza il progetto di struttura, e si espande invece oltre tramite InfiniBand.

Attraverso la topologia one-adapter-per-GPU, la disposizione PCIe è strutturata per: otto posizioni a rack singolo ospitano adattatori da 400 Gb/s su NVIDIA Quantum-2 InfiniBand o Spectrum-X Ethernet, offrendo a GPUDirect RDMA una porta dedicata sulla rete per GPU, così i gradienti si spostano tra i nodi senza coinvolgere la CPU. Quattro posizioni aggiuntive a doppio slot supportano la rete di archiviazione e gestione. MillionMiner consiglia sulla progettazione di switch e fabric quando una distribuzione supera una macchina.

Dodici alimentatori 3000W 80 PLUS Titanium in configurazione ridondante 6+6 definiscono il limite, con il complesso GPU in grado di assorbire da solo otto kilowatt sotto carico sostenuto prima di considerare il host. Questa è decisamente una macchina da data center. MillionMiner conferma il consumo esatto della configurazione specificata durante il preventivo, e il hosting nelle strutture di MillionMiner è disponibile per i team che preferiscono non provisioningare l'alimentazione del rack su questa scala.

Invia i dettagli del tuo carico di lavoro, scalabilità e distribuzione tramite il modulo di richiesta preventivo. Un esperto di MillionMiner conferma la configurazione, l'ammissibilità della destinazione secondo le normative US sull'esportazione che si applicano agli acceleratori Blackwell-class e il piano di consegna. Ogni sistema viene testato prima della spedizione e consegnato in tutto il mondo DDP con dogane e dazi gestiti. Sono disponibili anche linee guida per l'integrazione nel rack e la distribuzione ospitata.