ASUS XA NB3I-E12 NVIDIA HGX B300 NVL8 GPU Server

L'NVIDIA HGX B300 NVL8: otto Blackwell Ultra B300 SXM GPU con 288GB di HBM3e ciascuno, 2.304GB pool di memoria per nodo, collegati tramite NVSwitch tramite NVLink di quinta generazione a 1,8 TB/s per GPU. La cifra di banda passante di 1.800 GB/s sulla scheda tecnica è quella del throughput NVLink per GPU. NVIDIA valuta il throughput denso FP4 di questa generazione a 1,5 volte quello dell'HGX B200.

I modelli di scala Frontier vengono forniti con tutto lo spazio in testa della cache KV, i modelli con centinaia di miliardi di parametri si ottimizzano a piena precisione all'interno di un nodo, e le flotte di ragionamento o di lunghe sessioni di contesto mantengono le dimensioni del batch che i pool di memoria più piccoli crollerebbero. Il pool da 2,3TB esiste perché il serving chain-of-thought moltiplica l'impronta della cache, e la profondità della cache è ciò che determina l'economia del serving.

Due due motivazioni sostanziali. Le estensioni della matrice AMX sui Xeon 6 core di performance accelerano il lavoro lato host generato da un nodo 8-GPU, come tokenizzazione, preprocessing e le fasi della pipeline residenti sulla CPU. E la standardizzazione della flotta: le organizzazioni basate su Intel dispongono di strumenti ottimizzati per Xeon, posizioni di licenza e playbook operativi validati, e questo è il nodo Blackwell Ultra che si aggiunge a questo patrimonio senza certificare una seconda piattaforma. Fino a 86 core per socket a 350W, con otto canali DDR5 per processore.

Il complesso GPU è identico per costruzione, quindi la scelta riguarda l'host e la configurazione. Il Supermicro monta AMD EPYC 9005 con fino a 192 core per socket e fino a 6TB di memoria, la scelta preferita per flotte AMD e preprocessing con alta densità di core. Questa configurazione ASUS utilizza la piattaforma Intel Xeon 6 con AMX, in un chassis progettato per ridurre al minimo i cablaggi e facilitare l'assistenza rapida. MillionMiner cita entrambe e consiglia in base alla tua infrastruttura esistente.

Poiché NVIDIA l'ha integrato lì sulla generazione HGX B300 NVL8. Otto porte ConnectX-8 InfiniBand a 800G, una per GPU, vengono spedite come parte del complesso GPU, raddoppiando la velocità per porta rispetto alle generazioni precedenti degli adattatori di espansione. La topologia una-porta-per-GPU GPUDirect RDMA richiesta è garantita dal progetto, dalle cablature interne e dalla configurazione di clustering multi-nodo, diventando un esercizio di switch e cablaggio fuori dal case piuttosto che un'operazione di assemblaggio al suo interno.

Tre effetti operativi. Meno cavi interni significano meno connettori che possono fallire in un nodo previsto per funzionare a carico continuo per anni. Meno cablaggio significa meno ostruzione al flusso d'aria in un chassis che disperde kilowatt di calore. E gli assemblaggi modulari significano tempi di manutenzione più brevi, quindi la sostituzione di una ventola o di un alimentatore richiede minuti di produzione anziché ore. Niente di tutto ciò si riflette nei benchmark; tutto si riflette nell'uptime.

Quando la capacità di memoria o la standardizzazione della rete determinano l'economia. Ragionamenti e flotte con contesto lungo la cui profondità di cache KV imposta la dimensione del batch, implementazioni che servono modelli che superano i 1.4TB del nodo B200, e operatori che costruiscono crescita multi-nodo su fabric da 800G tutto arrivano qui. I carichi di lavoro confortevoli all'interno di 1.4TB favoriscono il Gigabyte HGX B200, e quelli all'interno dell'envelope Hopper preferiscono i sistemi H200, e MillionMiner modellerà il confronto nella tua quotazione.

Sotto la rete integrata: otto porte InfiniBand ConnectX-8 da 800G per nodo, una per GPU, che utilizzano GPUDirect RDMA in modo che gradienti e attivazioni si spostino tra le macchine senza coinvolgere la CPU. Scalare oltre un nodo è un esercizio di architettura switch, e MillionMiner consiglia sulla progettazione della rete man mano che i deploy si espandono.

Una configurazione ridondante 5+5 di alimentatori 80 PLUS Titanium definisce il limite, collocando questa soluzione saldamente nel settore dei data center nella parte superiore della classe single-node. MillionMiner conferma il consumo preciso e il piano termico della configurazione specificata durante il preventivo, e l'hosting presso le proprie strutture di MillionMiner è disponibile per i team che preferiscono non provisionare l'energia del rack su questa scala.

Invia i dettagli del tuo carico di lavoro, della scalabilità e della distribuzione tramite il modulo di preventivo. Un esperto di MillionMiner conferma la configurazione, l'installazione di memoria e storage come da progetto, l'idoneità alla destinazione secondo le normative statunitensi sull'esportazione applicabili agli acceleratori della classe Blackwell, e il piano di consegna. Ogni sistema viene testato prima della spedizione e consegnato in tutto il mondo DDP con dazi e formalità doganali gestiti. Sono disponibili sia la guida all'integrazione rack che la distribuzione ospitata.