NVIDIA DGX A100 Deep Learning System (8x A100, 640GB)

Il complesso hardware GPU è simile nel design, poiché altri fornitori si basano sulla scheda madre HGX di NVIDIA. La differenza sta in tutto ciò che lo circonda: ingegneri NVIDIA, validazione e supporto del sistema completo come un unico prodotto, con DGX OS, orchestrazione Base Command e container certificati NGC preinstallati. I server white-box lasciano a te l'integrazione, l'ottimizzazione dell'OS e la coordinazione del supporto multi-vendor. Il DGX elimina questi rischi.

Ott8 NVIDIA A100 80GB SXM4 GPU con 640GB di memoria GPU totale, sei NVSwitch con 12 NVLinks per GPU a 600 GB/s bidirezionale, 5 petaFLOPS di performance AI, doppie CPU AMD EPYC a 64 core (128 core), fino a 2TB di memoria di sistema, 30TB di storage interno NVMe Gen4, e dieci interfacce di rete Mellanox ConnectX-6 in una chassis rack da 6U.

Permette a qualsiasi GPU di scambiare dati con qualsiasi altra GPU a 600 GB/s senza coinvolgere la CPU o il bus PCIe, con una banda complessiva di 4,8 TB/s attraverso il nodo. L'addestramento distribuito sincronizza i gradienti tra tutte le GPU dopo ogni passo; su questa rete, quella sincronizzazione è abbastanza veloce da consentire a otto GPU di offrire quasi otto volte la capacità di throughput di una sola. I server GPU collegati tramite PCIe non possono replicare questo comportamento di scalabilità.

Stessa classe di complesso GPU: otto A100 80GB SXM4 GPU su una scheda madre NVSwitch. Il Supermicro è una piattaforma configurabile in cui si specificano CPU, memoria, storage e networking, tipicamente a un costo inferiore di piattaforma, e si possiede l'integrazione e il software stack. Il DGX è l'appliance sigillata NVIDIA con l'intero software stack e supporto mono-vendor inclusi. I team guidati dal budget optano per il Supermicro; quelli guidati dalla certezza scelgono il DGX. MillionMiner quotes entrambi.

DGX OS, una distribuzione basata su Ubuntu ottimizzata per l'hardware, è preinstallata. NVIDIA Base Command offre pianificazione dei lavori, orchestrazione e gestione delle flotte. Il catalogo NGC fornisce contenitori certificati e ottimizzati per le prestazioni per PyTorch, TensorFlow, RAPIDS, Triton e centinaia di altri framework, convalidati per l'hardware DGX. Il risultato pratico è che i workload di training vengono eseguiti entro poche ore dall'accensione.

Messa a punto completa di modelli nella classe da 30B a 70B parametri con parallelismo del modello attraverso il nodo, training di modelli più piccoli con batch molto grandi e servizio di inference di più modelli della classe da 70B contemporaneamente. Con MIG, il sistema si suddivide in fino a 56 istanze GPU isolate, ciascuna adatta per servire modelli nella classe da 7B a 13B, il che rende un DGX una piattaforma di inference multi-tenant completa.

Sì, e il sistema è progettato per questo. Otto adattatori HDR InfiniBand ConnectX-6 a singolo porta da 200Gb/s forniscono una porta fabric per GPU per GPUDirect RDMA, consentendo alle GPU in nodi diversi di scambiare dati direttamente attraverso la rete. L'architettura di riferimento DGX SuperPOD di NVIDIA documenta il percorso convalidato da un nodo a cluster di venti o più, Including topologia di rete, archiviazione e design di gestione.

Per una grande parte dei carichi di lavoro reali, sì. L'A100 è l'acceleratore AI più collaudato in produzione mai distribuito, con supporto maturo in tutte le attuali versioni di CUDA e in ogni principale framework. Le generazioni più recenti sono più veloci per GPU, ma il DGX A100 offre un vero training distribuito di classe NVSwitch a un costo della piattaforma ben inferiore agli appliance di generazione corrente, che è esattamente il compromesso che team di ottimizzazione, istituzioni di ricerca e operatori di inference cercano. La decisione di acquisto si basa sull'economia del carico di lavoro, non sulla corsa alla versione.

Questa è un'appliance per data center da 6U che pesa oltre cento chilogrammi e consuma diversi kilowatt a pieno carico di training, con raffreddamento ad alto volume da fronte a retro. Non è una macchina da ufficio. MillionMiner conferma i requisiti precisi di energia, raffreddamento e rack durante la configurazione, e offre hosting nei propri data center per team che preferiscono non provisioning facilities.

Invia i dettagli del tuo carico di lavoro e della distribuzione tramite il modulo di preventivo. un esperto di MillionMiner conferma le opzioni di configurazione, la memoria di sistema, lo storage, la copertura di supporto e il piano di distribuzione, quindi il sistema viene spedito in tutto il mondo DDP con dazi e dogane gestiti prima della consegna. Sono disponibili sia la guida all'integrazione rack sia la distribuzione ospitata presso le strutture di MillionMiner.