Exeton Quasar 640X 8x A100 AI Server (640GB NVLink)

Exeton è un integratore specializzato in server AI piuttosto che una marca di primo livello come Supermicro o NVIDIA. I componenti interni sono standard: GPU NVIDIA A100, processori Intel Xeon Platinum, SSD enterprise. Ciò che l'integratore apporta è la configurazione, e la scheda tecnica mostra un giudizio esperto in ogni aspetto. Ogni unità fornita da MillionMiner è sottoposta a sourcing e test prima della spedizione, garantisce tre anni di copertura sui ricambi ed è supportata direttamente da MillionMiner, quindi il brand sul chassis non modifica il supporto che ricevi dal tuo hardware.

Fisso, ed è questo il punto di questo prodotto. Il Quasar 640X è la configurazione completa e definitiva per gli acquirenti che desiderano un preventivo e una macchina affidabile. Se hai bisogno di una diversa piattaforma CPU, capacità di memoria o layout di storage, il Supermicro AS-4124GO-NART+ in questo catalogo è il percorso configurabile con 8x A100, e MillionMiner fornisce entrambe le opzioni.

Entrambi consegnano otto GPU A100 80GB con NVLink e 640GB di memoria GPU combinata. Il DGX aggiunge l'intero stack software di NVIDIA, Base Command, container certificati NGC e supporto da un singolo fornitore, a costi di appliance. Il Quasar offre lo stesso livello di GPU compute in una configurazione completa fissa a costi di integratore, con voi che eseguite strumenti open standard sul top. Gli acquirenti aziendali orientati alla certezza tendono verso il DGX; i team orientati al valore, a proprio agio con l'ecosistema CUDA standard, preferiscono questa soluzione.

Il Supermicro è una piattaforma configurabile in cui puoi specificare tu stesso CPU, memoria, storage e networking, su un host AMD EPYC. Il Quasar è una configurazione fissa Intel Xeon in cui queste scelte sono già fatte, inclusi 1TB di memoria e una NIC 200G InfiniBand nella configurazione base. Scegli il Supermicro per personalizzare l'host; scegli il Quasar per saltare completamente l'esercizio di configurazione.

Poiché la regola di funzionamento per un nodo di training con 8-GPU è la memoria di sistema pari o superiore alla memoria totale delle GPU. Il caricamento dei dati, il preprocessing e l'augmentazione per otto A100s richiedono spazio di manovra a livello host, e un host sottodimensionato impoverisce gli acceleratori per cui avete effettivamente pagato. Con 640GB di memoria GPU nel nodo, 1TB di memoria ECC di sistema supera la regola con margine, ed è esattamente per questo motivo che è stata scelta questa configurazione.

Separazione dei compiti. Due SSD enterprise da 960GB ospitano il sistema operativo, e un'unità dedicata U.2 NVMe da 7.68TB contiene dataset e checkpoint. Le operazioni di training leggono i dataset e scrivono costantemente i checkpoint; mantenere quell'I/O fuori dal volume di avvio evita contestazioni e garantisce che sia il sistema operativo che la pipeline di training siano reattivi. È la disposizione che un operatore esperto avrebbe comunque specificato.

Sì, e la configurazione di base lo anticipa. La NIC InfiniBand 200G inclusa fornisce la porta di rete per il fabric di calcolo per la comunicazione GPU-to-GPU tra i nodi, mentre il doppio portale Ethernet a 10 Gigabit gestisce il traffico di gestione. Passare da un nodo a più nodi è un esercizio di interconnessione e switch piuttosto che un retrofit hardware, e MillionMiner offre consulenza sulla progettazione del fabric durante la configurazione.

Personalizzazione completa dei modelli della classe 30B a 70B con parallelismo attraverso gli otto GPU, addestramento di modelli più piccoli con batch di dimensioni molto grandi e servizio simultaneo di più carichi di lavoro di inferenza di classe 70B. Utilizzando MIG, il nodo si suddivide in fino a 56 istanze GPU isolate dall'hardware, ognuna adatta a servire modelli della classe 7B a 13B, rendendo un server una piattaforma di inferenza multi-tenant completa.

Questa è una macchina per data center. Quattro alimentatori ad alta efficienza da 3000W definiscono il confine, e un nodo con otto GPU A100 richiede diversi kilowatt sotto carico di training sostenuto con un flusso d'aria elevato da frontale a posteriore. MillionMiner conferma il piano esatto di alimentazione e raffreddamento per il tuo sito durante la configurazione, e l'hosting nelle strutture di proprietà di MillionMiner è disponibile se preferisci non provisioning dell'infrastruttura.

Invia i dettagli del tuo carico di lavoro e della distribuzione tramite il modulo di preventivo, e uno specialista di MillionMiner risponderà con un preventivo completo che copre il sistema, la copertura dei ricambi di sostituzione per tre anni e la consegna. Ogni unità viene testata prima della spedizione e consegnata in tutto il mondo DDP con tasse e dazi gestiti. Sono disponibili linee guida per l'integrazione nel rack e distribuzione ospitata.