Sistem NVIDIA DGX A100 pentru învățare profundă (8x A100, 640GB)

DGX A100 ocupă un loc specific în istoria infrastructurii AI: este maşina care a definit cum ar trebui să arate un nod de antrenament cu 8 GPU-uri. Fiecare server HGX A100 de pe piaţă, inclusiv platformele Supermicro din catalogul MillionMiner, este construit în jurul plăcii de bază GPU proiectată de NVIDIA pentru acest sistem. Achiziționarea DGX înseamnă achiziționarea originalului, cu toate layer-ele NVIDIA peste silicon. Arhitectura de calcul. Opt GPU-uri NVIDIA A100 80GB SXM4 sunt montate pe placa de bază HGX și interconectate prin șase NVSwitch-uri într-o topologie de tip mesh complet. Fiecare GPU are 12 NVLinks de-a treia generație, oferind 600 GB/s de bandă bidirecțională GPU către GPU, cu 4,8 TB/s bandă de lățime de bandă totală (bisection) pe întregul fabric. În termeni practici, sincronizarea gradientelor între toate cele opt GPU-uri se face destul de rapid încât antrenamentul distribuit scalează aproape liniar, acesta fiind motivul pentru care sistemele SXM-plus-NVSwitch există. Nodul totalizează 640GB de memorie GPU pool-ată HBM2e și 5 petaFLOPS performanță AI, cu un throughput pentru inferență INT8 de până la 10 petaOPS. Partiționarea Multi-Instance GPU împarte fiecare A100 în până la șapte instanțe izolate, astfel încât un DGX poate prezenta până la 56 de GPU-uri partajate hardware pentru inferență multi-tenant, o configurație care permite aceluiași sistem să se ocupe de antrenament pe timp de noapte și să ruleze zeci de workload-uri izolate în timpul zilei. Platforma gazdă este dimensionată astfel încât GPU-urile să nu aștepte niciodată. Două procesoare AMD EPYC 7742 cu 64 de nuclee oferă 128 de nuclee și 256 de fire pentru încărcarea datelor, preprocesare și augmentare. Memoria sistemului ajunge la 2TB DDR4. Stocarea este împărțită între SSD-uri dedicate M.2 NVMe pentru sistemul de operare și 30TB de NVMe intern Gen4 pentru seturile de date, menținând I/O-ul de training în afara traseului de boot. Zece interfețe Mellanox ConnectX-6 includ opt adaptoare HDR InfiniBand de 200Gb/s cu port unic, aranjate cel câte cel pentru fiecare GPU pentru GPUDirect RDMA, topologia care permite mai multor noduri DGX să troleze gradientele direct între memoria GPU-urilor prin rețea, fără CPU în cale. Sistemul software, partea pe care serverele white-box nu o includ, este disponibil preinstalat. DGX OS, o distribuție bazată pe Ubuntu optimizată pentru hardware, este inclusă. NVIDIA Base Command oferă orchestrare, programare și management de flotă. Catalogul NGC furnizează containere certificate pentru toate principalele cadre de training și inferență, validate performant pe acest sistem exact, astfel încât timpul de la desfășurare și primul rulaj de antrenament se măsoară în ore. Suportul NVIDIA AI Enterprise acoperă întregul stack sub un singur contract: dacă un job eșuează, nu există un integrator care să arate spre NVIDIA și NVIDIA să arate înapoi. Calea de scalare este parte din ceea ce cumpărați. DGX A100 este elementul de bază al arhitecturii de referință DGX SuperPOD de la NVIDIA, planul publicat pentru scaling de la un nod la clustere de douăzeci, o sută sau mai mult, cu topologie de rețea, arhitectură de stocare și unelte de management validate. Organizațiile care încep cu un DGX moștenesc o cale documentată de la fine-tuning pe nod unic la antrenament la scară de cluster, în loc să o realizeze singure. Decizia de a construi sau cumpăra, enunțată sincer. MillionMiner vinde ambele variante. Supermicro AS-4124GO-NART+ din acest catalog oferă același complex de GPU-uri NVSwitch cu opt A100 pe un host configurabil la un cost de platformă mai mic, iar pentru echipele cu buget care preferă să dețină propria integrare și stack-ul software, este alegerea rațională. DGX A100 este pentru cumpărătorul opus: întreprinderi și instituții de cercetare pentru care achiziția favorizează responsabilitatea unui singur furnizor, unde conformitatea necesită o platformă de referință suportată și unde costul pentru ingineri care rezolvă probleme de integrare depășește premiumul pentru aparat. Timpul până la primul rulaj de antrenament, un punct de control, și o cale de scalare validată sunt caracteristicile produsului. DGX A100 rămâne cea mai răspândită soluție AI implementată vreodată, cu un ecosistem software pe care NVIDIA îl menține activ de-a lungul versiunilor curente CUDA. Ca sistem montat în rack de 6U, consumând câțiva kilowatts la sarcină maximă, aparține mediului unui Rechenzentrum; MillionMiner confirmă cerințele de alimentare și răcire în timpul configurării, livrează la nivel mondial DDP cu formalități vamale gestionate și oferă găzduire în propriile facilități pentru echipele care preferă să nu creeze infrastructură onsite.