NVIDIA DGX A100 Deep Learning System (8x A100, 640GB)

Der Hardware-GPU-Komplex ist vom Design her ähnlich, da andere Anbieter auf NVIDIA's HGX-Baseboard aufbauen. Der Unterschied liegt in allem Drumherum: NVIDIA-Ingenieure entwickeln, validieren und unterstützen das gesamte System als ein Produkt, mit DGX OS, Base Command-Orchestrierung und NGC-zertifizierten Containern vorinstalliert. White-Box-Server überlassen die Integration, das OS-Tuning und die Koordination des Multi-Vendor-Supports Ihnen. Der DGX nimmt Ihnen diese Risiken ab.

Acht NVIDIA A100 80GB SXM4 GPUs mit insgesamt 640GB GPU-Speicher, sechs NVSwitches mit 12 NVLinks pro GPU bei 600 GB/s bidirektional, 5 PetaFLOPS KI-Leistung, dual 64-Core AMD EPYC CPUs (128 Kerne), bis zu 2TB Systemspeicher, 30TB interner Gen4 NVMe-Speicher und zehn Mellanox ConnectX-6 Netzwerkinterfaces in einem 6U Rackmount-Gehäuse.

Es ermöglicht jeder GPU, Daten mit jeder anderen GPU bei 600 GB/s auszutauschen, ohne den CPU oder PCIe-Bus zu involved, mit einer aggregierten Bandbreite von 4,8 TB/s über den Knoten. Das verteilte Training synchronisiert Gradienten zwischen allen GPUs nach jedem Schritt; auf diesem Fabric ist diese Synchronisation schnell genug, dass acht GPUs eine nahezu achtfache Buchse gegenüber einer liefern. PCIe-verbundene GPU-Server können dieses Skalierungsverhalten nicht reproduzieren.

Gleiche Klasse von GPU-Komplex: acht A100 80GB SXM4 GPUs auf einem NVSwitch-Platinenlayout. Das Supermicro ist eine konfigurierbare Plattform, bei der Sie CPUs, Arbeitsspeicher, Speicherung und Netzwerk spezifizieren, in der Regel zu geringeren Plattformkosten, und Sie sind für die Integration und den Software-Stack verantwortlich. Das DGX ist das versiegelte NVIDIA-Gerät mit dem vollständigen Software-Stack und Single-Vendor-Support inklusive. Budgetorientierte Teams wählen das Supermicro; Sicherheit orientierte Teams wählen das DGX. MillionMiner zitiert beide.

DGX OS, eine auf Ubuntu basierende Distribution, die für die Hardware optimiert ist, ist vorinstalliert. NVIDIA Base Command bietet Jobplanung, Orchestrierung und Flottenverwaltung. Der NGC-Katalog liefert zertifizierte, leistungsoptimierte Container für PyTorch, TensorFlow, RAPIDS, Triton und Hunderte anderer Frameworks, die auf DGX-Hardware validiert wurden. Das praktische Ergebnis sind Trainings-Workloads, die innerhalb von Stunden nach dem Einschalten ausgeführt werden.

Vollständiges Fine-Tuning von Modellen im Bereich von 30B bis 70B Parametern mit Model Parallelism über den Knoten hinweg, Training kleinerer Modelle bei äußerst großen Batchgrößen und Inferenzbereitstellung mehrerer 70B-Klassen-Modelle gleichzeitig. Mit MIG partitioniert das System in bis zu 56 isolierte GPU-Instanzen, die jeweils für das Serving von Modellen im Bereich von 7B bis 13B geeignet sind, was einen DGX zu einer vollständigen Multi-Tenant-Inference-Plattform macht.

Ja, und das System ist dafür ausgelegt. Acht Single-Port 200Gb/s HDR InfiniBand ConnectX-6 Adapter sorgen für einen Fabric-Port pro GPU für GPUDirect RDMA, sodass GPUs in verschiedenen Knoten direkt über das Netzwerk Daten austauschen können. NVIDIA's DGX SuperPOD Referenzarchitektur dokumentiert den validierten Weg von einem Knoten bis hin zu Clustern mit zwanzig oder mehr, einschließlich Netzwerk-Topologie, Speicher- und Management-Design.

Für einen Großteil der realen Workloads ja. Der A100 ist der am meisten bewährte AI-Beschleuniger, der jemals im Produktionseinsatz war, mit ausgereiftem Support in den aktuellen CUDA-Versionen und in jedem großen Framework. Neuere Generationen sind pro GPU schneller, aber der DGX A100 bietet echtes NVSwitch-Class-Verteiltes Training zu einem Plattformpreis, der deutlich unter dem aktueller Generationen-Geräte liegt, was genau die Entscheidungsfindung von Fine-Tuning-Teams, Forschungseinrichtungen und Inferenz-Operatoren beeinflusst. Die Kaufentscheidung basiert auf Workload-Ökonomie, nicht auf Generationenjagd.

Dies ist ein 6U-Rechenzentrum-Gerät, das über hundert Kilogramm wiegt und bei voller Belastung mehrere Kilowatt zieht, mit hochvolumiger Front-zu-Rückkühlung. Es ist kein Bürogerät. MillionMiner bestätigt die genauen Anforderungen an Stromversorgung, Kühlung und Rack während der Konfiguration und bietet Hosting in eigenen Rechenzentren für Teams an, die keine Einrichtungen bereitstellen möchten.

Reichen Sie Ihre Arbeitslast- und Deploymentsdetails über das Angebot-Formular ein. Ein MillionMiner-Spezialist bestätigt die Konfigurationsoptionen, Systemspeicher, Speicherplatz, Supportabdeckung und den Deployment-Plan, dann versendet das System weltweit DDP mit Zoll- und Einfuhrabwicklung vor der Lieferung. Anleitungen zur Rack-Integration und gehostetes Deployment in MillionMiner-Einrichtungen sind beide verfügbar.