Supermicro AS-4124GO-NART+ 8x A100 HGX AI Server

Oui. L'AS-4124GO-NART+ est construit autour de la carte de base NVIDIA HGX A100 8-GPU avec modules SXM4 et interconnexion NVSwitch, le même complexe GPU de classe Delta utilisé dans le DGX A100. Cela diffère des serveurs GPU PCIe : chaque GPU est connecté à chaque autre GPU à 600 GB/s via le réseau NVSwitch, qui est l'architecture dont l'entraînement distribué a réellement besoin.

Supermicro a livré cette plateforme en deux variantes. La NART+ prend en charge les modules A100 80GB SXM4 à plus haute puissance, qui maintiennent des fréquences plus élevées sous charge d'entraînement continue par rapport à la version à puissance standard. Pour un nœud fonctionnant à pleine utilisation en permanence, cet avantage en fréquence soutenue se traduit directement par un débit d'entraînement accru.

Économie et maturité. L'A100 est l'accélérateur AI le plus éprouvé en production jamais déployé, avec un écosystème CUDA entièrement mature et tous les principaux frameworks optimisés pour lui. Le coût de la plateforme par unité de capacité de formation connectée NVSwitch est nettement inférieur à celui des systèmes Hopper-generation. Pour le fine-tuning, la formation à moyenne échelle, les grappes de recherche et les flottes d'inférence, huit A100 NVLinked surpassent souvent un nombre de GPU plus récent mais équivalent en budget. Les équipes qui prolongent les flottes A100 existantes conservent également un manuel d'exploitation.

Même architecture fondamentale de GPU : huit A100 SXM4 sur une carte de base HGX avec NVSwitch. Le DGX A100 est un appareil scellé avec une configuration fixe et le logiciel et support groupés de NVIDIA. Cette plateforme Supermicro offre le même ensemble de GPU avec un hôte configurable : vous spécifiez les CPU, la capacité de mémoire, le stockage et la mise en réseau en fonction de votre charge de travail réelle, ce qui aboutit généralement à un coût de plateforme significativement inférieur pour la même capacité de formation.

Ajustement complet des modèles de la classe 30B à 70B en utilisant le parallélisme de modèle à travers le nœud. Entraînement de modèles plus petits avec des tailles de lots très importantes. Service d'inférence de plusieurs modèles de la classe 70B simultanément, ou des dizaines de modèles plus petits. Avec MIG, le nœud se partitionne en jusqu’à 56 instances GPU isolées pour un service multi-locataire de modèles de la classe 7B à 13B.

Dual AMD EPYC 7002 ou 7003 series, jusqu'à 64 cœurs par socket, avec 32 emplacements DIMM pouvant atteindre 8TB de DDR4-3200 ECC. La règle de fonctionnement pour un nœud d'entraînement à 8 GPU est que la mémoire du système doit être égale ou supérieure à la mémoire totale des GPU, donc 512GB à 1TB constitue la ligne de base pratique ici. Le chargement de données et le prétraitement pour huit GPU nécessitent un débit réel du noyau; un noyau trop petite bride des accélérateurs coûteux. MillionMiner ajuste cela avec vous lors de la configuration.

Oui. L'expansion PCIe Gen 4 prend en charge jusqu'à une NIC à profil réduit par GPU, permettant le GPUDirect RDMA à un ratio 1:1 GPU-to-NIC. Avec des adaptateurs InfiniBand ou Ethernet à haute vitesse, plusieurs nœuds AS-4124GO-NART+ forment un cluster d'entraînement où les GPUs échangent des données entre eux sans involvement du CPU. C'est la voie standard de mise à l'échelle pour les charges de travail qui dépassent un seul nœud de 8 GPUs.

Ceci est un nœud dense 4U avec huit GPUs SXM4 haute puissance et deux CPU serveur, alimenté par des alimentations électriques Titanium-efficiency redondantes. Prévoyez une alimentation de type data-center et un flux d'air haute volume de l'avant vers l'arrière ; ce n'est pas une machine destinée à un environnement de bureau. MillionMiner confirme la puissance et l'enveloppe thermique exactes de votre configuration spécifiée avant la fabrication, et l'hébergement dans les propres installations de MillionMiner est disponible si vous préférez ne pas fournir l'énergie sur place.

Entièrement. Le A100 fonctionne avec les versions CUDA actuelles, et PyTorch, TensorFlow, JAX, TensorRT, Triton, vLLM, ainsi que toutes les principales stacks d'entraînement et de déploiement maintiennent une prise en charge de premier ordre d'Ampere. Les flottes A100 représentent encore une part importante de la capacité AI cloud mondiale, ce qui garantit que l'écosystème reste activement maintenu. MIG, NVLink et GPUDirect sont tous des outils matures sur cette plateforme.

Le serveur est configuré sur commande car la classe de puissance GPU, les CPU, la mémoire, le stockage et la mise en réseau modifient la configuration. Soumettez votre charge de travail et les détails du déploiement via le formulaire de devis, confirmez la configuration avec un spécialiste de MillionMiner, et le système sera assemblé, testé et expédié dans le monde entier en DDP avec les droits de douane et les formalités en douane prises en charge avant la livraison. Des conseils pour l'intégration en rack et l'hébergement dans les centres de données de MillionMiner sont également disponibles.