NVIDIA DGX A100 Deep Learning System (8x A100, 640GB)

Le complexe matériel GPU est similaire par conception, car d'autres fournisseurs utilisent la carte mère HGX de NVIDIA. La différence réside dans tout ce qui l'entoure : les ingénieurs NVIDIA conçoivent, valident et prennent en charge l'ensemble du système comme un seul produit, avec DGX OS, l'orchestration Base Command et des conteneurs certifiés NGC préinstallés. Les serveurs en boîte blanche laissent l'intégration, l'optimisation de l'OS et la coordination du support multi-vendeur à votre charge. Le DGX élimine ces risques.

Huit GPUs NVIDIA A100 80GB SXM4 avec 640GB de mémoire GPU totale, six NVSwitches avec 12 NVLinks par GPU à 600 GB/s bidirectionnel, 5 petaFLOPS de performance AI, deux CPU AMD EPYC à 64 cœurs (128 cœurs), jusqu'à 2TB de mémoire système, 30TB de stockage interne NVMe Gen4, et dix interfaces réseau Mellanox ConnectX-6 dans un châssis rack 6U.

Il permet à n'importe quel GPU d'échanger des données avec un autre GPU à 600 GB/s sans impliquer le CPU ou le bus PCIe, avec une bande passante totale de 4,8 TB/s à travers le nœud. La formation distribué synchronise les gradients entre tous les GPUs après chaque étape ; sur ce réseau, cette synchronisation est suffisamment rapide pour que huit GPUs offrent un débit proche de huit fois celui d'un seul. Les serveurs GPU connectés via PCIe ne peuvent pas reproduire cette évolution linéaire.

Même classe de complexe GPU : huit GPU A100 80GB SXM4 sur une carte mère NVSwitch. Le Supermicro est une plateforme configurable où vous spécifiez les CPU, la mémoire, le stockage et la mise en réseau, généralement à un coût de plateforme inférieur, et vous êtes responsable de l'intégration et de la pile logicielle. Le DGX est l'appareil NVIDIA scellé avec la pile logicielle complète et un support mono-fournisseur inclus. Les équipes orientées budget choisissent le Supermicro ; celles axées sur la certitude choisissent le DGX. MillionMiner cite les deux.

DGX OS, une distribution basée sur Ubuntu optimisée pour le matériel, est préinstallée. NVIDIA Base Command offre la planification des tâches, l'orchestration et la gestion de flotte. Le catalogue NGC fournit des conteneurs certifiés et optimisés pour la performance pour PyTorch, TensorFlow, RAPIDS, Triton, et des centaines d'autres frameworks, validés sur le matériel DGX. Le résultat pratique est que les charges de travail de formation s'exécutent en quelques heures après l'allumage.

Affinement complet des modèles dans la gamme de 30B à 70B paramètres avec parallélisme de modèle à travers le nœud, entraînement de modèles plus petits avec des tailles de batch très importantes, et service d'inférence de multiples modèles de classe 70B simultanément. Avec MIG, le système se divise en jusqu'à 56 instances GPU isolées, chacune adaptée pour servir des modèles dans la gamme de 7B à 13B, ce qui fait qu'un DGX devient une plateforme d'inférence multi-locataires complète.

Oui, et le système est conçu pour cela. Huit adaptateurs HDR InfiniBand ConnectX-6 à port unique 200Gb/s fournissent un port de réseau par GPU pour GPUDirect RDMA, permettant aux GPU dans différents nœuds d'échanger des données directement à travers le réseau. L'architecture de référence DGX SuperPOD de NVIDIA décrit le chemin validé depuis un nœud jusqu'à des clusters de vingt ou plus, y compris la topologie du réseau, le stockage et la gestion du design.

Pour une grande part des charges de travail réelles, oui. L'A100 est l'accélérateur AI le plus éprouvé en production jamais déployé, avec un support mature dans les versions CUDA actuelles et tous les principaux frameworks. Les générations plus récentes sont plus rapides par GPU, mais le DGX A100 offre un entraînement distribué de classe NVSwitch véritable à un coût de plateforme bien inférieur à celui des appareils de génération actuelle, ce qui correspond exactement à ce que recherchent les équipes de fine-tuning, les institutions de recherche et les opérateurs d'inférence. La décision d'achat se base sur l'économie des charges de travail, et non sur la simple chasse à la génération.

Ceci est un appareil de centre de données 6U pesant plus de cent kilogrammes et consommant plusieurs kilowatts en charge maximale d'entraînement, avec un refroidissement haute capacité de l'avant vers l'arrière. Ce n'est pas une machine de bureau. MillionMiner confirme les besoins précis en électricité, refroidissement et rack lors de la configuration, et propose l'hébergement dans ses propres centres de données pour les équipes qui préfèrent ne pas provisionner d'installations.

Soumettez vos détails de charge de travail et de déploiement via le formulaire de devis. Un spécialiste de MillionMiner confirme les options de configuration, la mémoire du système, le stockage, la couverture de support et le plan de déploiement, puis le système est expédié dans le monde entier en DDP avec droits et douanes gérés avant la livraison. Des conseils pour l'intégration en rack et un déploiement hébergé dans les installations de MillionMiner sont également disponibles.