Exeton Quasar 640X 8x A100 AI Server (640GB NVLink)

Exeton est un intégrateur spécialisé en serveurs AI plutôt qu'une marque de premier plan comme Supermicro ou NVIDIA. Les composants internes sont standards : GPU NVIDIA A100, processeurs Intel Xeon Platinum, SSD d'entreprise. Ce que l'intégrateur apporte, c'est la configuration, et la fiche technique reflète un jugement expérimenté tout au long du processus. Chaque unité fournie par MillionMiner est sourcée et testée avant l'expédition, bénéficie de trois ans de couverture pour les pièces de rechange, et est prise en charge directement par MillionMiner, donc la marque sur le châssis ne change rien à la responsabilité derrière votre matériel.

Fixe, et c'est là tout l'intérêt de ce produit. La Quasar 640X est la configuration complète et définitive pour les acheteurs qui veulent un devis unique et une machine testée et approuvée. Si vous avez besoin d'une plateforme CPU différente, d'une capacité mémoire différente ou d'une configuration de stockage différente, le Supermicro AS-4124GO-NART+ de ce catalogue est le chemin configurable 8x A100, et MillionMiner fournit les deux devis.

Les deux offrent huit GPU A100 80GB avec NVLink et 640GB de mémoire GPU combinée. Le DGX ajoute la pile logicielle complète de NVIDIA, Base Command, des conteneurs certifiés NGC, et un support monovendeur, à un coût d'appareil. Le Quasar fournit la même gamme de calcul GPU dans une configuration fixe complète à l'économie de l'intégrateur, avec vous qui exécutez des outils ouverts standard en complément. Les acheteurs d'entreprise axés sur la certitude penchent vers le DGX ; les équipes orientées valeur, à l'aise avec l'écosystème CUDA standard, se tournent ici.

Le Supermicro est une plateforme configurable où vous spécifiez vous-même les CPUs, la mémoire, le stockage et la mise en réseau, sur un hôte AMD EPYC. Le Quasar est une configuration fixe Intel Xeon où ces décisions ont déjà été prises, incluant 1TB de mémoire et une NIC InfiniBand 200G dans la configuration de base. Choisissez le Supermicro pour personnaliser l'hôte ; choisissez le Quasar pour sauter complètement l'exercice de configuration.

Parce que la règle de fonctionnement pour un nœud d'entraînement 8-GPU est une mémoire système au moins égale à la mémoire totale des GPU. Le chargement des données, la prétraitement et l'augmentation pour huit A100 nécessitent une marge côté hôte, et un hôte sous-dimensionné prive les accélérateurs pour lesquels vous avez réellement payé. Avec 640Go de mémoire GPU dans le nœud, 1To de mémoire ECC système respecte la règle avec une marge, ce qui est précisément la raison pour laquelle cette configuration a été choisie.

Séparation des tâches. Deux SSD d'entreprise de 960 Go contiennent le système d'exploitation, et un lecteur dédié U.2 NVMe de 7,68 To stocke les ensembles de données et les points de contrôle. Les tâches d'entraînement lisent en permanence les ensembles de données et écrivent les points de contrôle ; en séparant ces opérations du volume de démarrage, on évite la contention et on maintient la réactivité à la fois du système d'exploitation et du pipeline d'entraînement. C’est la configuration qu’un opérateur expérimenté aurait de toute façon spécifiée.

Oui, et la configuration de base l'anticipe. La NIC InfiniBand de 200G incluse fournit le port de réseau dédié au tissu de calcul pour la communication GPU-à-GPU entre les nœuds, tandis que le double Ethernet 10 Gigabits gère le trafic de gestion. La montée en charge d'un seul nœud à plusieurs est un exercice d'interconnexion et de commutation plutôt qu'une rénovation matérielle, et MillionMiner conseille sur la conception du tissu lors de la configuration.

Affinage complet des modèles de la classe 30B à 70B avec parallélisme sur les huit GPUs, entraînement de modèles plus petits avec des tailles de batch très importantes, et service simultané de plusieurs charges de travail d'inférence de classe 70B. En utilisant MIG, le nœud se divise en jusqu'à 56 instances GPU isolées au niveau matériel, chacune adaptée au service de modèles de la classe 7B à 13B, ce qui fait d’un seul serveur une plateforme d'inférence multi-locataires complète.

C'est une machine de centre de données. Quatre alimentations haute efficacité de 3000W définissent l'enveloppe, et un nœud A100 à huit GPU consomme plusieurs kilowatts sous charge d'entraînement continue avec un flux d'air de grande volume de l'avant vers l'arrière requis. MillionMiner confirme le plan précis d'alimentation et de refroidissement pour votre site lors de la configuration, et l'hébergement dans les propres installations de MillionMiner est disponible si vous préférez ne pas prévoir d'infrastructure.

Soumettez vos détails de charge de travail et de déploiement via le formulaire de devis, et un spécialiste de MillionMiner répondra avec un devis complet couvrant le système, la couverture des pièces de rechange sur trois ans, et la livraison. Chaque unité est testée avant l'expédition et livrée dans le monde entier DDP avec les droits et les formalités douanières prises en charge. Des conseils pour l'intégration en rack et un déploiement hébergé sont également disponibles.