Sistema de Aprendizaje Profundo NVIDIA DGX A100 (8x A100, 640GB)

El complejo de hardware GPU es similar en diseño, ya que otros proveedores construyen sobre la placa base HGX de NVIDIA. La diferencia radica en todo lo que la rodea: los ingenieros de NVIDIA, validan y apoyan el sistema completo como un solo producto, con DGX OS, orquestación Base Command y contenedores certificados por NGC preinstalados. Los servidores de caja blanca dejan la integración, la optimización del sistema operativo y la coordinación del soporte de múltiples proveedores a usted. El DGX elimina esos riesgos.

Ocho GPU NVIDIA A100 80GB SXM4 con un total de 640GB de memoria GPU, seis NVSwitches con 12 NVLinks por GPU a 600 GB/s bidireccional, 5 petaFLOPS de rendimiento en IA, CPUs AMD EPYC duales de 64 núcleos (128 núcleos), hasta 2TB de memoria del sistema, 30TB de almacenamiento interno NVMe Gen4 y diez interfaces de red Mellanox ConnectX-6 en un chasis montado en rack de 6U.

Permite que cualquier GPU intercambie datos con otra GPU a 600 GB/s sin involucrar al CPU o al bus PCIe, con un ancho de banda agregado de 4,8 TB/s en todo el nodo. El entrenamiento distribuido sincroniza los gradientes entre todas las GPUs después de cada paso; en este tejido, esa sincronización es lo suficientemente rápida como para que ocho GPUs proporcionen cerca de ocho veces el rendimiento de una. Los servidores GPU conectados mediante PCIe no pueden replicar ese comportamiento de escalabilidad.

Misma clase de complejo de GPU: ocho GPUs A100 80GB SXM4 en una placa base NVSwitch. La Supermicro es una plataforma configurable donde usted especifica CPU, memoria, almacenamiento y redes, generalmente a un costo de plataforma menor, y usted controla la integración y la pila de software. El DGX es el dispositivo sellado de NVIDIA con la pila de software completa y soporte de un solo proveedor incluido. Los equipos orientados al presupuesto optan por la Supermicro; los equipos orientados a la certeza eligen el DGX. MillionMiner cotiza ambos.

DGX OS, una distribución basada en Ubuntu ajustada para el hardware, viene instalada. NVIDIA Base Command proporciona programación de tareas, orquestación y gestión de flotas. El catálogo NGC ofrece contenedores certificados y optimizados para rendimiento para PyTorch, TensorFlow, RAPIDS, Triton y cientos de otros marcos, validados contra el hardware DGX. El resultado práctico es que las cargas de trabajo de entrenamiento se ejecutan en horas desde el encendido.

Ajuste fino completo de modelos en la clase de 30B a 70B parámetros con paralelismo de modelos en toda la nodo, entrenamiento de modelos más pequeños con tamaños de lote muy grandes y servicio de inferencia de múltiples modelos de la clase 70B simultáneamente. Con MIG, el sistema se divide en hasta 56 instancias de GPU aisladas, cada una adecuada para servir modelos en la clase de 7B a 13B, lo que convierte a un DGX en una plataforma de inferencia multifacética completa.

Sí, y el sistema está diseñado para ello. Ocho adaptadores HDR InfiniBand ConnectX-6 de puerto único de 200 Gb/s proporcionan un puerto de red por GPU para GPUDirect RDMA, permitiendo que las GPUs en diferentes nodos intercambien datos directamente a través de la red. La arquitectura de referencia DGX SuperPOD de NVIDIA documenta la ruta validada desde un nodo hasta grupos de veinte o más, incluyendo la topología de red, almacenamiento y diseño de gestión.

Para una gran parte de las cargas de trabajo reales, sí. El A100 es el acelerador de IA con más experiencia en producción que se ha implementado, con soporte maduro en las versiones actuales de CUDA y en todos los principales marcos de trabajo. Las generaciones más nuevas son más rápidas por GPU, pero el DGX A100 ofrece un entrenamiento distribuido de clase NVSwitch genuino a un costo de plataforma mucho menor que los dispositivos de la generación actual, lo cual es exactamente lo que buscan los equipos de ajuste fino, las instituciones de investigación y los operadores de inferencia. La decisión de compra se basa en la economía de la carga de trabajo, no en la persecución de la generación.

Este es un aparato de centro de datos de 6U que pesa más de cien kilogramos y consume varios kilovatios con carga completa, con enfriamiento de alto volumen de adelante hacia atrás. No es una máquina de oficina. MillionMiner confirma los requisitos exactos de energía, enfriamiento y rack durante la configuración y ofrece alojamiento en sus propios centros de datos para equipos que prefieren no provisions instalaciones.

Envíe los detalles de su carga de trabajo y despliegue a través del formulario de cotización. Un especialista de MillionMiner confirma las opciones de configuración, la memoria del sistema, el almacenamiento, la cobertura de soporte y el plan de despliegue, luego el sistema se envía a nivel mundial DDP con los impuestos y aduanas gestionados antes de la entrega. La orientación para la integración en rack y el despliegue alojado en las instalaciones de MillionMiner están disponibles.