Servidor GPU y servidor IA: preconfigurados, probados, listos para producción

DGX (Data Centre GPU) es el sistema completo de marca propia de NVIDIA — la placa GPU, NVSwitch, CPU, memoria, almacenamiento, redes, BMC y chasis están ensamblados y validados por NVIDIA. HGX es la plataforma OEM: NVIDIA suministra la placa base GPU con NVSwitch y módulos GPU a socios como Supermicro, Dell EMC, HPE y Lenovo, quienes construyen su propio chasis de servidor completo alrededor de ella. Los sistemas HGX ofrecen mayor flexibilidad en la elección del chasis, opciones de red y configuraciones de almacenamiento; los sistemas DGX son validados como referencia y vienen con el software NVIDIA Base Command.

El DGX H100 consume hasta 10,2 kW. Requiere dos conexiones C19/C20 de circuitos separados de 30A, 240V en Norteamérica, o una alimentación trifásica de 32A en Europa. Un circuito residencial estándar de 20A, 120V no es adecuado en absoluto. Planifique con PDU dedicados o alimentaciones directas desde el panel, y verifique la capacidad de su UPS antes de realizar el pedido.

Servidores de IA de entrada y gama media (configuraciones de 2 a 8 GPU PCIe) pueden utilizar enfriamiento por aire de alto flujo, aunque el ruido de los ventiladores de alta velocidad y el calor de escape a 10 kW+ hacen que los intercambiadores de calor en la puerta trasera sean altamente recomendable. Los DGX H100 y HGX H100/H200 en formato SXM están diseñados para enfriamiento por aire a nivel de sistema, pero generan calor significativo a nivel de bastidor — el enfriamiento líquido se vuelve prácticamente necesario por encima de 20 a 30 kW por bastidor. El GB200 NVL72 a 120 kW por bastidor requiere enfriamiento líquido directo sin opción solo de aire.

A FP16, un modelo de 175B requiere aproximadamente 350 GB de VRAM, más que los 640 GB que puede contener un DGX H100 después de tener en cuenta el overhead del caché KV de inferencia. En la práctica, la cuantización INT8 casi la mitad de este requerimiento, aproximadamente 175 GB, ajustándose cómodamente. El DGX H200 (1,1 TB HBM3e) puede ejecutar modelos de 175B en FP16 con espacio adicional. Un GB200 NVL72 (13,5 TB) puede ejecutar múltiples instancias de modelos de 175B simultáneamente.

Para el entrenamiento en múltiples nodos, es esencial una red de fabricazione RDMA de alta velocidad. NVIDIA InfiniBand HDR (200 Gb/s) o NDR (400 Gb/s) son el estándar para la interoperabilidad en clústeres DGX/HGX. Alternativamente, RoCEv2 (RDMA sobre Ethernet convergente) con NICs ConnectX-7 de 400 GbE es una opción de menor coste para clústeres de inferencia. Las operaciones colectivas de todos a todos (AllReduce) durante el entrenamiento son extremadamente sensibles al ancho de banda y la latencia internodos — el conmutador de 25/100 GbE de consumo introduce interrupciones inaceptables en entrenamientos a gran escala.

Sí. Para pedidos grandes de servidores de IA, podemos organizar la configuración de fábrica, pruebas de quemado y logística hasta su centro de datos o instalación de colocación. Póngase en contacto con nuestro equipo de ventas para analizar su cronograma de implementación y los requisitos de su instalación. Trabajamos con proveedores de colocación en Europa, los EAU y América del Norte.

Nuestro equipo está disponible las 24 horas del día, los 7 días de la semana, a través de WhatsApp (+49 176 777 888 33), correo electrónico y teléfono. Las compras de servidores AI suelen implicar configuraciones personalizadas y precios por volumen — adaptaremos sus requisitos de carga de trabajo a la plataforma adecuada y le proporcionaremos una cotización detallada que incluye la logística.