NVIDIA RTX 5090 32GB Вытяжка — Двухразрядная конфигурация Multi-GPU

Нет стандартного партнера NVIDIA AIB, выпускающего вентиляционный RTX 5090. Единственным полукорпусным вариантом является AFOX RTX 5090 Professional (розничная цена $5 999 США). Большинство вентиляционных 5090 на рынке — это переделки: розничные карты 5090 разобраны и переделаны на пользовательских двухслотовых вентиляционных платах.

Мульти-GPU плотность. Стандартные открытые RTX 5090 с шириной от 2,5 до 3,5 слотов физически не помещаются более чем по 2 в любой корпус, а тепловая каскадность между картами делает даже 2 проблематичными. Двойной слотный кулер позволяет разместить от 4 до 8 карт в серверном корпусе для racks AI inference, ферм аренды GPU и майнинговых операций.

До 8 Майнеров в серверном корпусе с подходящим количеством PCIe слотов, энергопитанием и охлаждением в соответствии с документацией Tom's Hardware. Восемь карт: совокупная видеопамять 256 ГБ, примерно 838 ТФЛОПс FP32, потребляемая мощность GPU 4 600 Вт. Требуется промышленная электросеть, высокоёмкие PDU и достаточный воздухообмен в серверном корпусе.

Да. Та же самая die GB202: 21 760 ядер CUDA, 680 ядер Tensor, 170 ядер RT, 32 ГБ GDDR7 с пропускной способностью 1 792 ГБ/с, примерно 104,8 TFLOPS FP32, PCIe Gen 5. Вентилятор влияет только на тепловой дизайн, а не на производительность кремния. Частоты boost совпадают: 2 017 МГц базовая, 2 407 МГц повышенная.

Пока не опубликовано официально для конвертаций 5090 (новее, чем модификация 4090 48GB, у которой зафиксировано около 2% отказов от GPU Lab). Процесс промышленной переработки на проверенных китайских мастерских (CT и др.) использует станции перепайки BGA и профессиональные протоколы тестирования, но перепайка GPU-слоёв всегда несёт риск по сравнению с заводским сборкой. Закладывайте бюджет на возможную замену единиц в мульти-GPU развертываниях.

8x 5090 blower: примерно 838 TFLOPS FP32, 256 ГБ GDDR7 со скоростью 1 792 ГБ/с на карту, без NVLink, PCIe Gen 5, драйверы для потребительского использования. 8x A100 80 ГБ (HGX): 156 TFLOPS FP32, 640 ГБ HBM2e со скоростью 2 039 ГБ/с на карту, NVLink со скоростью 600 ГБ/с, 7 MIG на карту, корпоративные драйверы. Узел 5090 обеспечивает в 5,4 раза больше вычислений FP32 при на 60% меньшем объеме памяти. Для задач вывода (вычислительно-узко): 5090 значительно превосходит по пропускной способности за доллар. Для обучения (по памяти и межсоединениям): A100 HGX выигрывает благодаря NVLink и пропускной способности HBM.

Восемь карт по 575 Вт: потребление GPU — 4 600 Вт. Общий узел с двойными процессорами, памятью, хранилищем и системой охлаждения — примерно 5 500 Вт до 6 500 Вт. Требуется промышленное трёхфазное питание, высокоемкая PDU и соответствующая защита автоматическими выключателями. Стандартное бытовое или мелкое офисное электроснабжение не может обеспечить такую нагрузку.

Да, та же вычислительная мощность, что и у Fan Style. Конструкция вентилятора на самом деле предпочтительнее для майнинговых установок, поскольку плотность нескольких карт — стандартная конфигурация майнинг-руса. Восемь карт майнят независимо друг от друга с ежедневной прибылью по $0,83 каждая: примерно $6,64 на узел в день при цене $0,10/кВтч. Аренда GPU может приносить значительно больше.

Blower RTX 5090: около 104,8 TFLOPS FP32, 32GB GDDR7, 575W, драйверы для потребительского сегмента, комплектующие послепродажной установки, до 8 устройств на шасси. RTX PRO 6000 Max-Q: около 120 TFLOPS FP32, 96GB GDDR7 ECC, 300W, профессиональные драйверы, завод NVIDIA, до 4 устройств на рабочую станцию. На карту: PRO 6000 Max-Q предлагает в 3 раза больше памяти, профессиональную надежность и сертификацию ISV при меньшем потреблении энергии. На узел: восемь Blower RTX 5090 обеспечивают более совокупных вычислительных мощностей. Разные уровни надежности для различных уровней толерантности к рискам.

Параллельное обслуживание выводов: восемь независимых экземпляров модели объемом 13B до 25B, обрабатывающих одновременно запросы пользователей. Пакетное создание векторных представлений на основе больших корпусов документов. Обслуживание нескольких моделей (разные модели на различных GPU). Фермы рендеринга. Аренда GPU сторонним компаниям через Clore.ai, Vast.ai или аналогичные платформы.