Serwer GPU ASUS XA NB3I-E12 NVIDIA HGX B300 NVL8

NVIDIA HGX B300 NVL8: osiem GPU Blackwell Ultra B300 SXM z pamięcią HBM3e o 288 GB każdy, łącznie 2 304 GB węzłowo, połączonych przez NVSwitch za pomocą piątej generacji NVLink z prędkością 1,8 TB/s na GPU. Wartość 1 800 GB/s z przepustowości na karcie w specyfikacji odnosi się do prędkości NVLink na GPU. NVIDIA ocenia gęstą przepustowość FP4 tej generacji na 1,5 razy więcej niż HGX B200.

Modele na skalę graniczną obsługują pełną rezerwę pamięci KV, modele o wielkości setek miliardów parametrów dopracowują się z pełną precyzją w jednej nodze, a grupy do rozumowania lub długiego kontekstu utrzymują rozmiary partii, które mniejsze pule pamięci nie są w stanie obsłużyć. Pula o rozmiarze 2,3 TB istnieje, ponieważ obsługa chain-of-thought mnoży zapotrzebowanie na pamięć podręczną, a głębokość pamięci podręcznej determinuje opłacalność obsługi.

Dwa zasadnicze powody. Rozszerzenia macierzy AMX w ramach Xeon 6 rdzeni wydajnościowych przyspieszają pracę na stronie hosta, którą generuje węzeł 8-GPU, tokenizację, wstępne przetwarzanie i etapy pipeline zarejestrowane na CPU. I standaryzacja floty: organizacje zbudowane wokół Intel korzystają z narzędzi zoptymalizowanych pod Xeon, pozycji licencyjnych oraz zweryfikowanych podręczników operacyjnych, a to jest węzeł Blackwell Ultra, który dołącza do tej struktury bez certyfikacji drugiej platformy. Do 86 rdzeni na gniazdo przy 350W, z ośmioma kanałami DDR5 na procesor.

Kompleks GPU jest identyczny pod względem konstrukcji, więc decyzja dotyczy hosta i budowy. Supermicro korzysta z AMD EPYC 9005 z do 192 rdzeniami na gniazdo i do 6TB pamięci, jest to wybór dla flot AMD i intensywnego wstępnego przetwarzania o wysokiej gęstości rdzeni. Ta konfiguracja ASUS opiera się na platformie Intel Xeon 6 z AMX, w obudowie zaprojektowanej z myślą o minimalnym okablowaniu i szybkim serwisie. MillionMiner cytuje oba rozwiązania i zaleca w oparciu o Państwa istniejącą infrastrukturę.

Ponieważ NVIDIA zintegrowało to na generacji HGX B300 NVL8. Osiem portów ConnectX-8 InfiniBand o przepustowości 800G, po jednym na GPU, są dostarczane jako element kompleksu GPU, dwukrotnie zwiększając przepustowość na port w porównaniu do poprzednich generacji adapterów PCIe. Topologia jeden port na GPU, wymagana przez GPUDirect RDMA, jest zapewniona konstrukcyjnie, przez wewnętrzne okablowanie oraz klastrowanie wielonodowe, co zamienia zadanie na przełącze i okablowanie na ćwiczenie poza obudową, zamiast na montaż wewnątrz niej.

Trzy efekty operacyjne. Mniej wewnętrznych kabli oznacza mniej złączy, które mogą się zepsuć w węźle zaprojektowanym do pracy pod obciążeniem przez wiele lat. Mniej kabli oznacza mniejszą blokadę przepływu powietrza w obudowie, która odprowadza kilowaty ciepła. A modułowe zespoły oznaczają krótszy czas serwisowania, więc wymiana wentylatora lub zasilacza trwa minuty, a nie godziny. Żaden z tych aspektów nie jest widoczny w wynikach benchmarków; wszystkie są widoczne w operacyjnej dostępności.

Gdy decyduje o ekonomii pojemność pamięci lub standaryzacja magistrali. Rozumowanie i flotę o długim kontekście, której głębokość bufora KV ustawia rozmiar partii, wdrożenia obsługujące modele przekraczające 1,4TB węzła B200, oraz operatorów budujących wielowęzłowy wzrost na magistrali 800G, wszystko to znajdzie się tutaj. Obciążenia robocze mieszczące się komfortowo w ramach 1,4TB sprzyjają Gigabyte HGX B200, a te mieszczące się w zakresie Hopper sprzyjają systemom H200, a MillionMiner skonstruuje porównanie w Państwa wycenie.

Na zintegrowanej tkaninie: osiem portów ConnectX-8 InfiniBand 800G na węzeł, po jednym na GPU, obsługujących GPUDirect RDMA, dzięki czemu gradienty i aktywacje przemieszczają się między maszynami bez angażowania CPU. Skalowanie przekraczające jeden węzeł to zadanie architektury przełącznika, a MillionMiner doradza w zakresie projektowania tkaniny w miarę rozwoju wdrożeń.

Konfiguracja redundancji 5+5 z zasilaczami 80 PLUS Titanium wyznacza zakres, który umieszcza ten standard zdecydowanie w obszarze data center na najwyższym poziomie klasy pojedynczego węzła. MillionMiner potwierdza dokładne zużycie energii i plan termiczny Twojej określonej konfiguracji podczas wyceny, a hosting w własnych obiektach MillionMiner jest dostępny dla zespołów, które wolą nie zapewniać zasilania racka na taką skalę.

Prześlij swoje dane dotyczące obciążenia, skalowania i wdrożenia za pomocą formularza wyceny. Specjalista MillionMiner potwierdza konfigurację, zgodność pamięci i wykończenia magazynowego zgodnie z rzeczywistym stanem, spełnienie kryteriów eksportowych w USA dla akceleratorów klasy Blackwell oraz plan dostawy. Każdy system jest testowany przed wysyłką i dostarczany na cały świat DDP z obsługą cel i opłat celnych. Dostępne są wytyczne dotyczące integracji racków oraz wdrożenia w ramach hostingu.