Supermicro AS-4124GO-NART+ 8x A100 HGX AI Serwer

AS-4124GO-NART+ odpowiada na pytanie dotyczące zamówień, które pojawia się w każdej rozmowie o infrastrukturze AI: jak osiągnąć prawdziwą 8-kierunkową możliwość szkolenia NVLink bez konieczności wydawania budżetu na poziomie fronturowym? To platforma Supermicro o formacie 4U oparta na płycie głównej NVIDIA HGX A100 8-GPU, tej samej kompleksie GPU klasy Delta, który napędza DGX A100, i nadal jest jednym z najbardziej opłacalnych sposobów na uzyskanie autentycznej infrastruktury do rozproszonego szkolenia. Kompleks GPU i dlaczego NVSwitch jest kluczowy. Ośem NVIDIA A100 80GB SXM4 montuje się bezpośrednio na płytę HGX, połączone przez NVSwitch w pełnej siatce. Każdy GPU ma dostęp do każdego… innego GPU z przepustowością NVLink dwukierunkową 600 GB/s, co jest w przybliżeniu pięć razy większe niż oferuje PCIe Gen 4, bez konieczności routowania przez hosta. Dla rozproszonego szkolenia, jest to różnica między liniowym skalowaniem a coraz mniejszymi zyskami. Synchronizacja gradientów po każdym kroku szkolenia jest wąskim gardłem w pracy z wieloma GPU, a infrastruktura NVSwitch to eliminuje. Serwery GPU PCIe, bez względu na liczbę kart, nie mogą odtworzyć tej topologii. Jeśli Twoje zadanie to rzeczywiście szkolenie wielogpu, a nie niezależna inferencja, architektura SXM-plus-NVSwitch jest tym, co faktycznie kupujesz. Pamięć na poziomie węzła. Każdy A100 80GB wyposażony jest w HBM2e o przepustowości około 2TB/s, a cały węzeł posiada 640GB pamięci GPU. W praktyce umożliwia to pełną regulację modeli w klasie 30B do 70B z paralelizmem modeli, szkolenie mniejszych modeli przy bardzo dużych rozmiarach partii oraz obsługę inferencji kilku modeli klasy 70B jednocześnie. Każdy A100 dzieli się również na do 7 instancji MIG, więc pojedynczy węzeł może oferować aż 56 odizolowanych pod względem sprzętowym GPU do inferencji wieloużytkownikowej, co czyni tę platformę popularną wśród operatorów chmury GPU i usług inferencyjnych. Co oznacza NART+. Supermicro wyprodukowało tę platformę w dwóch wariantach. NART+ obsługuje moduły A100 80GB SXM4 o wyższym poborze mocy, które utrzymują wyższe zegary przy stałym obciążeniu. Dla maszyny, która będzie spędzać życie przy pełnym wykorzystaniu szkoleniowym, stałe zegary przekładają się bezpośrednio na wydajność, dlatego NART+ jest wariantem, który poważni operatorzy wskazują jako najbardziej odpowiedni. Platforma hosta. Dual Socket SP3 obsługuje procesory AMD EPYC 7002 i 7003 do 64 rdzeni każdy, 128 rdzeni i 256 wątków na system. Trzydzieści dwa gniazda DIMM mogą pomieścić do 8TB pamięci DDR4-3200 ECC. Zasadą dla węzła szkoleniowego z 8 GPU jest pamięć systemowa na poziomie lub powyżej całkowitej pamięci GPU, więc konfiguracje od 512GB do 1TB stanowią praktyczną podstawę, z marginesem znacznie ponad te wartości. Rozszerzenie PCIe Gen 4 obsługuje do jednego niskoprofilowego NIC na GPU, umożliwiając GPUDirect RDMA z proporcją 1:1 GPU do NIC dla InfiniBand lub wysokiej przepustowości Ethernet w klastrze wielu węzłów. Hot-swap NVMe bay obsługują przechowywanie danych z datasetów, a redundantne zasilacze Titanium-efficiency zapewniają zasilanie platformy przy pełnym obciążeniu i zabezpieczeniu przed awarią. Gdzie siedzi A100 w decyzji zakupowej. Pokolenia Hopper i Blackwell są szybsze na GPU i nikt tego nie kwestionuje. Przypadek A100 jest inny: jest to najbardziej sprawdzony na produkcji akcelerator AI, jaki kiedykolwiek wdrożono, wszystkie frameworki i stacki serwisowe są zoptymalizowane pod niego, jego ekosystem CUDA jest w pełni dojrzały, a koszt platformy za jednostkę możliwości szkoleniowej połączonej NVLink jest znacznie niższy niż w systemach najnowszej generacji. Dla fine-tuningu, szkolenia na średnią skalę, klastrów badawczych, laboratoriów uniwersyteckich i flot inferencyjnych, ekonomia ośmiu A100 połączonych NVSwitch często przewyższa mniejszą liczbę nowszych GPU. Zespoły już korzystające z infrastruktury A100 zyskują również spójność floty: te same sterowniki, te same kontenery, ten sam zestaw operacyjny. Gdzie znajduje się w katalogu MillionMiner. SYS-741GE-TNRT obejmuje elastyczne konfiguracje GPU PCIe od 1 do 4. Ta maszyna obsługuje prawdziwe szkolenie 8-kierunkowe NVSwitch w stylu Ampere. Platformy HGX H100 i H200 obejmują wyższą klasę, a DGX GB200 to już front. Ponieważ klasa mocy GPU, wybór CPU, pamięć, storage i sieć zmieniają konfigurację, każda AS-4124GO-NART+ jest konfigurowana na zamówienie: podziel się swoim obciążeniem z MillionMiner, potwierdź konfigurację ze specjalistą, a system zostanie dostarczony przetestowany, z obsługą celników, gotowy do rackowania.