Gigabyte G492-ZD0 HGX A100 8-GPU Serwer, Dual AMD EPYC 7742, 4U (Używany)

To są węzły pobrane z data centre z cyklem obsługi, sprzęt, który spędził swoją żywotność w klimatyzowanych profesjonalnych obiektach. Przed wysyłką każde urządzenie przechodzi pełną diagnostykę GPU na wszystkich ośmiu modułach A100, sprawdzanie historii korekcji błędów HBM, weryfikację zdrowia połączeń NVLink i NVSwitch, testy funkcji wentylatora i zasilacza oraz testy obciążeniowe. Jednostki, które nie przejdą żadnego z etapów, nie są wysyłane. Szczegóły stanu konkretnego urządzenia dostępne są w Państwa ofercie.

Ponieważ największe operatory AI cyklują flotę. W miarę jak hyperscalery i laboratoria przenoszą pojemność na generacje Hopper i Blackwell, ich infrastruktura A100 trafia na rynek wtórny. Podaż jest produktem ubocznym cykli modernizacji, a nie awarii, i to właśnie jest powodem, dla którego prawdziwa zdolność szkoleniowa NVSwitch jest obecnie dostępna za ułamek pierwotnego kosztu platformy.

Wentylatory i zasilacze, oba to wymienialne na gorąco elementy towarowe tej platformy. Same moduły A100 SXM4 nie mają ruchomych części, a silikon działający w ramach specyfikacji termicznej nie ulega pogorszeniu na czasami związanych z data-center. Prawdziwym problemem z używanymi GPU jest ukryte uszkodzenie, które jest mierzalne, a nie kwestią zaufania: historia błędów HBM, stan NVLink i zachowanie termiczne są odczytywalne z hardware'u, co dokładnie odczytuje testowanie przed wysyłką.

Osiem GPU NVIDIA A100 80GB SXM4 na pełnej siatce NVSwitch, 600 GB/s na GPU, łączących 640 GB HBM2e. To umożliwia pełne dostrajanie modeli klasy 30B do 70B z paralelizmem, szkolenie dużych partii mniejszych modeli oraz, dzięki MIG, do 56 izolowanych sprzętowo instancji GPU do wieloetapowego wnioskowania z jednej maszyny 4U.

Jest nieco poniżej zasad przedstawionych w tym katalogu, pamięć systemowa na poziomie lub powyżej całkowitej pamięci GPU, w porównaniu do puli GPU o wielkości 640GB. Dla wielu zadań związanych z fine-tuningiem i inferencją jest to wystarczające; dla intensywnych procesów wstępnego przetwarzania jest to pierwsza rzecz, którą należy zaktualizować. Szesnaście z trzydzieści dwóch slotów DIMM w platformie jest wolnych, więc zwiększenie hosta do 1TB jest elementem ofertowym, a nie przebudową, i MillionMiner dopasowuje to do Państwa rzeczywistego obciążenia.

Osiem 200 Gb/s NIC-ów, po jednym na GPU, które jest konieczne w topologii GPUDirect RDMA clustering: GPU w różnych węzłach wymieniają dane bezpośrednio przez sieć bez zaangażowania CPU. Węzeł jest gotowy do klastrowania, a skalowanie powyżej jednej maszyny to operacja przełącznika i okablowania, na której MillionMiner doradza podczas wyceny.

Ten sam podstawowy układ GPU we wszystkich czterech: osiem GPU A100 80GB SXM4 na NVSwitch. DGX A100 dodaje stos oprogramowania NVIDIA i wsparcie od jednolitego dostawcy przy kosztach podobnych do urządzenia. Supermicro AS-4124GO-NART+ to konfigurowalna nowa konstrukcja. Exeton Quasar 640X to nowa konstrukcja na stałe. Ten używany węzeł Gigabyte jest najniższym poziomem wartości: ta sama zdolność szkoleniowa przy najniższym koszcie wejścia, z warunkami potwierdzonymi testami, a nie plombą fabryczną. Kupujący kierujący się budżetem zaczynają tutaj; MillionMiner podaje wszystkie cztery uczciwie.

Gdy pamięć lub przepustowość są już ograniczeniem. Obciążenia przekraczające 640 GB na węzeł, programy treningowe, w których przepustowość Transformer Engine FP8 skraca czas realizacji z wartością biznesową, lub serwowanie długiego kontekstu wykraczające poza możliwości kart GPU o 80 GB, wskazują na systemy H800, H200 i B200 w tym katalogu. Jeśli Pańskie modele mieszczą się wygodnie w zakresie A100, zakup używanego węzła jest racjonalny, a oszczędności pozwalają na dużą ilość czasu obliczeniowego.

Aktualne wersje CUDA i każdy główny framework, PyTorch, TensorFlow, JAX, TensorRT, Triton, vLLM, zapewniają dojrzałe wsparcie dla architektury Ampere, a floty A100 nadal stanowią znaczny udział w globalnej mocy obliczeniowej chmury AI, co utrzymuje ekosystem w aktywnym stanie utrzymania. Narzędzia MIG, NVLink i GPUDirect są od dawna sprawdzone na tej platformie.

Prześlij szczegóły swojego obciążenia i wdrożenia za pomocą formularza wyceny. Specjalista MillionMiner potwierdza raport stanu konkretnej jednostki, zakres ubezpieczenia z nim związany, wszelkie dodatki do konfiguracji, takie jak zwiększenie pamięci, oraz plan dostawy. Każdy Miner jest testowany przed wysyłką i dostarczany na cały świat w systemie DDP, z obsługą opłat celnych i taryfowych. Hosting w własnych data centre MillionMiner jest dostępny jako alternatywa dla wdrożenia na miejscu.