Supermicro GPU SuperServer ARS-111GL-NHR, NVIDIA GH200 (Utilizat)

Acest procesor unește CPU-ul și GPU-ul într-un singur cip. Superchipul GH200 Grace Hopper include un CPU Grace Arm de 72 de nuclee și un GPU Hopper pe un singur modul, conectate prin NVLink-C2C la 900 GB/s, în loc de un server convențional care conectează un CPU și un GPU separat prin PCIe mult mai lent. De asemenea, împart memoria coerentă în loc să dețină pool-uri separate. Este o arhitectură de server, nu un GPU pe care îl adăugați la unul existent.

CPU-ul Grace cu până la 480GB de LPDDR5X și GPU-ul Hopper cu 96GB de HBM3 sunt accesibile ca un spațiu coerent pe care ambii procesori îl văd, mai degrabă decât ca două pool-uri separate între care copiați datele. Pentru sarcinile de lucru care mișcă constant date între CPU și GPU sau care necesită mai multă memorie decât HBM-ul unui GPU discret, acel design unificat elimină copiile și blocajul PCIe, care reprezintă avantajul principal al GH200.

Lucru legat de memorie și cuplaj CPU-GPU: analiza grafurilor mari și rețele neuronale pentru grafuri, sisteme de recomandare cu modele de embedding uriașe și inferență cu nevoie mare de memorie care depășește HBM-ul unui GPU discret. Pentru acestea, memoria coerentă unificată reprezintă un avantaj structural. Pentru antrenamentul în matrice dense multi-GPU, sistemele HGX SXM din acest catalog rămân instrumentul superior.

Formă diferită a problemei. Sistemele HGX H100 și H200 sunt plase NVSwitch cu opt GPU pentru antrenament distribuit, cu 640GB până la 1,1TB de HBM pooling. Acesta este un singur nod superchip Grace Hopper, un CPU-GPU fuzionat cu memorie coerentă. Alegeți sistemele HGX pentru antrenament multi-GPU; alegeți GH200 pentru sarcini de lucru limitate de memorie, grafice și cuplare, unde memoria unificată câștigă. Ele se completează mai degrabă decât se concurează.

Este o unitate de piață secundară, inspectată și verificată de MillionMiner înainte de expediere, același cadru aplicat pentru sistemele A100 utilizate și Hopper recondiționat din catalog. Modulele Grace Hopper nu au piese mobile iar siliciul funcționează în limitele specificațiilor termice, nu se degradează pe aceste intervale de timp; elementele de uzură sunt ventilatoarele și sursele de alimentare. Starea și acoperirea pentru unitatea specifică sunt confirmate în oferta dumneavoastră.

Economie și acces. Achiziționarea de echipamente second-hand aduce o arhitectură diferită și altfel costisitoare în acces, pentru echipele care doresc să evalueze Grace Hopper pentru sarcini limitate de memorie sau să o deployeze fără a plăti prețul unui echipament nou. Cadrul de verificare convertește riscul condiției în dovezi măsurabile, iar MillionMiner confirmă ce include unitatea în ofertă.

CPU-ul Grace este Arm Neoverse, nu x86, astfel încât stack-ul software-ului vizează Arm, pe care ecosistemul NVIDIA AI, CUDA, cadrele și catalogul de containere le suportă nativ pe Grace Hopper. Echipele trebuie să confirme dacă stack-ul lor specific de aplicații rulează pe Arm, iar MillionMiner poate oferi consultanță privind considerentele software în timpul ofertei.

Un rackmount de 1U cu două sloturi PCIe 5.0, stocare NVMe hot-swap E1.S, surse de alimentare titanium redundante de 2000W redundante și un port dedicat de gestionare BMC 1GbE. Configurația exactă de stocare a unității utilizate este confirmată în oferta dumneavoastră.

Implementările Grace Hopper se scalează prin rețeaua nodului și sloturile PCIe pentru adaptoare de rețea, iar platformele NVIDIA Grace Hopper acceptă interconectare de mare viteză pentru extinderea multi-nod. Pentru o unitate cu un singur nod folosită, MillionMiner recomandă opțiunile de rețea și rețea pentru implementarea dumneavoastră în timpul ofertei.

Trimiteți detaliile despre sarcina de lucru și implementare prin formularul de ofertă. Un specialist MillionMiner confirmă starea și acoperirea unității, configurația, eligibilitatea destinației conform controlului de export din SUA aplicabil acceleratorelor de Clasa Hopper și livrarea. Fiecare sistem este verificat înainte de expediere și expediat la nivel mondial DDP, cu taxe rambursate, cu posibilitatea de găzduire în propriile centre de date ale MillionMiner.