Apa yang membedakan GH200 dari server GPU biasa?

Ini menggabungkan CPU dan GPU menjadi satu chip. GH200 Grace Hopper Superchip menempatkan CPU Grace Arm berinti 72 dan GPU Hopper pada satu modul, terhubung dengan NVLink-C2C sebesar 900 GB/detik, di mana server konvensional menghubungkan CPU dan GPU yang terpisah melalui PCIe yang jauh lebih lambat. Mereka juga berbagi memori koheren daripada menyimpan pool terpisah. Ini adalah arsitektur server, bukan GPU yang Anda tambahkan ke sebuah sistem.

Apa itu memori terpadu yang koheren, dan mengapa hal itu penting?

CPU Grace dengan hingga 480GB LPDDR5X dan GPU Hopper dengan 96GB HBM3 dapat diakses sebagai satu ruang kohesif yang dilihat oleh kedua prosesor, bukan dua kumpulan terpisah tempat menyalin data di antara keduanya. Untuk beban kerja yang secara konstan memindahkan data antara CPU dan GPU, atau yang membutuhkan memori lebih dari HBM GPU terpisah, desain terpadu ini menghapus salinan dan hambatan PCIe, yang merupakan keunggulan utama GH200.

Apa beban kerja terbaik untuknya?

Kerja yang terbatas pada memori dan terkait CPU-GPU: analitik graf besar dan jaringan neural graf, sistem rekomendasi dengan tabel embedding yang besar, serta inferensi yang membutuhkan memori besar yang melebihi HBM GPU diskrit. Untuk ini, memori terpadu yang kohesif adalah keunggulan struktural. Untuk pelatihan matriks multi-GPU yang padat, sistem HGX SXM dalam katalog ini tetap menjadi alat yang lebih baik.

Bagaimana perbandingannya dengan server H100 dan H200 di sini?

Bentuk masalah yang berbeda. Sistem HGX H100 dan H200 adalah jaringan NVSwitch delapan-GPU untuk pelatihan terdistribusi, dengan pooled HBM sebesar 640GB hingga 1,1TB. Ini adalah sebuah node superchip Grace Hopper tunggal, satu CPU-GPU terintegrasi dengan memori koheren. Pilih sistem HGX untuk pelatihan multi-GPU; pilih GH200 untuk beban kerja berbasis memori, graf, dan yang terikat dengan pasangan di mana memori terpadu lebih unggul. Mereka saling melengkapi daripada bersaing.

Mengapa membeli GH200 bekas daripada yang baru?

Ekonomi dan akses. Membeli bekas membawa arsitektur yang berbeda dan biasanya mahal menjadi terjangkau, untuk tim yang ingin mengevaluasi Grace Hopper untuk beban kerja yang bergantung pada memori atau menempatkannya tanpa biaya harga satuan baru. Kerangka kerja verifikasi mengubah risiko kondisi menjadi bukti yang dapat diukur, dan MillionMiner mengonfirmasi apa yang termasuk dalam penawaran unit tersebut.

Apakah perangkat lunak berbeda karena berbasis Arm?

CPU Grace adalah Arm Neoverse, bukan x86, jadi tumpukan perangkat lunak menargetkan Arm, yang didukung secara asli oleh ekosistem AI NVIDIA, CUDA, kerangka kerja, dan katalog container di Grace Hopper. Tim harus memastikan bahwa tumpukan aplikasi khusus mereka berjalan di Arm, dan MillionMiner dapat memberi saran tentang pertimbangan perangkat lunak selama proses penawaran.

Apa konfigurasi rangka dan penyimpanan?

Sebuah rak 1U dengan dua slot PCIe 5.0, penyimpanan E1.S NVMe hot-swap, dua catu daya Titanium redundan 2000W, dan port manajemen BMC 1GbE khusus. Konfigurasi penyimpanan tepat dari unit yang digunakan dikonfirmasi dalam penawaran Anda.

Bisakah saya mengelompokkan beberapa node GH200?

Penempatan Grace Hopper skalasi melalui jaringan node dan slot PCIe untuk adaptor fabric, dan platform Grace Hopper NVIDIA mendukung interkoneksi kecepatan tinggi untuk skala multi-node. Untuk unit satu node bekas, MillionMiner menyarankan opsi jaringan dan fabric untuk penempatan Anda selama penawaran.

Bagaimana cara saya memesan, dan bagaimana kebijakan ekspor?

Kirimkan detail beban kerja dan penempatan Anda melalui formulir kutipan. Spesialis MillionMiner mengonfirmasi kondisi dan cakupan unit, konfigurasi, kelayakan tujuan sesuai dengan pengendalian ekspor AS yang berlaku untuk akselerator kelas Hopper, dan pengiriman. Setiap sistem diverifikasi sebelum pengiriman dan dikirim ke seluruh dunia DDP dengan biaya bea cukai ditangani, dengan hosting di data centre milik MillionMiner tersedia.

Server NVIDIA GH200 bekas Supermicro ARS-111GL-NHR

Name: Supermicro GPU SuperServer ARS-111GL-NHR, NVIDIA GH200 (Bekas)
Brand: Supermicro
SKU: MM2026SRVSUPERMI10
Price: 5600.00 USD
Availability: BackOrder

Katalog ini hampir seluruhnya dibangun dari server yang menggabungkan CPU x86 dengan GPU NVIDIA diskrit melalui PCIe. Pengecualian adalah ARS-111GL-NHR, dan memahaminya berarti memahami bahwa GH200 adalah desain yang secara fundamental berbeda. Produk ini ditawarkan di sini dalam kondisi bekas, di pasar sekunder. Arsitekturnya. NVIDIA GH200 Grace Hopper Superchip menggabungkan dua prosesor yang biasanya terpisah: CPU Grace dengan 72 inti Arm Neoverse, dan GPU Hopper, yang dibangun dalam satu modul dan terhubung melalui NVLink-C2C dengan kecepatan 900 GB/s. Dalam server konvensional, CPU dan GPU berkomunikasi melalui PCIe, yang memiliki bandwidth sebagian kecil dari itu, dan masing-masing… memiliki memori terpisah. GH200 sebaliknya menyajikan memori koheren melalui hingga 480GB LPDDR5X di sisi Grace dan 96GB HBM3 di sisi Hopper, dapat diakses sebagai satu ruang yang dilihat oleh CPU dan GPU. Bottleneck yang menentukan pengolahan GPU konvensional, yaitu pemindahan data melalui PCIe antara host dan perangkat, dihilangkan secara teknik. Dimana keunggulannya. Desain ini tidak selalu lebih cepat dalam segala hal, tetapi secara struktural lebih baik untuk kelas pekerjaan tertentu. Beban kerja yang terbatas oleh memori yang membutuhkan lebih dari HBM GPU diskrit, analitik graf besar dan GNN di mana data terus bergerak antara CPU dan GPU, sistem rekomendasi dengan tabel embedding besar, dan inferensi yang memerlukan memori berat semuanya mendapatkan manfaat dari memori terpadu yang koheren dan berkapasitas tinggi. Untuk pekerjaan ini, GH200 melakukan tugas yang secara sulit atau tidak mungkin dilakukan oleh server GPU diskrit. Sebaliknya, untuk pelatihan matriks padat di banyak GPU, sistem HGX SXM dalam katalog ini tetap menjadi alat pilihan, sementara GH200 adalah node dengan satu Superchip, bukan jaringan NVSwitch dengan delapan GPU. Kasus pasar sekunder. Unit ini digunakan, dan sesuai kerangka katalog ini yang berlaku untuk sistem A100 bekas dan Hopper yang direfurbished. Kondisi perangkat ini cukup baik, modul Grace Hopper tidak memiliki bagian yang bergerak, dan silikon yang berjalan dalam spesifikasi termal tidak menurun seiring waktu ini, sementara komponen yang aus, kipas dan catu daya, dapat diperbaiki. MillionMiner memeriksa dan memverifikasi unit sebelum pengiriman, dan kondisi serta perlindungannya dikonfirmasi dalam penawaran. Membeli bekas adalah cara untuk menjangkau arsitektur yang berbeda dan biasanya mahal bagi tim yang ingin menilai atau menerapkannya. Rangka dan tempatnya. Sebuah rak 1U dengan dua slot PCIe 5.0, penyimpanan NVMe hot-swap E1.S, dua catu daya Titanium redundan 2000W, dan port manajemen BMC khusus. Sistem ini berdampingan, bukan bertentangan, dengan server GPU diskrit dalam katalog ini: pilih GH200 untuk beban kerja terbatas oleh memori dan terkait CPU-GPU di mana memori koheren terpadu menjadi keuntungan; pilih sistem HGX H100 atau H200 untuk pelatihan multi-GPU; dan pertimbangkan node Hopper bekas atau yang telah direfurbished untuk nilai pada arsitektur konvensional. Accelerators kelas Hopper tunduk pada kontrol ekspor AS, kelayakan tujuan diverifikasi dalam setiap penawaran, dan setiap sistem diverifikasi, dikirim ke seluruh dunia DDP dengan bea cukai yang ditangani, serta tersedia untuk hosting di data centre milik MillionMiner.

Baca Selengkapnya Show Less