Nvidia H200 NVL (141GB) GPU AI dan HPC

H200 bukan arsitektur baru. Ini adalah die Hopper GH100 yang sama berjalan dengan inti CUDA yang sama, Tensor Cores yang sama, dan Transformer Engine yang sama seperti H100. Yang diubah NVIDIA adalah subsistem memori: HBM3 digantikan dengan HBM3e, kapasitas meningkat dari 80GB menjadi 141GB, bandwidth meningkat dari 3.350 GB/dt menjadi 4.800 GB/dt. Setiap spesifikasi lainnya tetap identik. Ini adalah peningkatan memori yang ditargetkan untuk beban kerja di mana 80GB dari H100 menjadi batasan. Dampak praktis terbagi dalam tiga kategori yang berkaitan dengan keputusan penerapan nyata. Inference LLM dengan presisi penuh. Model dengan 70B parameter pada FP16 dengan overhead cache KV membutuhkan… sekitar 140GB hingga 160GB memori GPU tergantung ukuran batch dan panjang urutan. H100 dengan 80GB tidak dapat menampung ini tanpa kuantisasi ke FP8 atau INT8, yang mengurangi akurasi model. NVL H200 dengan 141GB cocok untuk 70B pada FP16 pada satu GPU, mempertahankan presisi penuh. Untuk aplikasi di mana kehilangan akurasi kuantisasi tidak dapat diterima (AI medis, analisis dokumen hukum, pemodelan keuangan), ini adalah perbedaan antara "mungkin" dan "siap produksi". Skalabilitas inferensi konteks panjang. Model Transformer mengalokasikan memori cache KV secara proporsional dengan panjang jendela konteks. Sebuah model yang menyajikan jendela konteks 128K token pada H100 dapat kehabisan 80GB sebelum urutan selesai. 141GB H200 memperluas jendela konteks maksimum yang bisa ditangani satu GPU sebesar 76 persen sebelum offloading memori diperlukan. Untuk pipeline RAG, pemrosesan dokumen, dan agen percakapan dengan riwayat percakapan panjang, ini secara langsung berarti konteks yang lebih panjang tanpa kompleksitas infrastruktur. Kepadatan multi-penyewa melalui partisi MIG yang lebih besar. Setiap instance MIG di H200 mendapatkan 16,5GB dibandingkan 10GB di H100. kenaikan sebesar 65 persen per instance ini berarti setiap partisi dapat menyajikan model inferensi yang lebih besar. Di mana slice MIG 10GB H100 menangani model 3B hingga 7B, slice 16,5GB H200 menangani model 7B hingga 13B per partisi. Tujuh instance model 7B secara bersamaan pada satu GPU H200 adalah konfigurasi inferensi multi-penyewa yang praktis. Detail bentuk PCIe NVL. Hingga 4 GPU yang terhubung melalui jembatan NVLink dalam satu server. Kompatibel dengan pendinginan udara pada TDP hingga 600W yang dapat dikonfigurasi (berbeda dengan 700W pada H200 SXM yang memerlukan pendinginan cair). Antarmuka PCIe Gen 5 x16. Heatsink pasif yang memerlukan aliran udara dari chassis server. Cocok untuk platform server yang sama menjalankan kartu A100 PCIe atau H100 PCIe, sehingga dapat menjadi peningkatan langsung. Lenovo, Supermicro, Dell, dan HPE semua mendokumentasikan kompatibilitas H200 NVL pada lini server yang ada. Bandwidth penting untuk kecepatan pembuatan token. Pembuatan token inferensi LLM dalam decoding autoregressive terbatas oleh bandwidth memori: setiap token baru memerlukan membaca seluruh bobot model dari HBM. Dengan 4.800 GB/dt versus 3.350 GB/dt H100, H200 menghasilkan token sekitar 43 persen lebih cepat pada beban kerja yang terbatas bandwidth. Benchmark RunPod mengonfirmasi ini menghasilkan peningkatan throughput inferensi riil sebesar 1,5x hingga 1,9x pada model bahasa besar. Keputusan antara NVL H200 dan H200 SXM mencerminkan lineup H100. SXM: TDP 700W, pendinginan cair, motherboard HGX, NVSwitch yang menghubungkan 8 GPU dengan kecepatan 900 GB/dt masing-masing, dioptimalkan untuk pelatihan terdistribusi. NVL: hingga 600W, pendinginan udara, server PCIe standar, hingga 4-GPU NVLink, dioptimalkan untuk inferensi dan fleksibilitas penerapan. SXM untuk klaster pelatihan. NVL untuk server inferensi dan peningkatan infrastruktur yang ada. Kontrol ekspor yang sama dengan H100. Tergantung pada pembatasan AS terhadap perangkat keras AI tingkat lanjut.