Nvidia H200 NVL (141 GB) AI- und HPC-GPU

Der H200 ist keine neue Architektur. Es handelt sich um dasselbe Hopper GH100-Die mit denselben CUDA-Kernen, Tensor-Kernen und Transformer-Engine wie beim H100. Was NVIDIA geändert hat, ist das Speichersystem: HBM3 wurde durch HBM3e ersetzt, die Kapazität von 80 GB auf 141 GB erhöht, die Bandbreite von 3.350 GB/s auf 4.800 GB/s verbessert. Alle anderen Spezifikationen bleiben identisch. Dies ist ein gezieltes Speicher-Upgrade für Anwendungsfälle, bei denen die 80 GB des H100 zur Grenze wurden. Die praktische Auswirkung lässt sich in drei Kategorien darstellen, die auf reale Bereitstellungsentscheidungen passen. LLM-Inferenz bei voller Präzision. Ein Modell mit 70 Mrd. Parametern bei FP16… mit KV-Cache-Overhead benötigt je nach Batch-Größe und Sequenzlänge etwa 140 GB bis 160 GB GPU-Speicher. Der H100 mit 80 GB kann dies ohne Quantisierung auf FP8 oder INT8 nicht abdecken, was die Modellgenauigkeit verringert. Der H200 NVL mit 141 GB passt 70B bei FP16 auf eine einzelne GPU, wodurch die volle Präzision erhalten bleibt. Für Anwendungen, bei denen Genauigkeitsverluste durch Quantisierung inakzeptabel sind (medizinische KI, rechtliche Dokumentenanalyse, Finanzmodellierung), ist dies der Unterschied zwischen „möglich“ und „produktionsreif“. Skalierung der Inferenz bei langen Kontexten. Transformer-Modelle allocate KV-Cache-Speicher proportional zur Kontextfensterlänge. Ein Modell, das 128K Tokens im Kontextfenster auf dem H100 verarbeitet, könnte die 80 GB vor Beendigung der Sequenz auslasten. Die 141 GB des H200 verlängern das maximale Kontextfenster, das eine einzelne GPU bewältigen kann, um 76 Prozent, bevor Memory-Offloading notwendig wird. Für RAG-Pipelines, Dokumentenverarbeitung und Konversationsagenten mit langen Gesprächshistorien bedeutet dies längere Kontexte ohne komplexe Infrastruktur. Multi-Tenant-Dichte durch größere MIG-Partitionen. Jede MIG-Instanz auf dem H200 erhält 16,5 GB im Vergleich zu 10 GB beim H100. Dieser 65-prozentige Anstieg pro Instanz ermöglicht es, größere Inferenzmodelle zu betreiben. Während die 10 GB-MIG-Slices des H100 Modelle mit 3B bis 7B Parametern verarbeiten, können die 16,5 GB-Slices des H200 Modelle mit 7B bis 13B Parametern pro Partition handhaben. Sieben gleichzeitige 7B-Modelle auf einem einzigen H200-GPU sind eine praktische Multi-Tenant-Inferenzkonfiguration. Die Details des NVL PCIe-Formfaktors. Bis zu 4 GPUs verbunden über NVLink-Brücken in einem einzelnen Server. Luftkühlung kompatibel bei bis zu 600 W TDP (im Vergleich zu 700 W beim H200 SXM, der Flüssigkeitskühlung erfordert). PCIe Gen 5 x16 Schnittstelle. Passiver Kühlkörper, der die Luftströmung im Servergehäuse nutzt. Passt in die gleichen Serverplattformen mit A100 PCIe- oder H100 PCIe-Karten, was ein Drop-in-Upgrade darstellt. Lenovo, Supermicro, Dell und HPE dokumentieren die Kompatibilität des H200 NVL mit bestehenden Serverlinien. Bandbreite ist entscheidend für die Geschwindigkeit bei Token-Generierung. Die Token-Generation bei LLM-Inferenz im autoregressiven Decoding ist bandbreitenabhängig: Jeder neue Token erfordert das Lesen der gesamten Modellgewichte aus HBM. Bei 4.800 GB/s im Vergleich zu 3.350 GB/s beim H100 generiert der H200 Tokens etwa 43 Prozent schneller bei bandbreitengebundenen Workloads. Benchmarks von RunPod bestätigen, dass dies bei der Inferenzdurchsatzleistung im Realbetrieb zu Steigerungen um 1,5x bis 1,9x bei großen Sprachmodellen führt. Die Entscheidung zwischen H200 NVL und H200 SXM ähnelt der H100-Produktlinie. SXM: 700 W TDP, Flüssigkeitskühlung, HGX-Baseboard, NVSwitch-Netzwerk, das 8 GPUs mit 900 GB/s verbindet, optimiert für verteiltes Training. NVL: bis zu 600 W, Luftkühlung, Standard-PCIe-Server, bis zu 4-GPU NVLink, optimiert für Inferenz und flexible Bereitstellung. SXM für Trainingscluster. NVL für Inferenzserver und Upgrades bestehender Infrastruktur. Gleiche Exportkontrollen wie beim H100. Vorgeschrieben durch US-Bestimmungen für fortschrittliche KI-Hardware.