Nvidia H100 NVL (94GB) AI and HPC GPU

Το H100 NVL είναι η απάντηση της NVIDIA στο πρόβλημα οροφής των 80GB στη δική τους σειρά H100. Το H100 SXM προσφέρει 80GB ανά κάρτα σε μια βάση HGX, η οποία προηγείται στον κλάδο για εκπαίδευση. Αλλά για inference σε μοντέλα πάνω από 70B παραμέτρους με FP16 (αποτύπωμα μνήμης άνω των 140GB), μια μόνο κάρτα των 80GB υστερεί. Το NVL λύνει αυτό το πρόβλημα κρατώντας δύο PCIe H100 κάρτες μέσω τριών NVLink bridges σε μια ενιαία ομάδα 94GB HBM3, την οποία το λογισμικό αναγνωρίζει ως έναν ενιαίο χώρο μνήμης. Αρχιτεκτονική ανά κάρτα: GH100 GPU στην TSMC 4nm με 14.592 CUDA cores (132 SMs από τα 144 ενεργά), 456 τέταρτης γενιάς Tensor Cores που υποστηρίζουν FP64, TF32, FP16, BF16, FP8 και INT8 ακρίβεια με το Transformer Engine που επιλέγει δυναμικά την βέλτιστη ακρίβεια ανά στρώση κατά τη διάρκεια inference. 47GB HBM3 ανά κάρτα με περίπου 1.979 GB/s εύρος ζώνης. Για το ζεύγος NVLink: 94GB ενιαία μνήμη με συνολικό εύρος 3.938 GB/s, συνδεδεμένο με NVLink 600 GB/s διπλής κατεύθυνσης ανάμεσα στις δύο κάρτες. Το Transformer Engine είναι το χαρακτηριστικό που διακρίνει το H100 σε σύγκριση με το A100. Διαχειρίζεται αυτόματα τους μικτούς υπολογισμούς ακρίβειας FP8 και FP16 ανά στρώση νευρωνικού δικτύου, επιφέροντας έως 4 φορές μεγαλύτερη μέσω εκπαίδευσης και 30 φορές μεγαλύτερη μέσω inference σε μοντέλα βασισμένα σε transformer σε σύγκριση με το A100. Η παραγωγική εξυπηρέτηση LLM με ζεύγη H100 NVL παράγει 2x έως 3x περισσότερα tokens ανά δευτερόλεπτο ανά δολάριο σε σύγκριση με τις 80GB υλοποιήσεις A100 για μοντέλα από 30B έως 70B παραμέτρους. Το TDP είναι 400W ανά κάρτα ως η προεπιλεγμένη λειτουργία, με το καλώδιο PCIe 16-pin να υποστηρίζει διαμορφώσεις από 200W έως 600W ανά κάρτα. Στην προεπιλεγμένη κατάσταση των 400W ανά ζεύγος (800W συνολικά), το ζεύγος NVL καταναλώνει περίπου την ίδια ενέργεια με μια H100 SXM στα 700W, αλλά προσφέρει 94GB έναντι 80GB με την απλούστερη υποδοχή PCIe. Η λειτουργία MIG δημιουργεί έως και 7 πλήρως απομονωμένες μονάδες ανά κάρτα (14 συνολικά στο ζεύγος) με αποκλειστική μνήμη, cache και υπολογιστική ισχύ. Για την εξυπηρέτηση πολλαπλών πελατών, αυτή η λεπτομέρεια είναι πολύτιμη: εξυπηρετεί διαφορετικούς πελάτες ή μοντέλα σε απομονωμένες GPU slices με εγγυημένη QoS. Το NVL ταιριάζει σε τυπικές πλατφόρμες server PCIe. Οποιοσδήποτε server με δύο γειτονικές υποδοχές PCIe Gen 5 x16, φυσικό χώρο για τη συναρμολόγηση του NVLink (τρεις bridges που καλύπτουν και τις δύο κάρτες), και επαρκή κυκλοφορία αέρα για περαιτέρω ψύξη 800W. Οι πλατφόρμες Supermicro, Dell PowerEdge, HPE ProLiant και Lenovo ThinkSystem όλα τεκμηριώνουν τη συμβατότητα με το H100 NVL. Δεν απαιτείται HGX baseboard. Σε σύγκριση με άλλες προφορές της MillionMiner. Σε αντίθεση με το H100 SXM 80GB (ξεχωριστή καταχώριση): το SXM προσφέρει υψηλότερο εύρος ζώνης ανά GPU (3.350 GB/s) και συνδεσιμότητα NVSwitch για εκπαίδευση πολλαπλών GPU, αλλά απαιτεί υποδομή HGX baseboard. Σε σύγκριση με το H200 NVL 141GB: το H200 διπλασιάζει τη χωρητικότητα μνήμης με το νεότερο HBM3e για χρήστες που χρειάζονται ακόμη περισσότερο χώρο VRAM. Σε σύγκριση με το RTX PRO 6000 96GB ($10.000 έως $13.000): το RTX PRO 6000 προσφέρει νεότερη αρχιτεκτονική Blackwell με υψηλότερα TFLOPS FP32, αλλά λείπει το εύρος ζώνης HBM, το Transformer Engine και το αποδεδειγμένο οικοσύστημα δεδομένων κέντρου Hopper.