Nvidia H100 SXM (80GB) AI and HPC GPU

Το H100 SXM υπάρχει επειδή η κατανεμημένη εκπαίδευση AI έχει ένα πρόβλημα εύρους ζώνης που το PCIe δεν μπορεί να λύσει. Η εκπαίδευση ενός μοντέλου 70B παραμέτρων σε πολλαπλά GPUs απαιτεί κάθε GPU να ανταλλάσσει ενημερώσεις γραμμικών βαθμίδων με κάθε άλλο GPU μετά από κάθε μπροστινό και πισωγύρισμα. Στο PCIe Gen 5 με 128 GB/s, αυτές οι ανταλλαγές γραμμικών βαθμίδων γίνονται ο αποφασιστικός παράγοντας πολύ πριν οι GPUs εξαντληθούν από την υπολογιστική χωρητικότητα. Το NVLink 4.0 στα 900 GB/s ανά GPU (7x PCIe) και το NVSwitch που συνδέει όλους τους 8 GPUs σε έναν κόμβο με πλήρες εύρος ζώνης εξαλείφουν αυτό το bottleneck. Γι' αυτό κάθε σοβαρή ανάπτυξη εκπαίδευσης AI τρέχει SXM, όχι PCIe. Πλήρεις προδιαγραφές του GH100 die. 80 δισεκατομμύρια τρανζίστορ στην TSMC 4nm. 16.896 CUDA cores σε 132 SMs (ενεργοποίηση πλήρους die στο SXM σε αντίθεση με 114 SMs στο PCIe). 528 Tensor Cores τέταρτης γενιάς που υποστηρίζουν FP64, TF32, FP16, BF16, FP8, και INT8 με το Transformer Engine. 132 RT Cores τρίτης γενιάς. 80GB HBM3 σε 5.120-bit οδό και εύρος ζώνης 3.350 GB/s. 50MB L2 cache. Το μορφότυπο SXM5 παρέχει περίπου 30 τοις εκατό περισσότερα TFLOPS από την έκδοση PCIe (67 έναντι 51 TFLOPS FP32) λόγω υψηλότερων ταχυτήτων ρολογιού που επιτρέπονται από τον προϋπολογισμό ισχύος 700W και την θερμική υποδομή HGX. Απόδοση υπολογισμών σε κάθε επίπεδο ακρίβειας. FP64: 34 TFLOPS (67 TFLOPS Tensor). FP32: 67 TFLOPS. Tensor TF32: 989 TFLOPS με σπαράγματα. Tensor FP16/BF16: 1.979 TFLOPS με σπαράγματα. Tensor FP8: 3.958 TFLOPS με σπαράγματα. Tensor INT8: 3.958 TOPS με σπαράγματα. Ο αριθμός FP8 είναι αυτός που μετράει περισσότερο για την εκπαίδευση transformer: 3.958 TFLOPS με αυτόματο διαχείριση ακρίβειας μέσω του Transformer Engine που σημαίνει ότι το H100 SXM παρέχει περίπου 4 φορές μεγαλύτερη απόδοση εκπαίδευσης από ένα A100 SXM σε μοντέλα GPT-κλάσης. Αρχιτεκτονική NVLink και NVSwitch. Κάθε H100 SXM συνδέεται με το fabric NVSwitch μέσω 18 συνδέσεων NVLink 4.0 που παρέχουν 900 GB/s διπλής κατεύθυνσης εύρος ζώνης. Το NVSwitch παρέχει διασυνδεσιμότητα all-to-all: οποιοδήποτε GPU μπορεί να επικοινωνεί με οποιοδήποτε άλλο GPU στον ίδιο κόμβο με πλήρες εύρος ζώνης 900 GB/s χωρίς δρομολόγηση μέσω CPU ή PCIe bus. Ένας κόμβος HGX H100 με 8 GPUs παρέχει 7,2 TB/s συνολική εύρος ζώνης NVLink σε όλους τους GPUs. Για την κλιμάκωση σε πολλαπλούς κόμβους, το NVIDIA Quantum-2 NDR InfiniBand στα 400 Gb/s ανά θύρα επεκτείνει το fabric πέρα από μεμονωμένους κόμβους. DGX H100 εναντίον HGX H100. Το DGX H100 είναι το turnkey σύστημα της NVIDIA με 8 GPUs (κλάση $250,000 έως $400,000) που περιλαμβάνει CPUs, μνήμη, αποθήκευση, δικτύωση και στοίβα λογισμικού. Το HGX H100 είναι το GPU baseboard module που ενσωματώνουν οι κατασκευαστές εξοπλισμού (Supermicro, Dell, HPE, Lenovo) στις δικές τους πλατφόρμες server. Και τα δύο χρησιμοποιούν την ίδια διαμόρφωση 8x H100 SXM GPU με NVSwitch. Η διαδρομή HGX προσφέρει περισσότερη ευελιξία στο CPU, στην αποθήκευση και στην δικτύωση. Το πλαίσιο απόφασης SXM έναντι NVL και PCIe. SXM (αυτό το προϊόν): μέγιστη απόδοση ανά GPU, κλιμάκωση 8-GPU NVSwitch, TDP 700W, απαιτεί βάση HGX, βελτιστοποιημένο για κατανεμημένη εκπαίδευση. NVL (H100 NVL 94GB, ξεχωριστή καταχώρηση MillionMiner): κάρτες PCIe ζευγάρια, ενιαία μνήμη 94GB, ταιριάζει σε τυπικούς διακομιστές, βελτιστοποιημένο για inference μεγάλων μοντέλων. PCIe (στάνταρ H100 80GB PCIe): μονή κάρτα στα 350W, τυπικές θύρες διακομιστή, χαμηλότερο κόστος, περιορισμένη σε 2-GPU NVLink, κατάλληλο για single-GPU inference και fine-tuning. Επιλέξτε SXM όταν η απόδοση εκπαίδευσης και η αποδοτικότητα κλιμάκωσης πολλαπλών GPUs είναι η προτεραιότητα. Επιλέξτε NVL ή PCIe όταν η inference ή η απλότητα υποδομής έχουν μεγαλύτερη σημασία. Το MIG στο H100 SXM δημιουργεί έως και 7 απομονωμένες περιπτώσεις των 10GB η καθεμία. Τα πιο συνηθισμένα σχήματα παραγωγής ανά Spheron: 7x 1g.10gb για inference πολυενοικίασης μικρών μοντέλων, ή 2x 3g.40gb για δύο ταυτόχρονους διακομιστές μοντέλων 13B. Κάθε περίπτωση MIG εμφανίζεται ως ξεχωριστή συσκευή GPU στο λειτουργικό σύστημα με hardware-επιβεβαιωμένη απομόνωση. Το προστατευμένο computing μέσω του Trusted Execution Environment (TEE) προστατεύει τα δεδομένα και τα βάρη των μοντέλων κατά τη διάρκεια της επεξεργασίας. Πρόκειται για λειτουργία ασφάλειας σε επίπεδο hardware για συμβατικότητα σε ευαισθητικά δεδομένα AI σε υγειονομική περίθαλψη (HIPAA), χρηματοοικονομικά (SOC 2) και κυβέρνηση (FedRAMP), όπου τα δεδομένα δεν μπορούν να εκτεθούν στον διαχειριστή υποδομής. Προσαρμόσιμο έως 700W TDP. Απαιτεί υγρή ψύξη ή μηχανική θήκη διακομιστή με υψηλόαερισμό. Το τυπικό αερόψυξη είναι ανεπαρκές για διαρκή λειτουργία στα 700W. Το NVIDIA DGX H100 χρησιμοποιεί άμεση υγρή ψύξη. Οι διαμορφώσεις HGX από Supermicro και Lenovo προσφέρουν τόσο επιλογές αέρα όσο και υγρής ψύξης ανάλογα με τον θερμικό προϋπολογισμό.