Lenovo NVIDIA HGX H200 141GB 700W 8-GPU Server

Αυτή η διακομιστήρας είναι η πλατφόρμα Lenovo 8U με αερόψυξη, κατασκευασμένη γύρω από την βάση πλακέτα NVIDIA HGX H200 8-GPU, μια διπλή έκδοση host της Intel, ειδικά σχεδιασμένη έτσι ώστε η υψηλότερη διαμόρφωση ισχύος της γενιάς Hopper της NVIDIA να λειτουργεί σε έναν συνηθισμένο data center με αερόψυξη. Σε μια αγορά όπου οι πλήρεις κόμβοι H200 με πλήρη ισχύ όλο και περισσότερο υιοθετούν υγρή ψύξη, αυτή η απόφαση μηχανικού σχεδιασμού καθορίζει για ποιον προορίζεται αυτή η μηχανή: οργανώσεις που θέλουν τρέχουσας γενιάς ικανότητα εκπαίδευσης χωρίς να ανακατασκευάσουν την εγκατάστασή τους για αυτό.

Ο συμπλέκτης GPU. Οκτώ NVIDIA H200 SXM GPU στην κατηγορία ισχύος 700W τοποθετούνται στην βάση πλακέτα HGX και διασυνδέονται μέσω NVSwitch σε πλήρη δίκτυο, με κάθε GPU να επικοινωνεί με κάθε άλλο GPU σε ταχύτητα 900 GB/s χωρίς να περνάει από τον επεξεργαστή ή την διαδρομή PCIe. Κάθε GPU περιέχει 141GB HBM3e, την πρώτη υλοποίηση HBM3e στη σειρά της NVIDIA, δίνοντας στον κόμβο 1,128GB κοινόχρηστης μνήμης GPU και συνολική bandwidth που προσεγγίζει τα 38 TB/s. Μέσω FP8 με το Transformer Engine ξεπερνά τα 30 petaFLOPS ανά κόμβο. Σε όρους φόρτου εργασίας: μοντέλα 70B παραμέτρων προσαρμόζονται σε πλήρη FP16 ακρίβεια μέσα σε έναν μόνο κόμβο, εκτελέσεις με μεγάλο context και KV cache με χώρο που δεν μπορούν να προσφέρουν GPU 80GB class, και αρχιτεκτονικές Mixture-of-Experts που διασυνδέονται με ταχύτητα NVLink. Κάθε H200 διαχωρίζεται επίσης σε όσο το δυνατόν επτά MIG instances στα 16.5GB, ώστε ένας μόνο διακομιστής να μπορεί να παρουσιάσει πάνω από πενήντα hardware-απομονωμένα τμήματα GPU για πολυ-ενοικίαση.

Ο θερμικός σχεδιασμός, που είναι και ο λόγος επιλογής αυτής της θήκης. Οκτώ GPU 700W και διπλοί επεξεργαστές server δημιουργούν θερμότητα δώδεκα και πλέον χιλιάδων watt σε ένα κουτί. Ο σχεδιασμός της Lenovo την ανταποκρίνεται με 8U όγκο αέρα και δεκαπέντε ανεμιστήρες hot-swap σε μια δομή N+1 με redundanс, διατηρώντας τον βασικό πλακέτα ισχύος με τυπική λειτουργία μόνο με αέρα. Η πρακτική συνέπεια είναι μεγάλη: δεν απαιτούνται μονάδες διανομής ψυκτικού μέσου, κανένας υδραυλικός εξοπλισμός εγκατάστασης, καμία σύμβαση συντήρησης υγρού κύκλου, και καμία περιοριστική επιλογή για τα data centers που ήδη διαθέτουν άμεση υγρή ψύξη. Η ισχύς αντιστοιχεί στο ίδιο πρότυπο: οκτώ πηγές τροφοδοσίας 2600W hot-swap redundant παρέχουν την ανάγκη για εφεδρεία, τροφοδοτούμενες από την κοινή τροφοδοσία AC του data center.

Η πλατφόρμα host. Δύο επεξεργαστές Intel Xeon Scalable 5ης γενιάς, με διαμόρφωση στην κατηγορία 48 πυρήνων ανά socket, αποτελούν το βασικό κομμάτι της. Δεκατρία DIMM slots υποστηρίζουν TruDDR5 5600MHz μνήμη μέχρι 2TB, το οποίο είναι σημαντικό επειδή ο κανόνας εργασίας για έναν κόμβο εκπαίδευσης είναι η συστήματος μνήμη που είναι ίση ή μεγαλύτερη από τη συνολική μνήμη GPU, και τα 2TB πάνω από μια pool 1.1TB GPU το κάνουν σωστά. Η αποθήκευση γίνεται μέσω δεκαέξι hot-swap θηκών PCIe 5.0 NVMe 2.5 ιντσών, αρκετή ώστε να μην χρειάζεται οι περισσότερες εργασίες εκπαίδευσης να διασχίζουν το δίκτυο για δεδομένα. Η διασύνδεση υποστηρίζει έως και 400 Gb/s ανά θύρα, υποστηρίζοντας τη δομή ενός-adapter-per-GPU που απαιτεί η ομαδοποίηση GPUDirect RDMA όταν μια ενιαία διαμόρφωση γίνεται πολλαπλές.

Ένα κουτί, δύο γενιές. Η πλατφόρμα αποδέχεται είτε την βάση πλακέτα HGX H200 είτε την HGX H100 με 80GB HBM3 GPUs. Αυτή η ευκαμψία αποτελεί πραγματικό μοχλό αγοράς: ομάδες που τα μοντέλα τους χωρούν άνετα στα 640GB ανά κόμβο μπορούν να ορίσουν H100 και να διαχωρίσουν τη διαφορά, ενώ οι ομάδες που πιέζουν τα όρια μνήμης παίρνουν το H200 των 141GB. Η MillionMiner αναφέρει και τις δύο διαμορφώσεις σε αυτήν την πλατφόρμα.

Πού βρίσκεται στον κατάλογο αυτό, με απλά λόγια. Τα τρία συστήματα 8x A100 εδώ, το DGX A100, το Supermicro AS-4124GO-NART+ και το Exeton Quasar 640X, προσφέρουν αποδεδειγμένη εκπαίδευση NVSwitch με την πιο προσιτή οικονομία, 640GB ανά κόμβο. Αυτή η πλατφόρμα Lenovo είναι το επόμενο γενεαλογικό βήμα: 76 τοις εκατό περισσότερο GPU μνήμη, 43 τοις εκατό περισσότερη bandwidth ανά GPU, throughput Transformer Engine FP8 που δεν διαθέτει η γενιά Ampere, και NVLink στα 900 GB/s έναντι 600. Η αγορά-στόχος της είναι η ομάδα των οποίων τα φορτία εργασίας έχουν ξεπεράσει τη μνήμη A100 ή των οποίων τα χρονοδιαγράμματα εκπαίδευσης δικαιολογούν throughput Hopper. Σε σύγκριση με το NVIDIA DGX H200, αυτή είναι η OEM οδός: μια διαμόρφωσης host, η οργανωμένη υπηρεσία της Lenovo και η διαχείριση XClarity πίσω της, και τρία χρόνια εγγύηση, χωρίς το επιπλέον κόστος της δικής της συσκευής NVIDIA. Σε σύγκριση με το σύστημα ASUS HGX H200 επίσης στον κατάλογο αυτό, η περίπτωση της Lenovo είναι η τυποποίηση του στόλου επιχείρησης: οργανώσεις που ήδη λειτουργούν με υποδομή Lenovo server διατηρούν μια ενιαία πλατφόρμα διαχείρισης, μια υποστήριξη και ένα επιχειρησιακό εγχειρίδιο.

Κάθε μονάδα αναφέρεται στη διαμόρφωση, δοκιμάζεται και αποστέλλεται παγκοσμίως DDP με τελωνεία και δασμούς που χειρίζονται. Ο σχεδιασμός και η φιλοξενία σε datacenters της MillionMiner διατίθενται για ομάδες που προτιμούν να μην αναλαμβάνουν την πρόβλεψη περίπου δέκα κιλοβάτων ισχύος rack επί τόπου.