GIGABYTE G593-SD2-AAX1 HGX H100 8-GPU Server (5U, Dual Xeon)

Το NVIDIA HGX H100: οκτώ GPUs SXM5 με 80GB HBM3 η καθεμία, 640GB ανά κόμβο με συνολική ταχύτητα διαπερατότητας άνω των 26 TB/s, ένα πλήρες δίκτυο NVSwitch με 900 GB/s ανά GPU, throughput FP8 πάνω από 30 petaFLOPS, και MIG μέχρι και 56 instances. Σε όρους φόρτου εργασίας: πλήρες fine-tuning στην κατηγορία 70B σε ένα κόμβο, εκπαίδευση μεγάλης παρτίδας σε συνδυασμό και πυκνότητα παραγωγικής εξυπηρέτησης.

Ο ίδιος οικογένεια Gigabyte G593, διαφορετικός πάροχος και μοντέλο διαμόρφωσης. Αυτό το SD2 τρέχει διπλό Intel Xeon Scalable με AMX και έως 8TB DDR5, ως μια σταθερή, πλήρως εξοπλισμένη κατασκευή. Το ZD2 τρέχει διπλό AMD EPYC με διαύλους μνήμης 12 καναλιών, ως barebone που διαμορφώνετε. Οι επενδύσεις Intel, οι γραμμές AMX και οι μεγάλες ανάγκες μνήμης διακομιστή ανέρχονται εδώ; οι στόλοι AMD και οι πελάτες που διαμορφώνουν μόνοι τους επιλέγουν το ZD2, και η MillionMiner παραθέτει και τα δύο.

Αυτό είναι το μεγαλύτερο μνήμης Hoster στα συστήματα H100 του καταλόγου και αποδίδει όπου ο Hoster αναλαμβάνει το μεγαλύτερο φορτίο: προεπεξεργασία με έντονη χρήση μνήμης, μεγάλα σύνολα δεδομένων και αποθετήρια χαρακτηριστικών, καθώς και πυκνή virtualization ή πολυενοικίαση παράλληλα με τις GPU. Ο κανόνας που εφαρμόζει ο κατάλογος αυτός παντού είναι η μνήμη συστήματος ίση ή μεγαλύτερη από την ομάδα GPU των 640GB· τα 8TB τα υπερκαλύπτουν πολλές φορές για φόρτους εργασίας που το χρειάζονται.

SXM με NVSwitch. Οι οκτώ GPU είναι πάνω στην πλακέτα βάσης HGX, ενωμένες στα 900 GB/s σε ένα πλήρες δίκτυο, το οποίο αποτελεί την αυθεντική διασύνδεση κορυφαίας εκπαίδευσης όπου όλες οι GPU συγχρονίζονται με πλήρη εύρος ζώνης. Οι διακομιστές PCIe H100, όπως ο Lenovo SR675 V3 εδώ, λειτουργούν τις κάρτες πιο ανεξάρτητα. Για κατανεμημένη εκπαίδευση, το δίκτυο SXM είναι το σημείο αναφοράς· για ανεξάρτητη εργασία GPU, μια πλατφόρμα PCIe μπορεί να ταιριάζει καλύτερα.

Δύο πράγματα πέρα από τη χωρητικότητα των 8TB. Οι επεκτάσεις AMX matrix στα Xeon Scalable επιταχύνουν την εργασία tensor στο πλευρό του διακομιστή, την tokenization, τα embeddings, την προεπεξεργασία, τα στάδια που τροφοδοτούν οκτώ GPU. Και η τυποποίηση των ακινήτων: οργανώσεις σε Intel διατηρούν τα εργαλεία, τις άδειες και τις επικυρωμένες εικόνες τους. Η ονομασμένη γενιά επεξεργαστή για τη μονάδα σας επιβεβαιώνεται στη προσφορά.

Οκτώ τράπεζες hot-swap 2,5 ιντσών Gen5 για NVMe, SATA ή SAS, για ευελιξία στην τοπική αποθήκευση, και διπλό βασικό δίκτυο 10GbE μέσω του ελεγκτή Intel X710. Το δίκτυο υπολογιστικού ιστού για clustering καθορίζεται ανά ανάπτυξη στην επέκταση PCIe Gen5. Ο ακριβής εξοπλισμός επιβεβαιώνεται με την προσφορά σας.

Και οι τρεις είναι κόμβοι SXM H100. Ο Dell είναι ο incumbent του επιχειρηματικού τομέα Intel-host με διαχείριση iDRAC· ο Quanta είναι η κατασκευή hyperscale ODM· αυτή η Gigabyte ξεχωρίζει στην χωρητικότητα μνήμης του host με 8 ΤΒ και την αξία της Gigabyte. Αγοραστές που ακολουθούν την Estate προτιμούν Dell, οι αγοραστές ODM-αξίας τον Quanta, οι αγοραστές με έμφαση στη μνήμη και στην αξία αυτόν, και ο MillionMiner καθοδηγεί την απόφαση.

Πλεονεκτικές τροφοδοσίες Titanium 3000W σε χώρο 5U με αερόψυξη, προμήθεια στην κατηγορία δέκα κιλοβάτ για πλήρη κατασκευή οκτώ GPU και διακομιστή. Ο ακριβής αριθμός τροφοδοτικών και η κατανάλωση ενέργειας της διαμόρφωσής σας επιβεβαιώνονται στην προσφορά, και η φιλοξενία στις δικές εγκαταστάσεις της MillionMiner διατίθεται για ομάδες που προτιμούν η ισχύς του rack να διαχειρίζεται από τον Hoster.

Μέσω προσαρμογέων υφής PCIe Gen5 που ορίζονται ανά ανάπτυξη, μεταφέροντας GPUDirect RDMA ώστε τα gradients να μετακινούνται μεταξύ των κόμβων χωρίς να επηρεάζουν τους CPU, σε InfiniBand ή Ethernet υψηλής ταχύτητας. Η MillionMiner παρέχει συμβουλές σχετικά με την αρχιτεκτονική διασταύρωσης και υφής καθώς οι αναπτύξεις ξεπερνούν τον έναν κόμβο.

Υποβάλετε τις λεπτομέρειες του φόρτου εργασίας και της ανάπτυξης σας μέσω της φόρμας προσφοράς. Ένας ειδικός της MillionMiner επιβεβαιώνει τη διαμόρφωση, τους όρους εγγύησης 3 ετών, την επιλεξιμότητα προορισμού σύμφωνα με τους εξαγωγικούς ελέγχους των ΗΠΑ που ισχύουν για τους επιταχυντές τύπου Hopper, και την παράδοση. Κάθε σύστημα δοκιμάζεται πριν την αποστολή και αποστέλλεται παγκοσμίως DDP με τις δασμολογικές διαδικασίες χειρισμένες, με διαθέσιμη φιλοξενία στα δικά της data centers της MillionMiner.