Exeton Quasar 640X 8x A100 AI Server (640GB NVLink)

Exeton είναι ένας εξειδικευμένος ενσωματωτής AI servers παρά μια κορυφαία εταιρεία όπως η Supermicro ή η NVIDIA. Τα εξαρτήματα μέσα είναι standard: NVIDIA A100 GPUs, Intel Xeon Platinum processors, επιχειρησιακές SSDs. Αυτό που προσφέρει ο ενσωματωτής είναι η διαμόρφωση, και η τεχνική περιγραφή δείχνει έμπειρη κρίση σε όλη τη διάρκεια. Κάθε μονάδα που παρέχει η MillionMiner προέρχεται και ελέγχεται πριν την αποστολή, φέρει τρία χρόνια κάλυψη ανταλλακτικών, και υποστηρίζεται άμεσα από τη MillionMiner, οπότε το brand στο chassis δεν αλλάζει το ποιος ευθύνεται για το hardware σας.

Σταθερό, και αυτό είναι το σημείο αυτού του προϊόντος. Το Quasar 640X είναι η ολοκληρωμένη, αποφασισμένη κατασκευή για τους αγοραστές που θέλουν μια προσφορά και μια γνωστή καλή μηχανή. Αν χρειάζεστε μια διαφορετική πλατφόρμα CPU, χωρητικότητα μνήμης ή διαρρύθμιση αποθήκευσης, το Supermicro AS-4124GO-NART+ στον κατάλογο αυτό είναι η διαμορφώσιμη διαδρομή 8x A100, και η MillionMiner προσφέρει προσφορές και για τα δύο.

Και οι δύο παραδίδουν οκτώ A100 80GB GPUs με NVLink και 640GB συνολικής μνήμης GPU. Το DGX προσθέτει το πλήρες λογισμικό πακέτο της NVIDIA, Base Command, πιστοποιημένα containers NGC και υποστήριξη από έναν προμηθευτή, με οικονομία συσκευής. Το Quasar παρέχει την ίδια κατηγορία υπολογιστικής GPU σε μια ολοκληρωμένη σταθερή κατασκευή με οικονομία ολοκληρωτή, με εσάς να τρέχετε τυπική ανοιχτού κώδικα εργαλεία από πάνω. Οι επιχειρηματικοί αγοραστές που βασίζονται στην βεβαιότητα τείνουν προς το DGX· ομάδες που δίνουν έμφαση στην αξία και είναι άνετες με το στάνταρ ecosystem CUDA, στραφούν εδώ.

Το Supermicro είναι μια διαμορφώσιμη πλατφόρμα όπου ορίζετε εσείς οι ίδιοι CPUs, μνήμη, αποθήκευση και δικτύωση, σε μια πλατφόρμα AMD EPYC. Το Quasar είναι μια σταθερή κατασκευή Intel Xeon όπου αυτές οι αποφάσεις ήδη έχουν ληφθεί, συμπεριλαμβανομένης της 1TB μνήμης και ενός 200G InfiniBand NIC στην βασική προδιαγραφή. Επιλέξτε το Supermicro για να προσαρμόσετε τον host· επιλέξτε το Quasar για να παραλείψετε εντελώς την διαδικασία διαμόρφωσης.

Επειδή ο κανόνας λειτουργίας για έναν κόμβο εκπαίδευσης με 8 GPU είναι η μνήμη συστήματος να είναι ίση ή μεγαλύτερη από τη συνολική μνήμη GPU. Η φόρτωση δεδομένων, η προκατεργασία και η ενίσχυση για τα οκτώ A100 χρειάζονται χώρο στη μνήμη του host, και ένας ανεπαρκής host στερεί τους επιταχυντές για τους οποίους πληρώσατε πραγματικά. Με 640GB μνήμη GPU στον κόμβο, 1TB μνήμης συστήματος ECC καλύπτει τον κανόνα με περιθώριο, και ακριβώς αυτός ήταν και ο λόγος που επιλέχθηκε αυτή η διαμόρφωση.

Διαχωρισμός καθηκόντων. Δύο enterprise SSDs των 960GB φέρουν το λειτουργικό σύστημα, και ένας dedicated drive των 7.68TB U.2 NVMe φέρει δεδομένα και checkpoints. Οι εργασίες εκπαίδευσης διαβάζουν δεδομένα και γράφουν checkpoints συνεχώς· η διατήρηση αυτής της I/O εκτός του boot volume αποτρέπει συγκρούσεις και διατηρεί τόσο το OS όσο και την pipeline εκπαίδευσης ευαίσθητα. Είναι η διάταξη που θα είχε ορίσει ο έμπειρος χειριστής ούτως ή άλλως.

Ναι, και η βασική κατασκευή το προβλέπει. Το ενσωματωμένο 200G InfiniBand NIC παρέχει τη θύρα υφής υπολογισμού για επικοινωνία GPU-προς-GPU μεταξύ των κόμβων, ενώ το διπλό 10 Gigabit Ethernet διαχειρίζεται την κυκλοφορία διαχείρισης. Η κλιμάκωση από έναν κόμβο σε πολλούς αποτελεί μια διαδικασία διασύνδεσης και switch παρά μια υλικού ανακατασκευή, και η MillionMiner συμβουλεύει σχετικά με το σχεδιασμό της υφής κατά τη διαμόρφωση.

Πλήρης προσαρμογή μοντέλων στην κατηγορία 30B έως 70B με παράλληλη επεξεργασία σε οκτώ GPUs, εκπαίδευση μικρότερων μοντέλων σε πολύ μεγάλες παρτίδες και ταυτόχρονη εξυπηρέτηση πολλαπλών φορτίων inference στην κατηγορία 70B. Χρησιμοποιώντας το MIG, ο κόμβος διαχωρίζεται σε έως και 56 υλικογενείς απομονωμένες GPU instances, κάθε μία κατάλληλη για την εξυπηρέτηση μοντέλων στην κατηγορία 7B έως 13B, καθιστώντας έναν διακομιστή πλήρη πλατφόρμα inference πολλαπλών ενοικιαστών.

Αυτή είναι μια μηχανή δεδομένων. Τέσσερις τροφοδοτικές πηγές υψηλής απόδοσης 3000W ορίζουν το περίγραμμα, και ένας κόμβος με οκτώ-GPU A100 καταναλώνει αρκεκά κιλοβάτ υπό συνεχή φόρτιση εκπαίδευσης με απαιτούμενη αερισμό από μπροστά προς τα πίσω. Η MillionMiner επιβεβαιώνει το ακριβές σχέδιο ισχύος και ψύξης για τον χώρο σας κατά τη διαμόρφωση, και η φιλοξενία στις δικές της εγκαταστάσεις της MillionMiner είναι διαθέσιμη αν προτιμάτε να αποφύγετε την παροχή υποδομής.

Υποβάλετε τα στοιχεία φόρτου εργασίας και ανάπτυξής σας μέσω της φόρμας προσφοράς, και ένας ειδικός της MillionMiner θα απαντήσει με μια ολοκληρωμένη προσφορά που καλύπτει το σύστημα, την τριετή κάλυψη ανταλλακτικών και τη διανομή. Κάθε μονάδα δοκιμάζεται πριν την αποστολή και παραδίδεται παγκοσμίως DDP με τις κρατήσεις και τις τελωνειακές διαδικασίες να έχουν γίνει. Οδηγίες ενσωμάτωσης σε rack και φιλοξενούμενη ανάπτυξη είναι διαθέσιμες.