क्या यह एक वास्तविक HGX A100 प्रणाली है?

हाँ। AS-4124GO-NART+ NVIDIA HGX A100 8-GPU बेसबोर्ड के चारों ओर बनाया गया है जिसमें SXM4 मॉड्यूल और NVSwitch इंटरकनेक्ट है, जो DGX A100 में इस्तेमाल होने वाले डेल्टा-श्रेणी GPU कॉम्प्लेक्स के समान है। यह PCIe GPU सर्वर से अलग है: हर GPU हर दूसरे GPU से NVSwitch मेष के माध्यम से 600 GB/संग जुड़ा है, जो वास्तुकला वितरित प्रशिक्षण के लिए आवश्यक है।

NART+ {{--NART+ का अर्थ क्या है?--}}

Supermicro ने इस प्लेटफार्म को दो संस्करणों में भेजा है। NART+ उच्च-शक्ति A100 80GB SXM4 मॉड्यूल का समर्थन करता है, जो निरंतर प्रशिक्षण लोड के तहत मानक-शक्ति संस्करण की तुलना में उच्च क्लॉक बनाए रखता है। एक नोड जो लगभग 24 घंटे पूर्ण उपयोग पर चलता है, उस स्थायी क्लॉक लाभ का सीधे प्रशिक्षण थ्रूपुट में परिणत होता है।

अधिकतम विश्वसनीयता और निरंतरता के लिए, क्यों एक 8x A100 सर्वर खरीदें बजाय H100 या H200 सिस्टम के?

आर्थिक स्थिति और परिपक्वता। A100 अब तक का सबसे परीक्षण किया हुआ AI एक्सेलेरेटर है, जिसमें एक पूरी तरह परिपक्व CUDA इकोसिस्टम है और प्रत्येक प्रमुख फ्रेमवर्क इसके लिए अनुकूलित है। NVSwitch-से जुड़ी प्रशिक्षण क्षमता की प्रति यूनिट प्लेटफ़ॉर्म लागत Hopper पीढ़ी के सिस्टम की तुलना में काफी कम है। फाइन-ट्यूनिंग, मध्य-स्तर के प्रशिक्षण, अनुसंधान क्लस्टर, और इनफेरेंस फ्लिट्स के लिए, आठ NVLinked A100 अक्सर नए GPUs की तुलना में छोटे बजट में अधिक प्रदर्शन करते हैं। मौजूदा A100 फ्लीट्स का विस्तार करने वाली टीमें एक ऑपरेशनल प्लेबुक भी रखती हैं।

यह NVIDIA DGX A100 से कैसे तुलना करता है?

एक ही मौलिक GPU संरचना: NVSwitch के साथ HGX बेसबोर्ड पर आठ A100 SXM4 GPU। DGX A100 एक बंद उपकरण है जिसमें निश्चित कॉन्फ़िगरेशन और NVIDIA का bundled सॉफ्टवेयर और समर्थन शामिल है। यह Supermicro प्लेटफ़ॉर्म उसी GPU जटिलता को प्रदान करता है जिसमें आप एक कॉन्फ़िगरेबल होस्ट चुन सकते हैं: आप अपनी वास्तविक कार्यलोड के अनुसार CPU, मेमोरी क्षमता, संग्रहण और नेटवर्किंग निर्दिष्ट करते हैं, जो आमतौर पर समान प्रशिक्षण क्षमता के लिए प्लेटफ़ॉर्म लागत को उल्लेखनीय रूप से कम कर देता है।

आप 640GB GPU मेमोरी पर किन मॉडलों को प्रशिक्षित या सेवा दे सकते हैं?

30B से 70B वर्ग में मॉडेलों का पूर्ण फाइन-ट्यूनिंग, नोड के पार मॉडल पैरेललिज्म का उपयोग करके। बहुत बड़े बैच आकार में छोटी मॉडेलों का प्रशिक्षण। एक साथ कई 70B-क्लास मॉडेलों या दर्जनों छोटी मॉडेलों की इनफ़ेरेंस सेवा। MIG के साथ, नोड को 7B से 13B-क्लास मॉडेलों की मल्टी-टेनेंट सेवा के लिए 56 तक अलग-थलग GPU इंस्टेंस में विभाजित किया जाता है।

मैं किस प्रकार के CPU और मेमोरी कॉन्फ़िगरेशन निर्दिष्ट करूँ?

ड्यूल AMD EPYC 7002 या 7003 श्रृंखला, प्रति सॉकेट 64 कोर तक, 32 DIMM स्लॉट के साथ, DDR4-3200 ECC में 8TB तक स्केलिंग। एक 8-GPU प्रशिक्षण नोड के लिए कार्यकारी नियम सिस्टम मेमोरी का कुल GPU मेमोरी के बराबर या उससे अधिक होना है, इसलिए यहां व्यावहारिक आधाररेखा 512GB से 1TB है। आठ GPUs के लिए डेटा लोडिंग और प्रीप्रोसेसिंग के लिए वास्तविक होस्ट थ्रूपुट की आवश्यकता है; एक छोटा होस्ट महंगे एक्सेलेरेटर को भूखा रखता है। MillionMiner इसे कॉन्फ़िगरेशन के दौरान आपके साथ आकार देता है।

क्या मैं कई नोड्स को एक साथ क्लस्टर कर सकता हूँ?

हाँ। PCIe Gen 4 विस्तार एक GPU प्रति एक लो-प्रोफ़ाइल NIC का समर्थन करता है, जिससे GPUDirect RDMA एक 1:1 GPU-से-NIC अनुपात पर संभव होता है। InfiniBand या उच्च गति ईथरनेट एडेप्टर के साथ, कई AS-4124GO-NART+ नोड्स एक प्रशिक्षण क्लस्टर बनाते हैं जहां GPU बिना CPU भागीदारी के नोड्स के बीच डेटा का आदान-प्रदान करते हैं। यह उन वर्कलोड के लिए मानक स्केल-आउट मार्ग है जो एकल 8-GPU नोड से बढ़ते हैं।

मुझे कितनी शक्ति और शीतलन की योजना बनानी चाहिए?

यह एक घना 4U नोड है जिसमें आठ हाई-पावर SXM4 GPU और द्विगुणित सर्वर CPU शामिल हैं, जो टाइटानियम-प्रभावी पावर सप्लाई से लैस है। डेटा-सेτερ-श्रेणी की बिजली आपूर्ति और उच्च मात्रा में सामने से पीछे हवा का प्रवाह योजना बनाएं; यह कोई कार्यालय-परिवेश मशीन नहीं है। MillionMiner अपने निर्दिष्ट कॉन्फ़िगरेशन की सटीक शक्ति और तापीय सीमा की पुष्टि करता है, और यदि आप स्थल पर ऊर्जा प्रदान करना नहीं चाहते हैं तो MillionMiner की अपनी सुविधाओं में होस्टिंग उपलब्ध है।

क्या A100 अभी भी सॉफ्टवेयर समर्थन प्राप्त करता है?

पूर्ण रूप से। A100 वर्तमान CUDA रिलीज़ और PyTorch, TensorFlow, JAX, TensorRT, Triton, vLLM, और प्रत्येक प्रमुख प्रशिक्षण और सेवा स्टैक का प्रथम श्रेणी का Ampere समर्थन बनाए रखता है। A100 फ्लीट अभी भी वैश्विक क्लाउड AI क्षमता का एक महत्वपूर्ण हिस्सा हैं, जो इस मंच को सक्रिय रूप से मेंटेन रखता है। MIG, NVLink, और GPUDirect टूलिंग सभी इस प्लेटफार्म पर परिपक्व हैं।

मैं कैसे आदेशित कर सकता हूँ, और डिलीवरी में क्या शामिल है?

सर्वर कॉन्फ़िगर किया गया है क्योंकि GPU पावर क्लास, CPU, मेमोरी, संग्रहण, और नेटवर्किंग सभी निर्माण को बदलते हैं। कृपया अपने कार्यभार और परिनियोजन विवरण को कोट फॉर्म के माध्यम से जमा करें, MillionMiner विशेषज्ञ के साथ कॉन्फ़िगरेशन की पुष्टि करें, और सिस्टम को तैयार किया जाता है, परीक्षण किया जाता है, और दुनिया भर में DDP के साथ शिप किया जाता है, जिसमें शुल्क और कस्टम्स का प्रबंधन पूर्व में किया जाता है। रैक एकीकरण गाइडेंस और MillionMiner के डेटा केंद्रों में होस्टिंग दोनों उपलब्ध हैं।

Supermicro 8x A100 HGX सर्वर AS-4124GO-NART+

Name: Supermicro AS-4124GO-NART+ 8x A100 HGX AI सर्वर
Brand: Supermicro
SKU: MM2026SMC4124GONARTP
Price: 13000.00 USD
Availability: BackOrder

AS-4124GO-NART+ एक खरीद प्रश्न का उत्तर देता है जो हर AI इंफ्रास्ट्रक्चर बातचीत में सामने आता है: आप बिना अत्यधिक बजट लगाए सच्ची 8-तरफ़ा NVLink प्रशिक्षण क्षमता कैसे प्राप्त करते हैं? यह Supermicro का 4U प्लेटफ़ॉर्म है जो NVIDIA HGX A100 8-GPU बेसबोर्ड के चारों ओर बना है, वही डेल्टा-क्लास GPU कॉम्प्लेक्स जो DGX A100 को संचालित करता है, और यह वास्तव में वितरित प्रशिक्षण अवसंरचना के लिए सबसे लागत प्रभावी मार्गों में से एक है। GPU कॉम्प्लेक्स और NVSwitch का मुख्य उद्देश्य क्यों है। आठ NVIDIA A100 80GB SXM4 GPUs सीधे HGX बेसबोर्ड पर माउंट होते हैं, जो NVSwitch के माध्यम से आपस में जुड़े होते हैं, और सभी-से-सभी मेष में इंटरकनेक्ट होते हैं। प्रत्येक GPU प्रत्येक अन्य GPU से 600 GB/s द्विदिश NVLink… बैंडविड्थ पर पहुँचता है, जो PCIe जेन 4 की तुलना में लगभग पाँच गुना अधिक है, और होस्ट के माध्यम से रूटिंग किए बिना। वितरित प्रशिक्षण के लिए, यह रेखीय स्केलिंग और घटते लाभ के बीच का अंतर है। प्रत्येक प्रशिक्षण चरण के बाद ग्रेडिएंट सिंक्रनाइज़ेशन काम में बाधा है, और NVSwitch का फेब्रिक इसे साफ करता है। PCIe GPU सर्वर, चाहे उनके कार्ड संख्या कितनी भी हो, इस टोपोलॉजी की नकल नहीं कर सकते। यदि आपका कार्यभार वास्तव में मल्टी-GPU प्रशिक्षण है न कि स्वतंत्र अनुमान, तो SXM-plus-NVSwitch संरचना ही वह है जो आप वास्तव में खरीद रहे हैं। संपूर्ण नोड के आकार पर मेमोरी। प्रत्येक A100 80GB में HBM2e लगभग 2TB/s बैंडविड्थ पर कार्य करता है, और नोड कुल मिलाकर 640GB GPU मेमोरी प्रदान करता है। व्यावहारिक रूप से यह 30B से 70B वर्ग की पूर्ण मॉडल ट्यूनिंग, मॉडल समानांतरता, बहुत बड़े बैच आकार पर छोटे मॉडल का प्रशिक्षण, और 70B वर्ग के अनेक मॉडल का अनुमान सेवा संभव बनाता है। प्रत्येक A100 को 7 तक MIG इंस्टेंस में विभाजित किया जा सकता है, इसलिए एकल नोड कई हार्डवेयर-आइसोलेट GPU इंस्टेंस प्रस्तुत कर सकता है, जो मल्टी-टेनेंट अनुमान के लिए उपयुक्त है, और यह डेनसिटी इस प्लेटफ़ॉर्म को GPU क्लाउड और अनुमान-सर्विंग ऑपरेटरों के बीच लोकप्रिय बनाती है। NART+ का अर्थ क्या है। Supermicro ने इस प्लेटफ़ॉर्म को दो वेरिएंट में भेजा है। NART+ उच्चतम शक्ति वाले A100 80GB SXM4 मॉड्यूल का समर्थन करता है, जो निरंतर लोड के तहत उच्च स्थायी क्लॉक रखता है। ऐसी मशीन के लिए जो अपने पूरे प्रशिक्षण उपयोग पर जीवन बिताएगी, स्थायी क्लॉक सीधे थ्रुपुट में अनुवाद करते हैं, और इसी कारण से NART+ वह वेरिएंट है जिसे गंभीर ऑपरेटर निर्धारित करते हैं। होस्ट प्लेटफ़ॉर्म। dual Socket SP3 AMD EPYC 7002 और 7003 श्रृंखला प्रोसेसर तक समर्थन करता है, प्रत्येक में 64 कोर, सिस्टम प्रति 128 कोर और 256 थ्रेड्स तक। 32 DIMM स्लॉट 8TB DDR4-3200 ECC मेमोरी तक विस्तार योग्य हैं। एक 8-GPU प्रशिक्षण नोड के लिए कार्यरत नियम यह है कि सिस्टम मेमोरी GPU मेमोरी के बराबर या उससे ऊपर हो; यहाँ 512GB से 1TB तक का कॉन्फ़िगरेशन व्यावहारिक आधार है, और उससे अधिक संभावनाएँ भी हैं। PCIe जेन 4 विस्तार प्रति GPU एक कम-प्रोफ़ाइल NIC तक समर्थन करता है, जिससे GPUDirect RDMA के माध्यम से एक GPU से एक NIC अनुपात के साथ InfiniBand या हाई-स्पीड ईथरनेट क्लस्टरिंग संभव होती है। Hot-swap NVMe बक्से dataset के भंडारण का संचालन करते हैं, और रिडेंडेंट टाइटेनियम-अक्षमता पॉवर सप्लाई, नोड की भारी खपत की शक्ति को फेलओवर हेडरूम के साथ संभालते हैं। A100 निर्णय में कहाँ बैठता है। Hopper और Blackwell पीढ़ियाँ प्रति GPU अधिक तेज हैं, और इसमें कोई संदेह नहीं है। A100 का मामला अलग है: यह अब तक का सबसे उत्पादन-सिद्ध AI एक्सेलेरेटर है, हर फ्रेमवर्क और सेवा स्टैक इसके लिए अनुकूलित है, इसका CUDA इकोसिस्टम पूर्ण रूप से विकसित है, और प्लेटफ़ॉर्म की लागत प्रति NVLink-संबंधित प्रशिक्षण क्षमता बहुत कम है। फाइन-ट्यूनिंग, मध्यम स्केल प्रशिक्षण, अनुसंधान क्लस्टर, विश्वविद्यालय प्रयोगशालाएँ, और अनुमान के बेड़े के लिए, आठ NVSwitch-संबंधित A100 अक्सर छोटे आकार के नवीनतम GPUs से बेहतर रहते हैं। पहले से ही A100 इंफ्रास्ट्रक्चर चलाने वाली टीमें भी फ्लीट स्थिरता प्राप्त करती हैं: समान ड्राइवर, समान कंटेनर्स, समान संचालन पुस्तिका। यह कहाँ है MillionMiner की सूची में। SYS-741GE-TNRT लचीले 1-से-4 PCIe GPU बिल्ड को कवर करता है। यह मशीन Ampere अर्थशास्त्र में सच्चे 8-तरफ़ा NVSwitch प्रशिक्षण को कवर करता है। HGX H100 और H200 प्लेटफ़ॉर्म ऊपर के स्तर को कवर करते हैं, और DGX GB200 सीमा को। चूंकि GPU शक्ति वर्ग, CPU विकल्प, मेमोरी, संग्रहण, और नेटवर्किंग निर्माण को परिवर्तित करते हैं, इसलिए हर AS-4124GO-NART+ ऑर्डर के अनुसार कॉन्फ़िगर किया जाता है: अपने कार्यभार को MillionMiner के साथ साझा करें, एक विशेषज्ञ से पुष्टि करें, और सिस्टम परीक्षण के बाद, सीमा शुल्क संभाला गया, रैक के लिए तैयार।

अधिक पढ़ें Show Less