क्या H100 NVL एक GPU है या दो?

दो PCIe H100 कार्ड तीन NVLink ब्रिज के माध्यम से जुड़े हुए हैं, जिससे एकीकृत 94GB HBM3 मेमोरी पूल बनता है। यह जोड़ी सॉफ्टवेयर स्टैक के लिए एक एकल पता लगाने योग्य मेमोरी स्थान के रूप में दिखाई देती है। प्रत्येक कार्ड 47GB, कुल 94GB। कृपया MillionMiner से पुष्टि करें कि लिस्टिंग कीमत इसी जोड़ी के लिए है या एकल कार्ड के लिए।

H100 NVL और H100 SXM के बीच मुख्य अंतर उनके इंटरफेस और उपयोग के तरीके में है। H100 NVL (Non-Volatile Memory Express Link) एक अन्य इंटरफेस विकल्प है जो NVLink तकनीक का समर्थन करता है, जिससे उच्च डेटा गति और बेहतर संचार संभव होता है। यह मुख्य रूप से आउटडेटेड या विशिष्ट सेंट्रलाइज़्ड सेटअप के लिए उपयुक्त है। दूसरी ओर, H100 SXM (Server Module Extension) एक प्रीमियम, मॉड्यूलर इंटरफेस है जो हाई-प्रदर्शन सर्वर सिस्टम्स में प्रयोग किया जाता है, जिससे माउंटिंग और अपग्रेड के लिए अधिक सुविधाजनक ढंग से GPU को स्थापित किया जा सकता है। सामान्यतः, H100 SXM ऊर्जा दक्षता, प्रदर्शन, और स्केलेबिलिटी के लिहाज से अधिक अनुकूल है, जबकि H100 NVL अधिकतर विशिष्ट या व्यक्तिगत कॉन्फ़िगरेशन के लिए उपयुक्त है।

NVL: PCIe फॉर्म फैक्टर, प्रति जोड़ी 94GB एकीकृत, मानक सर्वर मदरबोर्ड के लिए उपयुक्त, LLM अनुमान के लिए अनुकूलित। SXM: मेज़ानीन फॉर्म फैक्टर, प्रति कार्ड 80GB, HGX बेसबोर्ड की आवश्यकता होती है, NVSwitch 8 GPUs तक 900 GB/s पर कनेक्ट करता है, मल्टी-GPU प्रशिक्षण के लिए अनुकूलित। NVL सरल अवसंरचना मार्ग है। SXM उच्च प्रदर्शन प्रशिक्षण मार्ग है।

94GB एकीकृत पूल में कौन से मॉडल फिट होते हैं?

FP16 में 70B पैरामीटर मॉडल (KV कैश हेडरूम के साथ लगभग 140GBpair पर). FP16 में 30B से 40B मॉडल बड़े बैच साइज़ के साथ. Llama 3 70B, DeepSeek 67B, और समान अग्रणी ओपन-वेट मॉडल NVL जोड़ी पर बिना क्वांटिफिकेशन के चलते हैं.

ट्रांसफॉर्मर इंजन क्या है?

हावर और नई NVIDIA आर्किटेक्चर के लिए अनूठी हार्डवेयर-स्तर पर स्वचालित मिश्रित-संख्या प्रबंधन। इनफेरेंस और प्रशिक्षण के दौरान प्रत्येक न्यूरल नेटवर्क परत के लिए FP8 या FP16 सटीकता को डायनामिक रूप से चयन करता है, मैनुअल सटीकता ट्यूनिंग के बिना थ्रूपुट को अधिकतम करता है। ट्रांसफॉर्मर मॉडल पर A100 की तुलना में प्रशिक्षण गति में 4 गुना और इनफेरेंस थ्रूपुट में 30 गुना तक की वृद्धि प्रदान करता है।

H100 NVL का समर्थन करने वाले सर्वर प्लेटफ़ॉर्म कौन से हैं?

किसी भी सर्वर में दो सन्निकट PCIe Gen 5 x16 स्लॉट और दोनों कार्डों को spanning करने के लिए तीन NVLink ब्रिजों के लिए भौतिक स्वच्छता होनी चाहिए। सुपरमाइक्रोमाइक्रो, डेल पावरएज, HPE प्रोLiant, लेनोवो थिंकसिस्टम सभी संगतता का दस्तावेज़ करते हैं। AMD EPYC और Intel Xeon Scalable CPU प्लेटफ़ॉर्म समर्थित हैं।

क्या MIG H100 NVL पर काम करता है?

हाँ। प्रत्येक कार्ड पर 7 पूर्ण रूप से पृथक इंस्टेंस तक (कुल मिलाकर 14 जोड़ी में) समर्पित मेमोरी, कैश और कम्प्यूट के साथ। प्रत्येक इंस्टेंस स्वतंत्र रूप से कार्य करता है और सुनिश्चित QoS के साथ।

H100 NVL A100 80GB की तुलना में कैसे है?

H100 NVL जोड़ी: Hopper वास्तुकला, 94GB HBM3 एकीकृत, 3,938 GB/s संयुक्त बैंडविड्थ, FP8 Transformer इंजन, प्रत्येक जोड़ी के लिए 800W। A100 80GB: Ampere, 80GB HBM2e, 1,935 GB/s, कोई FP8 नहीं, 300W। H100 NVL ट्रांसफॉर्मर मॉडल्स के लिए लगभग 2x से 3x अधिक इनफ़ेरेंस टोकन प्रति सेकंड प्रदान करता है। A100 की कीमत प्रति कार्ड काफी कम है।

यह H200 NVL 141GB की तुलना में कैसे है?

उसी Hopper वास्तुकला आधार। H200 NVL को 141GB HBM3e में उन्नत किया गया है (इसके मुकाबले 94GB HBM3) जिसकी उच्च बैंडविड्थ है। 94GB से अधिक मॉडल के लिए, H200 NVL उन्नत विकल्प है। 94GB के अंदर फिट होने वाले मॉडल्स के लिए, H100 NVL मजबूत मूल्य-प्रदर्शन प्रदान करता है।

यह RTX PRO 6000 96GB की तुलना में कैसे होता है?

H100 NVL जोड़ी: 94GB HBM3, 3.938 GB/s बैंडविड्थ, Transformer Engine FP8, MIG 7 इंस्टेंस प्रति कार्ड, सिद्ध डेटा केंद्र पारिस्थितिकी तंत्र। RTX PRO 6000: 96GB GDDR7, 1.792 GB/s, कोई Transformer Engine नहीं, नवीन Blackwell वास्तुकला, 125 TFLOPS FP32। H100 NVL HBM बैंडविड्थ (2.2x) और Transformer Engine इनफेरेंस थ्रूपुट में जीतता है। RTX PRO 6000 FP32 गणना और प्रति कार्ड लागत में जीतता है।

NVIDIA H100 NVL 94GB PCIe Tensor Core GPU

Name: Nvidia H100 NVL (94GB) AI और HPC GPU
Brand: NVIDIA
SKU: MM2026NVDAH100NVL
Price: 26500.00 USD
Availability: InStock

H100 NVL NVIDIA का अपने H100 लाइनअप में 80GB सीमा समस्या का उत्तर है। H100 SXM हर कार्ड पर 80GB प्रदान करता है एक HGX बेसबोर्ड पर, जो प्रशिक्षण के लिए उद्योग-अग्रणी है। लेकिन 70B+ पैरामीटर मॉडल पर FP16 में अनुमान लगाने के लिए (140GB+ मेमोरी फुटप्रिंट), एकल 80GB कार्ड पर्याप्त नहीं है। NVL इसे हल करता है दो PCIe H100 कार्डों को तीन NVLink ब्रिज के माध्यम से जोड़कर एक संयुक्त 94GB HBM3 पूल में, जिसे सॉफ्टवेयर स्टैक एकल मेमोरी स्पेस के रूप में देखता है। प्रति कार्ड संरचना: TSMC 4nm पर GH100 GPU जिसमें 14,592 CUDA कोर (पूरा 144 SM में से 132 सक्षम), 456 चौथी पीढ़ी Tensor Cores जो FP64, TF32, FP16, BF16, FP8, और INT8 प्रिसिजन का समर्थन करते हैं, Transformer Engine के साथ जो अनुकूलतम प्रिसिजन को… डायनामिक रूप से चयनित करता है प्रत्येक पर अनुमान के दौरान। प्रति कार्ड लगभग 47GB HBM3 जिससे करीब 1,979 GB/s बैंडविड्थ। NVLink पेयर पर: 94GB संयुक्त 3,938 GB/s कुल की बैंडविड्थ के साथ, दोनों कार्डों के बीच 600 GB/s द्विदिश NVLink बैंडविड्थ से जुड़े। Transformer Engine H100 की एक मुख्य विशेषता है A100 के मुकाबले। यह स्वचालित रूप से मिश्रित-प्रिसिजन गणना का प्रबंधन करता है FP8 और FP16 के बीच प्रत्येक न्यूरल नेटवर्क पर, जिससे 4x तक प्रशिक्षण थ्रूपुट और 30x अनुमान थ्रूपुट प्राप्त होता है transformer-आधारित मॉडलों पर, तुलना में A100। H100 NVL पेयर पर उत्पादन LLM सेवा 30B से 70B पैरामीटर रेंज में मॉडल्स के लिए A100 80GB परिनियमन की तुलना में प्रति सेकंड 2x से 3x अधिक टोकन डॉलर प्रति पर उत्पन्न करता है। TDP हर कार्ड पर डिफ़ॉल्ट 400W है, PCIe 16-पिन केबल द्वारा 200W से 600W के बीच कन्फिगरेशन का समर्थन करता है। डिफ़ॉल्ट 400W प्रति जोड़ा (800W कुल), NVL पेयर लगभग एक H100 SXM के समान शक्ति खर्च करता है (700W), लेकिन 94GB बनाम 80GB प्रदान करता है PCIe स्लॉट संरचना की सरलता के साथ। MIG क्षमता प्रति कार्ड 7 पूर्ण पृथक उदाहरण बनाती है (कुल 14 दोनों पेयर में) विशेष स्मृति, कैश, और गणना के साथ। मल्टी-टेनेंट अनुमान सेवाओं के लिए यह ग्रैनुलारिटी मूल्यवान है: विभिन्न ग्राहक या मॉडल को पृथक GPU स्लाइस पर सेव करें, गुणवत्ता की सुनिश्चितता के साथ। NVL मानक PCIe सर्वर प्लेटफार्मों में फिट बैठता है। किसी भी सर्वर में दो आसन्न PCIe Gen 5 x16 स्लॉट, NVLink ब्रिज असेंबली के लिए भौतिक स्थान, और 800W संयुक्त пасिव कूलिंग के लिए पर्याप्त वायु प्रवाह हो। Supermicro, Dell PowerEdge, HPE ProLiant, और Lenovo ThinkSystem प्लेटफार्म सभी H100 NVL अनुकूलता का उल्लेख करते हैं। जबकि HGX बेसबोर्ड आवश्यक नहीं है। MillionMiner के अन्य प्रस्तावों की तुलना में। H100 SXM 80GB (अलग सूची): SXM अधिक GPU प्रति-बैंडविड्थ (3,350 GB/s) और NVSwitch कनेक्टिविटी प्रदान करता है मल्टि-GPU प्रशिक्षण के लिए, लेकिन HGX बेसबोर्ड अवसंरचना आवश्यक है। H200 NVL 141GB के मुकाबले: H200 मेमोरी क्षमता को दोगुना करता है नई HBM3e के साथ, जो संचालकों को और अधिक VRAM हेडरूम की आवश्यकता होती है। RTX PRO 6000 96GB ($10,000 से $13,000): RTX PRO 6000 नई Blackwell आर्किटेक्चर प्रदान करता है उच्च FP32 TFLOPS के साथ, लेकिन HBM बैंडविड्थ, Transformer Engine, और Hopper डेटा सेंटर पारिस्थितिकी तंत्र की कमी है।

अधिक पढ़ें Show Less