Nvidia H200 NVL (141GB) AI और HPC GPU

H200 कोई नई आर्किटेक्चर नहीं है। यह वही Hopper GH100 डाई है जो वही CUDA कोर, वही Tensor कोर, और वही Transformer इंजीनिया H100 के समान चला रहा है। NVIDIA ने जो बदलाव किया है वह मेमोरी सबसिस्टम में है: HBM3 को HBM3e से बदला गया है, क्षमता 80GB से बढ़ाकर 141GB कर दी गई है, बैंडविड्थ 3,350 GB/s से बढ़ाकर 4,800 GB/s कर दी गई है। हर अन्य विनिर्देशन समान ही रहता है। यह एक लक्षित मेमोरी उन्नयन है उन कार्यभार के लिए जहाँ H100 की 80GB सीमा बन गई थी। व्यावहारिक प्रभाव तीन श्रेणियों में आता है जो वास्तविक तैनाती निर्णयों से मेल खाते हैं। पूर्ण सटीकता पर LLM इन्फेरेंस। 70B पैरामीटर मॉडल FP16 में KV कैश ओवरहेड के साथ आवश्यक है लगभग 140GB से 160GB GPU मेमोरी, बैच आकार और अनुक्रम लंबाई पर निर्भर करता है। H100 80GB पर इसे फिट नहीं कर सकता बिना FP8 या INT8 में क्वांटाइज़ेशन के, जो मॉडल की सटीकता को कम कर देता है। H200 NVL 141GB FP16 पर 70B को एक ही GPU में फिट कर सकता है, पूरी सटीकता को सुरक्षित रखते हुए। जिन अनुप्रयोगों में क्वांटाइज़ेशन सटीकता हानि अस्वीकार्य है (चिकित्सा AI, कानूनी दस्तावेज विश्लेषण, वित्तीय मॉडलिंग), यह उन दोनों के बीच का फर्क है कि "संभव" और "उत्पादन के लिए तैयार"। लंबे संदर्भ इन्फेरेंस स्केलिंग। ट्रांसफ़ॉर्मर मॉडल KV कैश मेमोरी को संदर्भ विंडो लंबाई के अनुसार आवंटित करते हैं। H100 पर 128K टोकन संदर्भ विंडोज का सेवा देने वाला मॉडल अनुक्रम पूरा होने से पहले 80GB समाप्त कर सकता है। H200 की 141GB अधिकतम संदर्भ विंडो को बढ़ाती है ताकि एक ही GPU पर संभाल सकें लगभग 76 प्रतिशत तक, इससे पहले कि मेमोरी ऑफलोडिंग आवश्यक हो। RAG पाइपलाइनों, दस्तावेज़ प्रसंस्करण, और लंबी संवादात्मक एजेंसियों के साथ, यह सीधे लंबी संदर्भों का संकेत करता है बिना बुनियादी ढांचे की जटिलता के। मल्टी-टेनैंट डेंसिटी अधिक बड़े MIG भागों के माध्यम से। H200 पर प्रत्येक MIG इंस्टांस 16.5GB प्राप्त करता है जबकि H100 पर 10GB। यह 65 प्रतिशत प्रति-इंस्टेंस वृद्धि का अर्थ है कि प्रत्येक विभाजन बड़े इन्फेरेंस मॉडल सेवा कर सकता है। जहां H100 के 10GB MIG स्लाइसेस 3B से 7B मॉडल संभालते हैं, H200 के 16.5GB स्लाइस प्रति विभाजन 7B से 13B मॉडल संभालते हैं। एक ही H200 GPU पर सात समानांतर 7B मॉडल इंस्टांस एक व्यावहारिक मल्टी-टेनैंट इन्फेरेंस कॉन्फ़िगरेशन है। NVL PCIe फॉर्म फैक्टर विवरण। एक सर्वर में NVLink ब्रिज के माध्यम से जुड़े 4 GPUs तक। एयर-कूलिंग के अनुकूल 600W TDP तक कॉन्फ़िगर किया जा सकता है (H200 SXM पर 700W की तुलना में जो तरल शीतलन आवश्यक हैं)। PCIe Gen 5 x16 इंटरफ़ेस। निष्क्रिय हीटसिंक जो सर्वर चेसिस एयरफ्लो पर निर्भर है। A100 PCIe या H100 PCIe कार्ड के साथ चल रहे समान सर्वर प्लेटफ़ॉर्म में फिट होता है, इसे एक ड्रॉप-इन उन्नयन बनाता है। Lenovo, Supermicro, Dell, और HPE सभी मौजूदा सर्वर लाइनों पर H200 NVL अनुकूलता का दस्तावेज़ प्रस्तुत करते हैं। बैंडविड्थ टोकन जेनरेशन गति के लिए महत्वपूर्ण है। ऑटोरेग्रेसिव डिकोडिंग में LLM इन्फेरेंस टोकन जेनरेशन मेमोरी-बैंडविड्थ-सीमित है: प्रत्येक नया टोकन मॉडल वेट्स को HBM से पढ़ने की आवश्यकता करता है। 4,800 GB/s बनाम H100 के 3,350 GB/s पर, H200 बैंडविड्थ-सीमित कार्यभारों पर लगभग 43 प्रतिशत तेज टोकन जेनरेट करता है। RunPod बेंचमार्क इस बात की पुष्टि करते हैं कि यह बड़े भाषा मॉडल पर वास्तविक दुनिया की इन्फेरेंस थ्रूपुट में 1.5x से 1.9x तक वृद्धि करता है। H200 NVL बनाम H200 SXM निर्णय H100 लाइनअप की तरह है। SXM: 700W TDP, तरल शीतलन, HGX बेसबोर्ड, NVSwitch फेब्रिक जो 8 GPUs को 900 GB/s प्रत्येक पर जोड़ता है, वितरित प्रशिक्षण के लिए अनुकूलित। NVL: 600W तक, एयर कूलिंग, मानक PCIe सर्वर, 4-GPU तक NVLink, इन्फेरेंस और लचीले परिनियोजन के लिए अनुकूलित। प्रशिक्षण क्लस्टर्स के लिए SXM। इन्फेरेंस सर्वरों और मौजूदा अवसंरचना उन्नतियों के लिए NVL। H100 के समान निर्यात नियंत्रण। US की उन्नत AI हार्डवेयर पर प्रतिबंधों के अधीन।