Nvidia H200 NVL (141GB) AI और HPC GPU

H200 कोई नई वास्तुकला नहीं है। यह वही Hopper GH100 डाइस है जो वही CUDA कोर, वही Tensor कोर, और वही Transformer इंजन चला रहा है जैसे H100। NVIDIA ने जो बदला है वह मेमोरी सबसिस्टम है: HBM3 की जगह HBM3e ने ले ली है, क्षमता 80GB से बढ़ाकर 141GB कर दी गई है, बैंडविड्थ 3,350 GB/s से बढ़ाकर 4,800 GB/s कर दी गई है। हर अन्य विनिर्देश समान ही बना रहता है। यह मेमोरी अपग्रेड उन कार्यभार के लिए लक्षित है जहाँ H100 की 80GB सीमा बन जाती है। व्यावहारिक प्रभाव तीन श्रेणियों में आता है जो वास्तविक तैनाती निर्णयों से मेल खाते हैं। पूर्ण सटीकता पर LLM inference। 70B पैरामीटर मॉडल FP16 में KV cache Overhead के साथ, बैच साइज़ और अनुक्रम लंबाई पर निर्भर कर लगभग 140GB से 160GB GPU मेमोरी की आवश्यकता होती है। H100… 80GB में इसे फिट नहीं कर सकता है बिना FP8 या INT8 में क्वांटाइजेशन के, जो मॉडल की सटीकता को कम करता है। H200 NVL 141GB में 70B को FP16 पर एक ही GPU में फिट कर लेता है, जिससे पूरी सटीकता बनी रहती है। उन अनुप्रयोगों में जहाँ क्वांटाइजेशन सटीकता का नुकसान अस्वीकार्य है (मेडिकल AI, कानूनी दस्तावेज विश्लेषण, वित्तीय मॉडलिंग), यह "संभव" और "उत्पादन के लिए तैयार" के बीच का फर्क है। लंबी संदर्भ अनुक्रम स्केलिंग। Transformer मॉडल KV cache मेमोरी को संदर्भ कटि की लंबाई के अनुसार आबंटित करते हैं। H100 पर 128K टोकन संदर्भ खिड़कियों को सेवा देने वाला मॉडल अनुक्रम समाप्त होने से पहले 80GB का उपयोग कर सकता है। H200 का 141GB अधिकतम संदर्भ खिड़की को 76 प्रतिशत तक बढ़ा देता है जिसे एक GPU संभाल सकता है, इससे पहले कि मेमोरी ऑफलोडिंग आवश्यक हो। RAG पाइपलाइनों, दस्तावेज़ प्रसंस्करण, और लंबी संवादात्मक कथाओं वाले संवाद एजेंटों के लिए, यह अनावश्यक बुनियादी ढांचे की जटिलता के बिना लंबी संदर्भों में सीधे अनुवाद करता है। मल्टी-टेनेंट घनत्व बड़े MIG खंडों के माध्यम से। H200 पर प्रत्येक MIG इंस्टेंस 16.5GB प्राप्त करता है बनाम H100 पर 10GB। यह 65 प्रतिशत प्रति-इंस्टेंस वृद्धि का अर्थ है कि प्रत्येक खंड बड़े inference मॉडल सेवा कर सकता है। जहाँ H100 के 10GB MIG स्लाइसेस 3B से 7B मॉडल संभाल सकते हैं, H200 के 16.5GB स्लाइसेस प्रति खंड 7B से 13B मॉडल संभालती हैं। एक ही H200 GPU पर सात समवर्ती 7B मॉडल इंस्टैंसेस व्यावहारिक मल्टी-टेनेंट inference कॉन्फ़िगरेशन हैं। NVL PCIe फॉर्म फैक्टर विवरण। एक सर्वर में NVLink ब्रिज के माध्यम से जुड़ी अधिकतम 4 GPUs। एयर-कूलिंग सह-Compatible up to 600W TDP, जो कि H200 SXM की तुलना में कम है (जिसके लिए लिक्विड कूलिंग आवश्यक है)। PCIe Gen 5 x16 इंटरफेस। पैसिव हीटसिंक जो सर्वर चेसिस के वायु प्रवाह की आवश्यकता है। वही सर्वर प्लेटफार्मों पर फिट होता है जो A100 PCIe या H100 PCIe कार्ड चलाते हैं, जिससे यह एक आसान अपग्रेड बन जाता है। Lenovo, Supermicro, Dell, और HPE सभी मौजूदा सर्वर लाइनों पर H200 NVL अनुकंपा का दस्तावेजीकरण करते हैं। बैंडविड्थ टोकन निर्माण गति के लिए जरूरी है। ऑटोरेग्रेसिव डिकोडिंग में LLM inference टोकन निर्माण मेमोरी-बैंडविड्थ-सीमा वाला है: प्रत्येक नया टोकन पूरे मॉडल को वजन पढ़ने की आवश्यकता है HBM से। 4,800 GB/s बनाम H100 का 3,350 GB/s, H200 बैंडविड्थ-सीमा वाले कार्यभार पर टोकन लगभग 43 प्रतिशत तेजी से उत्पन्न करता है। RunPod मानक यह पुष्टि करते हैं कि यह बड़े भाषा मॉडल पर 1.5x से 1.9x तक वास्तविक निष्कर्षण थ्रूपुट लाभ प्रदान करता है। H200 NVL बनाम H200 SXM निर्णय H100 लाइनअप जैसी ही है। SXM: 700W TDP, लिक्विड कूलिंग, HGX बेसबोर्ड, NVSwitch फेब्रिक 8 GPUs को 900 GB/s प्रत्येक की गति से जोड़ रहा है, जो वितरित प्रशिक्षण के लिए अनुकूल है। NVL: 600W तक, एयर कूलिंग, मानक PCIe सर्वर, 4-GPU तक NVLink, inference और फ्लेक्सिबल deployment के लिए अनुकूलित। प्रशिक्षण क्लस्टरों के लिए SXM। inference सर्वर और मौजूदा अवसंरचना अपग्रेड के लिए NVL। वही निर्यात नियंत्रण जैसे H100 हैं। अमेरिका के उन्नत AI हार्डवेयर पर प्रतिबंधों के अधीन।