Nvidia H100 SXM (80GB) وحدة معالجة الرسومات الذكاء الاصطناعي والحوسبة عالية الأداء

يوجد نوع H100 SXM لأن التدريب على الذكاء الاصطناعي الموزع يعاني من مشكلة عرض النطاق الترددي التي لا يمكن لـ PCIe حلها. يتطلب تدريب نموذج يحتوي على 70 مليار معلمة عبر عدة وحدات معالجة الرسومات تبادل تحديثات التدرج مع كل وحدة رسومات بعد كل تمريرة أمامية وتمريرة رجعية. عند استخدام PCIe Gen 5 بسرعة 128 جيجابايت/ثانية، تصبح تلك التبادلات للتدرج عنق زجاجة قبل أن تنفد قدرة الحوسبة لدى وحدات المعالجة الرسومية. NVLink 4.0 بسرعة 900 جيجابايت/ثانية لكل وحدة رسومات (7 أضعاف PCIe) و NVSwitch الذي يربط جميع وحدات المعالجة الرسومية الثمانية في عقدة بسرعة كاملة، يقضي على ذلك العنق الزجاجة. لذلك، تعتمد جميع عمليات نشر تدريب الذكاء الاصطناعي الجدية على SXM، وليس PCIe. المواصفات الكاملة لرقاقة GH100. 80 مليار ترانزستور بتقنية TSMC 4nm. 16,896 نواة CUDA عبر 132 وحدة SM (تمكين كامل للرقاقة على SXM مقابل 114 وحدة SM على PCIe). 528 نواة Tensor من الجيل الرابع تدعم FP64، TF32، FP16، BF16، FP8، و INT8 مع محرك Transformer. 132 نواة RT من الجيل الثالث. 80 جيجابايت HBM3 على ناقل عرض 5,120-bit بسرعة 3,350 جيجابايت/ثانية. ذاكرة مخبأة L2 بسعة 50 ميجابايت. يوفر شكل SXM5 حوالي 30 بالمائة زيادة في TFLOPS مقارنةً بنسخة PCIe (67 مقابل 51 TFLOPS FP32) بسبب تردد التشغيل الأعلى الممكن بواسطة ميزانية الطاقة 700W والبنية الحرارية لـ HGX. قوة الحوسبة بكل مستوى دقة. FP64: 34 TFLOPS (67 TFLOPS بدقة Tensor). FP32: 67 TFLOPS. Tensor TF32: 989 TFLOPS مع التخصيص نادرى الاستخدام. Tensor FP16/BF16: 1,979 TFLOPS مع التخصيص نادرى الاستخدام. Tensor FP8: 3,958 TFLOPS مع التخصيص نادرى الاستخدام. Tensor INT8: 3,958 TOPS مع التخصيص نادرى الاستخدام. القيمة الخاصة بـ FP8 مهمة جدًا لتدريب التحويلات: 3,958 TFLOPS مع إدارة الدقة التلقائية عبر محرك Transformer، مما يجعل H100 SXM يوفر حوالي أربع مرات سرعة التدريب لنماذج GPT بالمقارنة مع A100 SXM. هيكل NVLink و NVSwitch. كل وحدة H100 SXM تتصل بنسيج NVSwitch عبر 18 رابط NVLink 4.0 بسرعة 900 جيجابايت/ثانية ذات اتجاهين. يوفر NVSwitch اتصالًا من جميع إلى جميع: يمكن لأي وحدة رسومات التواصل مع أي وحدة أخرى ضمن نفس العقدة بسرعة كاملة 900 جيجابايت/ثانية دون تمرير البيانات عبر وحدة المعالجة المركزية أو ناقل PCIe. تقدم عقدة HGX H100 المكونة من 8 وحدات رسومات 7.2 تيرابايت/ثانية من عرض النطاق الترددي الإجمالي عبر NVLink لجميع الوحدات. للدعم عبر عدة عقد، يمد نسيج InfiniBand من نوع NVIDIA Quantum-2 NDR بسرعة 400 جيجابايت/ثانية لكل منفذ الشبكة، النسيج ليشمل أكثر من عقدة واحدة. مقارنة DGX H100 مع HGX H100. DGX H100 هو نظام جاهز من NVIDIA يتضمن 8 وحدات رسومات SXM بسعر يتراوح بين 250,000 و400,000 دولار، ويشمل المعالجات، والذاكرة، والتخزين، والشبكة، وطبقة البرامج. بينما هو منصة مدمجة من نوع HGX H100، وهو وحدة لوحة أساسية لوحدات خوادم OEM (مثل Supermicro، Dell، HPE، Lenovo) التي تدمجها في منصاتهم الخاصة. كلاهما يستخدم نفس تكوين 8 وحدات H100 SXM مع NVSwitch. يوفر مسار HGX مرونة أكبر فيما يخص خيارات المعالج المركزي، والتخزين، والشبكة. إطار اتخاذ القرار بين SXM و NVL و PCIe. SXM (هذا المنتج): أعلى أداء لكل وحدة، توسع NVSwitch من 8 وحدات رسومات، TDP 700W، يتطلب لوحة HGX، مُحسن للتدريب الموزع. NVL (H100 NVL 94GB، قائمة مميزة لـ MillionMiner): بطاقات PCIe مزدوجة، ذاكرة موحدة 94GB، مناسبة للخوادم القياسية، مُحسنة للاستدلال على نماذج كبيرة. PCIe (H100 قياسية 80GB PCIe): بطاقة واحدة بقدرة 350W، فتحات خادم قياسية، تكلفة أقل، محدودية باثنين من روابط NVLink، مناسبة للاستدلال الفردي وتعديل النماذج بدقة منخفضة. اختر SXM عندما يكون التدفق العالي للتدريب وكفاءة التوسع متعدد الوحدات الرسومية من الأولويات. اختر NVL أو PCIe عند الحاجة إلى استدلال أو تبسيط البنية التحتية. إنشاء مثيلات معزولة حتى 7 على H100 SXM بدقة 10GB لكل منها باستخدام تقنية MIG. أكثر أنماط الإنتاج الشائعة عبر Spheron: 7x 1g.10gb لاستدلال متعدد المستخدمين لنماذج صغيرة، أو 2x 3g.40gb لخادمين لنماذج 13 مليار معلمة في آن واحد. تظهر كل مثيل MIG كجهاز GPU منفصل لنظام التشغيل مع عزل مُطبق على مستوى الأجهزة. الحوسبة الموثوقة عبر بيئة التنفيذ الموثوقة (TEE) توفر حماية للبيانات وأوزان النماذج أثناء المعالجة. وهو ميزة أمان على مستوى الأجهزة لضمان الامتثال في تطبيقات الذكاء الاصطناعي الحساسة، مثل الرعاية الصحية (HIPAA)، والمالية (SOC 2)، والحكومية (FedRAMP) حيث لا يمكن كشف البيانات لمشغل البنية التحتية. قدرة TDP قابلة للتكوين حتى 700W. تتطلب تبريد سائل أو تصميم هيكل خادم ذو تدفق عالي للهواء. التبريد الجوي العادي غير كافٍ للعمل المستمر عند 700W. يستخدم نظام NVIDIA DGX H100 التبريد السائل المباشر. كما تقدم تكوينات HGX H100 من Supermicro و Lenovo خيارات تبريد هوائي وسائل حسب الميزانية الحرارية.