Nvidia H100 SXM (80GB) GPU ל-AI ו-HPC

קיום H100 SXM נובע מכיוון שאימון AI מבוזר סובל מבעיה בנפח רוחב פס ש-PCIe אינו יכול לפתור. אימון מודל עם 70 מיליארד פרמטרים על פני מספר GPUs דורש שכל GPU יחלוף עדכוני שדרוג גרדיאנט עם כל GPU אחר לאחר כל מעבר קדימה ואחורי. ב-PCIe Gen 5 במהירות 128 GB/s, החלפות השדרוגים הופכות לתנולה מוקדמת לפני שה-GPU מאבדים את יכולת החישוב שלהם. NVLink 4.0 במהירות 900 GB/s לכל GPU (7x PCIe) ו-NVSwitch המחבר את כל 8 ה-GPU ב-nodes במהירות מלאה, מבטלים את התנולה הזו. לכן כל פריסת אימון AI רצינית מריצה SXM, לא PCIe. תכנוני המלא של die GH100. 80 מיליארד טרנזיסטורים ב-TSMC 4nm. 16,896 ליבות CUDA ב-132 SMs (הפעלת ה-die המלאה ב-SXM לעומת 114 SMs ב-PCIe). 528 ליבות Tensor דור רביעי תומכות ב-FP64, TF32, FP16, BF16,… FP8, ו-INT8 עם מנוע ה-transformer. 132 ליבות RT דור שלישי. 80GB HBM3 על נתיב 5,120-סיביות במהירות 3,350 GB/s. מטמון L2 בגודל 50MB. פורמט ה-SXM5 מספק בערך 30 אחוז יותר TFLOPS מאשר גרסת ה-PCIe (67 לעומת 51 TFLOPS FP32) בשל מהירויות שעון גבוהות יותר המאפשרות על ידי תקציב כוח של 700W ותשתית תרמית HGX. תפוקת חישוב בכל רמת דיוק. FP64: 34 TFLOPS (Tensor 67 TFLOPS). FP32: 67 TFLOPS. Tensor TF32: 989 TFLOPS עם דלילות. Tensor FP16/BF16: 1,979 TFLOPS עם דלילות. Tensor FP8: 3,958 TFLOPS עם דלילות. Tensor INT8: 3,958 TOPS עם דלילות. המספר FP8 הוא החשוב ביותר לאימון טרנספורמרים: 3,958 TFLOPS עם ניהול אוטומטי של דיוק באמצעות מנוע ה-Transformer, מה שהופך את ה-H100 SXM לכ-4 פעמים בפריון האימון ביחס ל-A100 SXM במודלי GPT. ארכיטקטורת NVLink ו-NVSwitch. כל H100 SXM מחובר לרקמת NVSwitch באמצעות 18 קישורי NVLink 4.0 המספקים רוחב פס דו-כיווני של 900 GB/s. NVSwitch מספק חיבוריות מכל אל כל: כל GPU יכול לתקשר עם כל GPU אחר באותו נוד במהירות של 900 GB/s מבלי לנתב דרך מעבד או bus PCIe. נוד HGX H100 עם 8-GPU מספק 7.2 TB/s של רוחב פס כולל של NVLink על פני כל ה-GPU. להרחבה מרובת נודים, NVIDIA Quantum-2 NDR InfiniBand במהירות 400 Gb/s לכל יציאה מאריך את הרקמה מעבר לנוד אחד. DGX H100 לעומת HGX H100. DGX H100 הוא המערכת התופסנית של NVIDIA עם 8-GPU ($250,000 עד $400,000 הוגה) הכוללת מעבדים, זיכרון, אחסון, רשת ושכבת תוכנה. HGX H100 הוא מודול לוח-בסיס GPU שהיצרני שרתים (Supermicro, Dell, HPE, Lenovo) משלב במערכות השרת שלהם. שני האירועים משתמשים באותה תצורת GPU של 8x H100 SXM עם NVSwitch. הנתיב HGX מציע גמישות רבה יותר באפשרויות המעבדים, אחסון ורשת. מסגרת קבלת ההחלטות SXM לעומת NVL לעומת PCIe. SXM (מוצר זה): ביצועים מרביים לכל-GPU, סקאלינג ל-NVSwitch של 8-GPU, TDP של 700W, דורש לוח-בסיס HGX, מותאם לאימון מבוזר. NVL (H100 NVL 94GB, רשימת מוצרים נפרדת של MillionMiner): כרטיסי PCIe זוגיים, זיכרון מאוחד של 94GB, מתאים לשרתי תקן, מותאם לסקת גדולות למודלים. PCIe (H100 80GB סטנדרטי): כרטיס בודד של 350W, חריצי שרת תקניים, עלות נמוכה יותר, מוגבל ל-NVLink של 2-GPU, מתאים להסקה בודדת ומידול זעיר. בחרו ב-SXM כאשר הפריון של האימון ויעילות הסקאלינג מרובים-GPU הם בעדיפות. בחרו NVL או PCIe כאשר החשיבות היא יותר באינפרנס או בפשטות תשתית. MIG על ה-H100 SXM יוצר עד 7 מופעי נפרדים בגודל 10GB כל אחד. הדפוסים הנפוצים ביותר בתפוקה של Spheron: 7x 1g.10gb לאינפרנס מרובה שוכנים של מודלים קטנים, או 2x 3g.40gb לשרתים שניים בו זמנית עם מודל 13B. כל מופע MIG מופיע כמכשיר GPU נפרד ל-OS עם בידוד מתוחם בחומרה. חישוב סודי באמצעות סביבה מבוססת אמון (TEE) מגן על נתונים ומשקלי מודלים במהלך עיבוד. זוהי תכונה אבטחת חומרה להגנה על תאימות לפרויקטים AI רגולטוריים בריאותיים (HIPAA), פיננסיים (SOC 2), וממשלתיים (FedRAMP) שבהם אין חשיפה של נתונים למפעיל התשתית. עד TDP של 700W הניתן להגדרה. דורש קירור נוזלי או תכנון קופסת שרת עם אוויר בזרימה גבוהה. קירור אוויר רגיל אינו מספק לפעילות יציבה של 700W. NVIDIA DGX H100 משתמש בקירור נוזלי ישיר. תצורות HGX H100 של Supermicro ו-Lenovo מציעות אופציות של קירור אוויר ונוזלים בהתאם לתקציב התרמי.