GIGABYTE G593-SD2-AAX1 HGX H100 Máy chủ 8-GPU (5U, Dual Xeon)

NVIDIA HGX H100: tám GPU SXM5 mỗi GPU 80GB HBM3, tổng cộng 640GB mỗi nút với băng thông tổng hợp trên 26 TB/giây, mạng lưới NVSwitch đầy đủ với 900 GB/giây mỗi GPU, thông lượng FP8 vượt quá 30 petaFLOPS, và MIG lên đến 56 phiên bản. Về mặt khối lượng công việc: tinh chỉnh hoàn chỉnh trong phạm vi lớp 70B trong một nút, huấn luyện kết hợp theo lô lớn, và mật độ phục vụ sản xuất.

Cùng dòng Gigabyte G593, khác về nhà cung cấp và mô hình cấu hình. SD2 này vận hành với hai Intel Xeon Scalable có AMX và tối đa 8TB DDR5, như một cấu hình cố định và đầy đủ thông số. ZD2 vận hành với hai AMD EPYC có băng thông bộ nhớ 12 kênh, như một hệ thống barebone mà bạn tự cấu hình. Các hệ thống của Intel, các pipeline AMX, và nhu cầu bộ nhớ lớn của nhà cung cấp lớn phù hợp với đây; các hệ thống của AMD và khách hàng tự cấu hình phù hợp với ZD2, và MillionMiner cung cấp báo giá cho cả hai.

Nó là bộ nhớ máy chủ lớn nhất trong các hệ thống H100 của danh mục và nó phục vụ nơi máy chủ thực hiện công việc nặng: tiền xử lý tiêu tốn nhiều bộ nhớ, bộ dữ liệu lớn trong bộ nhớ và kho tính năng, cũng như ảo hóa dày đặc hoặc đa thuê bao cùng với GPU. Quy tắc mà danh mục này áp dụng mọi nơi là bộ nhớ hệ thống bằng hoặc vượt quá pool GPU 640GB; 8TB vượt xa nhiều lần cho các khối lượng công việc cần đến nó.

SXM với NVSwitch. Tám GPU trên bo mạch cơ sở HGX, kết nối với nhau ở tốc độ 900 GB/s trong một lưới đầy đủ, đây là topology huấn luyện ghép nối thực sự nơi tất cả các GPU đồng bộ hóa với băng thông đầy đủ. Các máy chủ PCIe H100, như Lenovo SR675 V3 ở đây, chạy các card một cách độc lập hơn. Đối với huấn luyện phân tán, lưới SXM là điểm; đối với công việc độc lập của GPU, nền tảng PCIe có thể phù hợp hơn.

Hai yếu tố vượt quá dung lượng 8TB. Mở rộng ma trận AMX trên Xeon Scalable tăng tốc công việc tensor phía chủ, tokenization, embeddings, tiền xử lý, các giai đoạn cung cấp dữ liệu cho tám GPU. Và tiêu chuẩn hóa tài sản: các tổ chức trên Intel giữ nguyên công cụ, giấy phép và hình ảnh đã được xác thực. Thế hệ bộ xử lý được đề cập cho đơn vị của quý khách đã được xác nhận trong báo giá.

Tám khu vực nóng rút 2,5 inch Gen5 cho NVMe, SATA hoặc SAS để lưu trữ cục bộ linh hoạt, và mạng 10GbE cơ bản kép thông qua bộ điều khiển Intel X710. Mạng lưới tính toán để clustering được chỉ định theo từng triển khai trong phần mở rộng PCIe Gen5. Cấu hình chính xác sẽ được xác nhận cùng báo giá của quý vị.

Cả ba đều là các nút SXM H100. Dell là máy chủ doanh nghiệp của Intel với quản trị iDRAC; Quanta là sản phẩm ODM quy mô lớn; Gigabyte dẫn đầu về khả năng mở rộng bộ nhớ cho máy chủ đạt 8TB và giá trị của Gigabyte. Người mua dựa trên tài sản thích Dell, người mua dựa trên giá trị ODM thích Quanta, người mua ưu tiên bộ nhớ nhiều và giá trị lựa chọn này, và MillionMiner sẽ quyết định cuối cùng.

Nguồn cung cấp Titanium 3000W dự phòng trong khung máy làm mát bằng không khí 5U, dự phòng trong phạm vi mười kilowatt cho một hệ thống gồm tám GPU đầy đủ và máy chủ. Số lượng PSU chính xác và mức tiêu thụ của cấu hình của Quý vị được xác nhận trong báo giá, và dịch vụ hosting tại các cơ sở của MillionMiner có sẵn cho các nhóm muốn để rack tự quản lý nguồn điện.

Thông qua các adapter mạng PCIe Gen5 được chỉ định theo từng triển khai, mang GPUDirect RDMA để các gradient di chuyển giữa các nút mà không cần thông qua CPU, trên InfiniBand hoặc Ethernet tốc độ cao. MillionMiner tư vấn về kiến trúc chuyển mạch và mạng khi các triển khai vượt quá một nút.

Gửi tải công việc và chi tiết triển khai của quý vị qua mẫu báo giá. Chuyên gia của MillionMiner xác nhận cấu hình, điều khoản bảo hành 3 năm, tiêu chuẩn đủ điều kiện vận chuyển dưới các kiểm soát xuất khẩu của Hoa Kỳ áp dụng cho các bộ tăng tốc Hopper-class, và giao hàng. Mọi hệ thống đều được kiểm tra trước khi gửi và vận chuyển toàn thế giới DDP với các khoản phí đã được xử lý, có thể lưu trữ trong các trung tâm dữ liệu thuộc sở hữu của MillionMiner.