NVIDIA
型号： H200 SXM
请求您的GPU集群报价
告诉我们您的部署需求。我们的AI硬件专家将在24小时内通过电子邮件、WhatsApp或电话回复。
为什么 GPU 通过咨询方式出售
GPU集群用于AI和HPC工作负载，按您的确切需求进行配置——数量、互连拓扑结构、功耗和冷却都影响最终价格。请填写以下表格，我们的专家将在24小时内回复，为您提供量身定制的完整报价。
谢谢！我们的专家将在24小时内为您回复定制报价。
您的GPU订单是如何工作的
提交表单
请告诉我们您的使用案例和数量
获取您的报价
24小时内完成报价
与专家的审查
讨论配置、互连、冷却
部署
硬件已发货并准备运行
真正的
已测试硬件
全球范围内
全球运输
支持
挖矿专家
NVIDIA H200 NVL 141GB Tensor Core GPU。Hopper 架构，配备全球首款 HBM3e 内存：141GB，带宽为 4,800 GB/s，较 H100 SXM 提升了 76% 的 VRAM 和 43% 的带宽。与 H100 采用相同的 Hopper 计算能力：16,896 CUDA 核心，528 个第四代 Tensor 核心，配备 FP8 Transformer 引擎，FP32 性能达 67 TFLOPS，FP8 性能达 3,958 TFLOPS。支持最多 4 个 GPU 的 PCIe 规格，通过 NVLink 桥接。可配置最多 600W TDP。标准服务器机箱的被动空冷。支持 7 个实例的 MIG，每个实例16.5GB。可作为 A100 和 H100 PCIe 架构的即插即用升级方案。
免费报价，24小时内回复。无需销售电话。
Trustpilot 上的评分为 4.7 / 5
已验证的客户评价
超过30,000台矿机交付
自2020年以来，全球发货
全球超5000客户
在50多个国家获得信赖
价格、交货时间和托管选项。我们的销售团队为您提供个性化建议。
价格、交货时间和托管选项。我们的销售团队为您提供个性化建议。
免费报价，24小时内回复。无需销售电话。
Trustpilot 上的评分为 4.7 / 5
已验证的客户评价
超过30,000台矿机交付
自2020年以来，全球发货
全球超5000客户
在50多个国家获得信赖
H200 不是一种新架构。它与 Hopper GH100 芯片相同，采用相同的 CUDA 核心、Tensor 核心和 Transformer 引擎，与 H100 相同。英伟达的调整在于内存子系统：将 HBM3 替换为 HBM3e，容量从 80GB 增加至 141GB，带宽从 3,350 GB/s 提升至 4,800 GB/s。其他规格保持不变。这是一项针对需要内存升级的工作负载的定向改进，特别是当 H100 的 80GB 成为限制时。实际影响主要体现在三个方面，对应实际部署决策。全精度 LL M 推理。一个拥有 70B 参数的模型在 FP16 和 KV 缓存开销下，所需 GPU 内存约为 140GB 到 160GB，具体取决于批处理大小和序列长度。H100 仅有 80GB，若不进行量化至 FP8 或 INT8，将无法容纳此模型，且会降低模型精度。而 H200 NVL 提供 141GB，能够在单个 GPU 上完整运行 70B 参数的 FP16 模型，保持全精度。对于那些量化精度损失不可接受的应用（如医疗 AI、法律文件分析、金融建模），这意味着“可能”变成“生产就绪”。长上下文推理扩展。变换器模型根据上下文窗口长度分配 KV 缓存内存。在 H100 上，处理 128K 令牌上下文窗口的模型可能在序列完成前耗尽 80GB 内存。H200 的 141GB 内存可以将单个 GPU 可处理的最大上下文窗口扩大 76%，在不进行内存溢出的情况下，支持更长的上下文。对于 RAG 流水线、文档处理和具有长对话历史的会话代理，这意味着可以处理更长的上下文，且无需增加基础设施复杂度。多租户密度通过更大的 MIG 分区实现。每个 H200 的 MIG 实例可获得 16.5GB 内存，而 H100 为 10GB。每个实例的 65% 增幅使得每个分区可以支持更大的推理模型。H100 的 10GB MIG 分片支持 3B 到 7B 模型，而 H200 的 16.5GB 分片支持每个分区 7B 到 13B 模型。在单个 H200 GPU 上同时运行七个 7B 模型实例，是一种实用的多租户推理配置。NVL PCIe 规格细节。最多支持在单个服务器中，通过 NVLink 桥连接 4 个GPU。支持至 600W TDP 的风冷（比 H200 SXM 的 700W 高效冷却更便捷）。PCIe 5.0 x16 接口。被动散热器，依靠服务器机箱空气流通散热。兼容运行 A100 PCIe 或 H100 PCIe 卡的相同服务器平台，是一种即插即用的升级方案。联想、Supermicro、戴尔和 HPE 均在其现有服务器系列中注明了 H200 NVL 的兼容性。带宽对于令牌生成速度非常重要。在自回归解码的 LL M 推理中，令牌生成受内存带宽限制：每生成一个新令牌，都需要从 HBM 读取整个模型权重。4,800 GB/s 比 H100 的 3,350 GB/s 更快约 43%，在带宽受限的工作负载中，H200 的生成速度明显优于 H100。RunPod 评测确认，这可以带来大型语言模型推理吞吐量的 1.5 到 1.9 倍提升。H200 NVL 与 H200 SXM 的选择类似于 H100 的阵容。SXM：700W TDP，液冷，HGX 主板，配备 NVSwitch 网络连接 8 个 GPU，带宽每个 900 GB/s，优化用于分布式训练。NVL：最高 600W，气冷，标准 PCIe 服务器，支持最多 4 个 GPU 的 NVLink，优化用于推理和灵活部署。SXM 适用于训练集群，NVL 适用于推理服务器和现有基础设施升级。与 H100 相同的出口管制，受美国对先进 AI 硬件的限制。
H200 NVL 回答了 H100 未能解决的一个具体问题：当 80GB 的显存不足，但又不想转向 Blackwell 定价时会发生什么？在同一 Hopper GH100 芯片上，搭载 4,800 GB/s 带宽的 141GB HBM3e，驱动 H100。相同的 16,896 CUDA 核心。相同的 528 四代 Tensor 核心。相同的 FP8 Transformer 引擎，性能达 3,958 TFLOPS。相同的 MIG、相同的机密计算、相同的 CUDA 软件栈。唯一的变化是内存：容量增加 76%（141GB 对比 80GB），采用更快的 HBM3e 总线，带宽提升 43%（4,800 对比 3,350 GB/s）。这种内存升级带来了三个实际效果。首先，70B 参数模型在 FP16 精度下可以在单个 GPU 上运行，无需量化。80GB 的 H100 需要使用 FP8 或 INT8 量化以支持 70B 模型，但会牺牲一些精度。141GB 的 H200 NVL 能以完整 FP16 精度运行。第二，具有大型 KV 缓存的长上下文推理可以在达到内存限制前扩展得更远。在 H100 上耗尽 80GB 的上下文窗口，在 H200 上仍有 76% 的剩余空间。第三，MIG 实例从每个 10GB 提升至 16.5GB，使每个隔离区在多租户部署中更适合较大的推理模型。NVL 代表支持 NVLink 桥接的 PCIe 规格，可在每台服务器上支持最多 4 个 GPU。兼容最高 600W TDP 的空气冷却。适配目前使用 A100 或 H100 PCIe 卡的标准服务器平台，无需 HGX 底板。这是希望在不更换服务器基础设施的情况下提升 H200 内存容量的运营商的升级路径。
首款配备 HBM3e 内存的 GPU。141GB，带宽为 4.800 GB/s：比 H100 SXM 多出 76% 的显存，内存速度快 43%。相同的 Hopper 计算能力（16,896 CUDA 核心，3,958 TFLOPS FP8 Transformer Engine）。采用 PCIe 规格，可扩展至最多 4-GPU NVLink。可作为 H100 和 A100 PCIe 插槽的替代品。支持7个实例的 MIG，每个实例16.5GB。被动式空气冷却，TDP 可配置至600W。专为 LLM 推理设计，满足模型大小和 KV 缓存需求，单 GPU 超过 80GB。
首款配备 HBM3e 存储的 GPU。带宽为 4,800 GB/s。在单个 GPU 上以全 FP16 精度运行 70B 模型，无需量化。
与H100相同的16,896个CUDA核心和3,958 TFLOPS FP8 Transformer引擎。相同的软件堆栈。仅内存发生了变化。
适用于现有服务器基础架构。最多支持4个GPU，通过NVLink桥接。兼容空气冷却。无需HGX底板。
1,128GB（1.1TB）的HBM3e内存总容量。38,400 GB/s的总带宽。超过32 PetaFLOPS的FP8计算能力。通过NVSwitch结构实现的7,200 GB/s NVLink带宽。DGX H200系统的总功耗约为8,500W。
SXM：700W TDP，需配备HGX主板和液冷系统，NVSwitch连接8个GPU，传输速度每个900 GB/s，约高出18%的吞吐量，优化用于分布式训练。NVL：600W TDP，风冷，标准PCIe服务器，通过NVLink桥接最多4个GPU，无需NVSwitch，优化用于推理。这两款产品共享相同的141GB HBM3e，传输速度为4,800 GB/s，具有相同的Hopper计算能力。
相同的GH100芯片，相同的CUDA核心，相同的Tensor核心，相同的计算TFLOPS。H200将内存从80GB HBM3（3,350 GB/s）升级到141GB HBM3e（4,800 GB/s）。每个节点：1.1TB对比640GB，38,400对比26,800 GB/s。NVIDIA的基准测试显示，在相同批次配置下，Llama2 70B推理吞吐量在H200上几乎是H100的两倍。
在训练过程中使用张量并行的Frontier LLM（70B到175B+参数）。专家混合架构（Mixtral, DeepSeek V3），其中专家路由受益于NVSwitch带宽。长上下文推理，KV缓存耗尽H100的80GB内存。任何内存容量或带宽限制的工作负载。
NVIDIA HGX H200 基板或 DGX H200 系统。每个 GPU 的 TDP 为 700W（8 个 GPU 总共 5,600W），大多数配置需要液冷。HGX 平台由 Supermicro、Dell、HPE 和 Lenovo 提供。DGX H200 是 NVIDIA 的一体化 8-GPU 系统。具有适当电力、冷却和网络基础设施的数据中心设施。
NVSwitch 实现全连接的GPU网状结构。任何GPU都能以900 GB/s的速度与其他GPU通信，无需CPU或PCIe介入。在分布式训练期间，梯度同步在微秒级别完成，确保开销不超过计算时间的10%。没有NVSwitch，使用4个以上GPU时训练效率会显著下降，因为128 GB/s的PCIe无法满足梯度交换的需求。
B200 迁移到 Blackwell 架构，具有更高的计算 TFLOPS、更新的 Tensor Core 代及架构改进。H200 SXM 提供经过验证的 Hopper 生态系统成熟度，拥有稳定的驱动程序、软件堆栈支持以及多年的生产部署文档。对于在经过验证硬件上的即时部署，H200 SXM 是最强的选择。对于下一代性能，Blackwell 是未来平台。
每个实例最多可实现7个硬件隔离实例，容量为16,5GB（相较于H100 SXM的10GB）。每个实例的内存容量增加65%，支持每个MIG分区处理70亿到130亿模型。每个实例都配备专用的CUDA核心、Tensor核心、L2缓存和带有硬件隔离的HBM。
是的。基于硬件的可信执行环境（TEE）在GPU处理过程中保护数据和模型权重。这是医疗保健（HIPAA）、金融（SOC 2）和政府（FedRAMP）等对合规性敏感的AI部署环境中，确保数据隐私在处理期间必不可少的要求。
与H100相同的美国出口管制政策。不适用于中国、香港和澳门。NVIDIA 为有限市场创建了带宽受限的变体。请与MillionMiner确认您的交付目的地是否符合出口资格。
