摘要（结论要点）
系统级增益（官方对比）：DGX B200（8×Blackwell）相对 DGX H100（8×Hopper）给出训练≈3×、推理≈15×的性能倍数；对比条件为同类 8 GPU 节点级/集群级参考配置。
能效直觉：在“同工作量（同 tokens/样本、同延迟目标）”下，时间压缩 3×/15× 即便节点功率更高（DGX B200 最高约14.3 kW），单位工作量能耗（J/token 或 Wh/百万 token）仍显著下降，推理侧最明显。
关键硬件杠杆：更高代际互联（NVLink Gen5 + NVSwitch 域）、总显存约 1.4 TB/节点（→更大并发与更长上下文、减少重算/通信）、更高有效算力密度。
关键软件杠杆：TensorRT-LLM 的算子融合、Paged-KV、推测解码（Eagle-3 等）与低精度路径（FP8/NVFP4）；官方示例在 8×Blackwell 上把 DeepSeek-R1 低延迟 TPS 从67 → 368（≈5.5×）。
进一步证据：Blackwell 机架/整机方案在公开基准与展示中持续刷新推理吞吐记录（>1,000 TPS/用户）与新一代 NVL 机架的增益（对上代 Blackwell/GB200 亦有显著提升），显示“硬件 + 软件并进”的复合红利。
算术强度与带宽占比：大模型训练/推理多数落在Memory/Comm 受限区间。Blackwell 的三件套同时发力——
显存与容量：DGX B200 节点总 HBM 提升至约 1.4 TB，可用更大 batch / 更长上下文，降低激活重算和跨卡/跨节点搬运的频次与体量。
互联与拓扑：NVLink Gen5 + 新 NVSwitch降低 AllReduce/AllGather/ReduceScatter 与 MoE All-to-All 的通信占比，提升 8-way 机内与更大域扩展效率。
低精度与编解码路径：在 Hopper 已经普及FP8的基础上，Blackwell引入NVFP4，进一步压缩权重/激活与KV-Cache的带宽/容量压力；配合 TensorRT-LLM 的Paged-KV、推测解码等内核优化，显著提升单位瓦特的有效吞吐。
小抄（可复算） KV 显存：KV_RAM ≈ Batch × Seq_len × Layers × Heads × Head_dim × bytes × 2。降低 bytes（FP8/NVFP4）或提升总显存都有直接收益。 单位工作量能耗：E/token ≈ Power_node × Latency_per_token / TPS_node；当 TPS 提升 15× 且延迟（TTL/FTL）不恶化，E/token 近似随之下降一个数量级。b) 方案与架构视角（同规模对比应如何设定）
节点级：以DGX H100（8×H100, NVLink Gen4, 总显存 640 GB）对比DGX B200（8×Blackwell, NVLink Gen5, 总显存≈1.4 TB），保持同400 Gb/s IB/Ethernet外网，考察“机内互联代际 + 显存规模”带来的系统级差异。
集群级：参考 DGX B200 官方性能页的 4,096 节点对比设定（同 400G 网络）；扩展性差异反映到通信占比与有效 MFU曲线。
软件栈：推理采用TensorRT-LLM + Paged-KV + Speculative（Eagle-3/Medusa 类）；训练采用FP8 混精与通信-感知的并行（TP/PP/DP/MoE-EP）。DeepSeek-R1 案例可作为“低延迟场景”基线。
维度
DGX H100（8×H100）
DGX B200（8×Blackwell）
提升与含义
训练性能（系统级）
1×（基线）
≈3×
相同作业完工时间约1/3，训练能耗显著下降。
推理性能（系统级）
1×（基线）
≈15×
相同 QoS 下E/token近似下降到~1/10 级。
总显存（节点）
≈640 GB
≈1,440 GB
支撑长上下文/大并发，降低重算与跨卡搬运。
机内互联
NVLinkGen4
NVLinkGen5+ 新 NVSwitch
降低 AllReduce/AllGather 占比，提升扩展性。
功率上限（节点）
~14.3 kW
（Max）
用于 TCO 上限估算与配电/散热校核。
实证补充
低延迟推理样例：8×Blackwell 上 DeepSeek-R1 由67 TPS → 368 TPS（5.5×），对应低延迟队列下的显著能效增益。
公开记录/展示：单节点 B200 推理>1,000 TPS/用户的展示与NVL72（GB300 Ultra）代际增益新闻，进一步说明 Blackwell 生态的“硬件 + 内核”叠加效应（虽与 H100 不是一一对比，但体现代际趋势）。
定义统一 QoS：固定FTL/TTL、上下文长度（如 8K/32K/128K）与延迟 SLO，以免把吞吐提升误当“能效提升”。
两套基线：
训练：选 70B/405B 等主力模型，FP8 混精，记录MFU/吞吐（samples/s）/能耗（Wh/epoch）。
推理：TensorRT-LLM，打开Paged-KV + Speculative，记录TPS、P99 延迟、E/token。
分解归因：逐一开关NVFP4、Paged-KV、Speculative与并行拓扑/亲和映射，做增量 A/B量化“硬件 vs 软件”的贡献（利于写研报结论）。
敏感性：对序列长度、批量、并发做三维表；能效对“并发×序列”的弹性通常远大于对“裸峰值算力”的弹性。
TCO/ROI：用TCO = CapEx/折旧 + 电费(功率×电价×时长/PUE) + 运维，在利用率 ±20%与电价 ±20%下滚动情景，报告“盈亏平衡利用率”。
e) 风险与权衡（写研报时需提示）
官方倍数的“条件性”：3×/15× 来自指定配置/QoS 的系统级对比；你的实测会随模型、序列、并发、精度与软件版本发生显著漂移。
节点功率与机房配套：DGX B200 最高~14.3 kW；需核对机柜密度、散热与配电（影响可交付性与 PUE）。
软件成熟度：NVFP4与新内核在不同模型上的精度稳定性与可复现性，需要离线精度回归与线上 A/B 验证。
对比口径：市场上常把“NVL72/GB300”与“GB200/H100”混比；请区分同代/异代、节点/机架口径，避免结论外推失真。
欢迎加入科技之光，一起学习进步
热门跟贴