英伟达 GB200 NVL72 机能超出 AMD MI355X 达 28 倍

在最新宣布的 SemiAnalysis InferenceMAX 基准测试中，Signal65 分析了 Deepseek-R1 0528 混淆专家（MoE）模型的推理表示，成果显示英伟达（NVIDIA）的 GB200 NVL72 机架体系在机能上大年夜幅领先于同范围的 AMD Instinct MI355X 集群。

混淆专家模型的特点在于可以或许根据义务类型激活最合适的 “专家” 进行处理，这种设计进步了效力，但在大年夜范围扩大时可能导致节点之间的通信延迟和带宽压力，成为计算瓶颈。

英伟达经由过程 “极致协同设计” 策略，优化了 GB200 NVL72 的架构。该体系经由过程慎密互联 72 颗芯片，并配备高达 30TB 的共享内存，明显晋升了数据传输效力，解决了延迟问题。根据测试数据，GB200 NVL72 在类似设备下的每个 GPU 吞吐量高达 75 tokens / 秒，其机能是 AMD MI355X 的 28 倍。

对于超大年夜范围云计算公司而言，整体拥有成本（TCO）是异常重要的考量指标。Signal65 结合 Oracle 云订价数据指出，GB200 NVL72 不仅机能强劲，成本效益也令人注目。其每 token 的相对成本仅为 AMD 筹划的十五分之一，并且供给了更高的交互速度。

尽管英伟达在混淆专家模型范畴占据主导地位，AMD 仍有其竞争优势。申报指出，AMD 的 MI355X 凭借高容量的 HBM3e 内存，在稠密模型情况中仍然是一个具备竞争力的选项。

今朝，AMD 尚未推出新的机架级解决筹划来应对 GB200 NVL72 的挑衅。然而，跟着 AMD Helios 平台与英伟达 Vera Rubin 平台的竞争逐渐白热化，将来在机架级扩大筹划上的较劲将加倍激烈。