NVIDIA DGX Spark支撑4台集群组网!机能线性飙升

DGX Spark现已支撑多种运行拓扑构造,都依托ConnectX-7网卡供给的低延迟RoCE通信,针对不合目标做了专门优化:

单节点:

合适低延迟、大年夜高低文长度推理,可推理最高2000亿参数模型、微调最高1200亿参数模型,以及本地智能体类工作负载。

双节点:

均衡扩大,可更快完成微调、支撑更大年夜模型,可支撑最高4000亿参数模型的推理。

可作为本地推理办事器,完美支撑最高7000亿参数的前沿大年夜模型、通信密集型工作负载,以及本地AI工厂运营。

合适更大年夜模型微调或小型练习义务。

四节点(搭配RoCE 200GbE交换机):

NVIDIA号称,DGX Spark多台并行,可以实现接近线性的机能扩大晋升,并且不须要像传统机架式办事器安排那样的复杂设备。

比如Isaac Lab强化进修惯能,单节点机能630FPS,双节点翻番至1241FPS,四节点再次翻番至2520FPS,而延迟根本不变。

再比如Nanochat微调的机能,单节点Token输出速度为每秒约1.84万,双节点翻番至3.59万,四节点再次翻番至7.46万。

同时,NVIDIA还推出了全新的NVIDIA NemoClaw开源技巧栈,DGX Spark可供给全栈平台,支撑在本地构建、运行经久自立运行的AI智能体,后续也能无缝扩大至AI工厂等数据中间基本举措措施。

此外,DGX Spark还即将迎来新的软件版本,可进一步晋升编排与治理才能,加快从原型到临盆的迭代。

今朝,金融、医疗、能源、通信等浩瀚行业机构均已安排DGX Spark。

可以说,DGX Spark的此次重磅进级,再次彰显了NVIDIA在AI硬件架构与技巧生态的双重领先地位。

从单设备到集群安排,从本地开辟到企业级落地,NVIDIA再次以遥遥领先的技巧与前瞻性的构造,定义了桌面级AI基本举措措施的新标杆,巩固了在全球AI算力范畴的绝对领先优势。

三节点(环形拓扑):

从双节点到四节点,企业用户将来可以或许更高效地应用DGX Spark的算力优势,实现AI营业的快速落地,推动AI智能体的广泛落地。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部