据华为昇腾计算营业总裁张迪煊介绍,Atlas 350的单卡算力达到了英伟达H20的2.87倍,是今朝国内独一支撑FP4低精度的推理产品。

此外,该芯片的HBM(高带宽内存)容量是H20的1.16倍,达到了112GB,多模态生成速度可以晋升60%;内存拜访颗粒度从512字节削减到128字节,小算子访存效力晋升4倍。
在大年夜会展厅Atlas 350展台,华为颁布的参数是:Atlas 350的FP4精度算力为1.56P,带宽达到了1.4TB/s;功耗为600W,是H20的1.5倍。
Atlas 350除了支撑FP16、FP8外,还支撑更低精度的FP4。这意味着,集成Atlas 350板块的办事器可以或许支撑更大年夜的模型以及时延更低的推理,精度小了,计算速度就会更快,存放器效力业会更高。
华为昇腾计算营业总裁张迪煊表示,基于Atlas 350等产品,结合AI成长趋势与客户需求,昇腾将打造大年夜、中、小三大年夜核默算力场景,助力伙伴知足差别化场景需求,合营深耕行业智能化。


发表评论 取消回复