Google第八代TPU搭配2PB HBM 成功打破被视为AI瓶颈的内存墙

本年的TPU v8初次针对练习及推理做了区分，V8T侧重AI练习，固然Google说也可以做推理，但重要照样练习用的，每个Pod节点堆了9600个V8T芯片，FP4机能达到了121EFlops，内存带宽19.2TB/s，芯片内部带宽400GB/s，几乎都是2-4倍的变更。

V8i重要面向AI推理负载，规格上要降不少，每个节点只有1152个V8i芯片，算力降低到了11.6EFlops，内存带宽19.2TB/s没变。

然则对通俗人来说，Google此次上2PB HBM内存可不是什么好现象，因为这意味着AI对内存的需求还在涨，要知道HBM内存平日要比惯例的DDR内存多消费2-4倍的DRAM芯片产能，HBM用量越多，挤占的DDR内存产能就越多。

值得留意的是，内存容量此次猛增了不少，V8i也达到331.8TB HBM内存，V8T更是夸大到了2PB HBM内存，每个V8T芯片配备了216GB HBM内存。

Google此次的设计理念是为了打破AI瓶颈的内存墙，2PB HBM不止是总容量超大年夜那么简单，是在一个节点内作为单一全局地址应用，而NVIDIA的GPU此前固然也能经由过程NVLink等技巧堆出PB级的HBM内存，但连接也绕不过传统的数据中间收集，这会有机能及延迟瓶颈问题。

RobustCloud首席参谋Larry Carvalho表示，打破“内存墙”标记住Google在AI芯片范畴的潜在重大年夜竞争改变。

即便需求高涨，三星、SK海力士、美光等公司也会优先包管HBM需求，但他们此前明白了不会大年夜幅晋升芯片产能，显然内存芯片的紧缺状况还会更严重，价格是别指望快速降回来了。