Google第八代TPU首度拆分“练习”与“推理”双芯

此举标记住Google在AI硬件范畴对英伟达提议的新一轮竞争。

当前，AI推理速度正成为大年夜厂博弈的核心疆场。本年3月，英伟达大年夜力宣传了即将推出的一款新芯片，该芯片可以或许让模型快速响应用户提问，而这重要归功于英伟达在斥资200亿美元收购芯片始创公司Groq的交易中所获得的技巧。在此背景下，尽管Google仍是英伟达的重要客户，但其正经由过程向云办事企业供给TPU，构建替代性的算力筹划。

事实上，科技巨擘亲自下场造芯、谋求算力自立已成行业共鸣。经由过程底层架构的深度定制，企业可以或许最大年夜化特定应用处景的运行效力。从苹果多年来在iPhone中集成的神经收集引擎(Neural Engine)，到微软本年1月迭代的第二代AI芯片，再到Meta近期被曝出正与博通(Broadcom)联手研发多款AI处理器，无一不印证了这一趋势。

投资银行D.A. Davidson分析师在客岁9月的一份申报中预估，GoogleTPU营业与DeepMindAI部分的归并估值约为9000亿美元。

在这场“造芯活动”中，Google堪称前驱。该公司于2015年开端安排自研AI处理器，并自2018年起经由过程云平台向外部客户供给算力办事。作为比较，亚马逊AWS于2018年和2020年分别推出了专用于推理的Inferentia芯片与专用于练习的Trainium处理器。

今朝，英伟达在AI算力市场仍占据绝对主导权。Google在此次宣布中未直接对标英伟达的同类产品，但披露了自身的机能迭代数据：在一致成本下，新款练习芯片的机能是客岁11月宣布的第七代TPU(代号Ironwood)的2.8倍，新款推理芯片的机能则晋升了80%。

值得留意的是，在技巧路线上，业界正不约而同地押注静态随机存取存储器(SRAM)。无论是英伟达即将推出的Groq 3 LPU，照样本月刚提交IPO申请的AI芯片独角兽Cerebras，均重度依附该技巧。Google此次推出的新款推理芯片TPU 8i也紧跟这一趋势，其单颗芯片的SRAM容量高达384MB，是上一代Ironwood的三倍之多。

“为什么要走向算力专属化？”Google高等副总裁兼AI与基本举措措施首席技巧官阿明·瓦达特(AminVahdat)在一篇官方博文中表示，“跟着AI智能体的鼓起，我们认定针对练习和推理需求分别供给专门优化的芯片，将使全部技巧生态受益。”

Alphabet首席履行官桑达尔·皮查伊(Sundar Pichai)在博文中指出，新架构的设计目标在于“供给宏大年夜的吞吐量(Throughput)与低延迟(Latency)，从而以极高的成本效益支撑数百万个AI智能体并发运行”。

终端应用方面，Google披露其AI芯片的贸易化落地正在扩大年夜。个中，做市商城堡证券(Citadel Securities)已基于TPU开辟量化研究软件；美国能源手部属的17个国度实验室正周全安排基于该芯片的“AI协同科学家”(Co-scientist)体系。此外，AI始创公司Anthropic已承诺调用范围达数吉瓦(Gigawatts)的Google TPU算力资本。