
这些举措凸显出,用于支撑智能体等商用产品的 AI 推理芯片需求正急剧攀升。英伟达在 3 月的 GTC 大年夜会上宣布了一款旨在晋升推理义务效力的芯片,名为说话处理单位(LPU),该芯片基于英伟达以 200 亿美元从始创公司 Groq 获得授权的技巧打造。
两人还弥补道,谷歌筹划临盆近 200 万颗内存处理单位,不过因为洽商仍处于初期阶段,这一数字可能产生更改。作为比较,摩根士丹利估计谷歌 2027 年将临盆约 600 万颗 TPU。今朝尚不清楚全新 TPU 的设计工作何时完成,以及谷歌筹划的量产范围。该内存处理单位可与现有 TPU 兼容应用。
谷歌此前也曾向美满电子采购过数据中间芯片,但均为现货标准产品;而本次洽商旨在开辟专为谷歌定制的半导体芯片。这一动向再次注解,谷歌欲望摆脱经久以来作为其 TPU 独一设计合作伙伴的博通,实现合作方多元化。
据《信息》(The Information)2023 年报道,谷歌曾推敲将美满电子调换为博通,作为其数据中间内连接办事器与以太网交换机的收集接口芯片供给商。
一位谷歌员工泄漏,谷歌本来就筹划研发新型推理芯片,而在英伟达推出 LPU 后,相干工作进一步加快。美满电子恰是 Groq 第一代 LPU 的芯片设计合作伙伴,这使其具备设计推理芯片的成熟经验。
Funda AI 此前曾报道过谷歌与美满电子就全新 TPU 展开洽商的消息。
谷歌此前已向美满电子采购过 CXL 控制器芯片,据两位谷歌员工介绍,这类芯片用于治理办事器在数据中间间的内存共享。两边过往的合作经历,也让谷歌对美满电子与其结合设计更多新芯片的才能抱有信念。
自 2023 年起,谷歌便试图摆脱对博通的依附,重要原因是博通收费昂扬。博通会对每一颗量产的 TPU 收取费用,跟着 TPU 需求激增,谷歌向博通付出的费用也水涨船高。
两位知恋人士称,谷歌全新的内存处理单位将与 TPU 协同工作,根据算力与内存需求与 TPU 分担 AI 运算义务。两边筹划最快于来岁完成该内存处理单位的设计,随后交付试产。
谷歌今朝的芯片均由台积电临盆,新款芯片将由台积电照样其他厂商代工仍未可知。
多年来,谷歌仅在自稀有据中间内部应用 TPU,支撑搜刮、YouTube 与 Gemini 模型等营业,并仅向谷歌云客户开放应用。这一局面在客岁被打破,谷歌开端向客户出租 TPU 用于非谷歌数据中间,直接挑衅英伟达在 AI 芯片范畴的主导地位。谷歌 TPU 也已博得 Anthropic、元平台(Meta)与苹果等客户的青睐。
专用推理芯片的鼓起,源于 AI 企业陆续推出智能体等更复杂的产品,这类产品所需算力远超聊天机械人等传统 AI 应用。
不过,并非所有推理义务都具有雷同特点。生成答复的部分环节须要大年夜量算力,而另一些环节则受限于芯片在内存中读写数据的速度。针对不合义务应用不合类型的推理芯片,而非仅依附单一处理器完成所有运算,已成为 AI 企业晋升效力、降低成本的关键方法。
例如,OpenAI 近期杀青协定,将向英伟达与 Groq 的竞争敌手 Cerebras 采购跨越 200 亿美元的推理芯片,同时也在应用其他企业的推理芯片。OpenAI 还在与博通结合研发自研推理芯片。
美满电子主营数据中间所用的标准收集、存储与光互联芯片设计,今朝为客户定制芯片的营业范围持续扩大年夜,已成为其增长最快的营业板块。
客岁,谷歌引入台湾企业联发科介入 TPU 芯片的设计与临盆,但博通仍是谷歌核心的芯片设计合作伙伴。本月早些时刻,博通与谷歌签订新协定,将在 2031 年前为谷歌下一代 AI 数据中间计心境柜开辟并供给定制化 TPU 与收集组件,这注解博通在谷歌芯片营业中仍占据核心肠位。

发表评论 取消回复