OpenAI 与英伟达之间本来正在推动一项体量高达约 1000 亿美元的投资与供货安排：英伟达筹划以投资换取 OpenAI 股权，同时将来数年为其供给大年夜范围先辈芯片资本。 这笔被外界视为“板上钉钉”的交易本来估计很快敲定，但如今会谈已迁延数月，一方面是因为 OpenAI 与 AMD 等厂商签订了新的 GPU 采购或合作协定，另一方面则是其产品路线图变更影响了对计算资本类型和比例的需求。
报道指出，尽管英伟达依然在大年夜模型练习用 GPU 范畴占据主导地位，但 OpenAI 的计谋重心正在向推理阶段倾斜，也就是模型向终端用户输出谜底的那一部分运算。 在这一环节，延迟和吞吐表示直接关系到用户体验和成本构造，是以 OpenAI 欲望部分工作负载能转移到更合适高带宽、低延迟推理场景的新型芯片上。
在公开表态上，两边仍尽力保持合作关系的积极形象。 英伟达 CEO 黄仁勋近日否定与 OpenAI 存在重要关系，称有关不和的说法“美满是胡说”，强调公司仍筹划对 OpenAI 进行大年夜范围投资；英伟达对外表示，客户之所以在推理工作负载上持续选择其产品，是因为其在机能与总体拥有成本方面仍具优势。 OpenAI 谈话人也称，公司在推理集群方面“绝大年夜部分”仍依附英伟达，认为后者在推理机能和性价比上仍处于领先地位。
不过，接近内部情况的多名消息人士泄漏，OpenAI 对英伟达硬件在特定类别推理义务上的速度并不知足，认为其在代码生成等产品上的体验受到限制。 为此，OpenAI 正筹划引入可以知足大年夜约一成将来推理算力需求的新型硬件，以作为现有 GPU 集群的弥补。 在这过程中，公司曾与包含 Cerebras 和 Groq 在内的始创企业商谈合作，欲望应用它们在推理加快方面的特长。
技巧层面上，OpenAI 存眷的是在同一块芯片中尽可能集成更多片上静态存储（SRAM）的架构。 这类设计可以明显缩短计算单位拜访参数和中心数据的路径，从而晋升聊天机械人和其他 AI 体系在处理海量请求时的响应速度。 比拟之下，英伟达和 AMD 的传统 GPU 依附外置显存，这在推理阶段会增长访存延迟，使得芯片在大年夜量时光里处于“等数据”的状况。
这种瓶颈在 OpenAI 内部最直不雅地涌如今针对法度榜样员的编程产品上。 公司内部有人将部分体验短板归因于基于 GPU 的硬件架构，认为要知足专业用户对速度的高度敏感，就必须寻找具有构造性优势的推理芯片。 CEO 山姆·奥特曼在 1 月底与媒体沟通时也表示，企业用户在应用代码类模型时会对速度“付与极高权重”，而通俗聊天机械人用户对响应速度的容忍度相对更高。
为了进步推理速度，OpenAI 比来与 Cerebras 杀青了合作，由后者为其供给新一代计算平台，这被视为知足高端客户低延迟需求的重要一环。 同时，业内人士指出，竞争敌手如 Anthropic 的 Claude 和Google的 Gemini 在安排上更多依附Google自研的张量处理单位（TPU），这类专用芯片在推理和复杂揣摸义务上相较通用 GPU 具备必定机能优势，也加大年夜了英伟达在新一轮 AI 硬件比赛中的压力。
面对客户需求变更与新竞争态势，英伟达也在主动出击，接触了一批专注高带宽 SRAM 架构的芯片公司，包含 Cerebras 和 Groq，商量收购或深度合作的可能。 Cerebras 最终拒绝了被收购的选项，而是与 OpenAI 签下贸易协定；Groq 则一度与 OpenAI 商谈供给算力办事，并吸引到投资者以约 140 亿美元估值注资的兴趣。
不过，客岁 12 月，英伟达以约 200 亿美元的对价杀青了对 Groq 技巧的非独家授权交易，并陆续从 Groq 挖走芯片设计团队。 在这桩交易后，Groq 的营业重心转向云端软件发卖，而英伟达则将其视为对自家产品路线图的重要弥补，以便在快速演变的 AI 行业中弥补推理加快技巧上的短板。
发表评论 取消回复