推理计算已成为行业激烈竞争的核心。竞争敌手谷歌和亚马逊均已推出芯片，与英伟达旗舰产品对抗。同时，科技行业自立编码技巧的爆发式增长，催生了对能更高效处理复杂AI义务的新型芯片的需求。
部分知恋人士称，OpenAI已赞成成为这款新处理器的最大年夜客户之一，对英伟达而言是重大年夜成功。这家ChatGPT开辟者本就是英伟达的核心客户，以前数月一向在寻找英伟达芯片的更高效替代筹划，并于上月与一家芯片始创公司签约，新增了供给选择。
英伟达在设计与发卖GPU（图形处理器）范畴占据主导地位，这类处理器可同时履行数十亿项简单义务。但自AI高潮鼓起以来，英伟达初次面对其旗舰产品的机能瓶颈。跟着市场向推理偏向转移，部分客户正施压英伟达，请求推出能更高效支撑AI应用的芯片。
英伟达旗下高机能的Hopper、Blackwell及Rubin系列GPU，被业内公认为练习超大年夜范围AI模型的顶级产品，订价昂扬。多半分析师估计，英伟达掌控着90%以上的GPU市场份额。
上周五早些时刻，OpenAI在宣布将向英伟达大年夜范围采购专用推理算力时，已间接说起这款新处理器，与此同时英伟达还对其进行了300亿美元投资。OpenAI同时也与亚马逊签订重大年夜新协定，应用其Trainium芯片。
英伟达首席履行官黄仁勋经久传播鼓吹，英伟达GPU在练习和推理两大年夜场景均为市场领先，这种通用性是产品的核心吸引力。
很多开辟和运营AI智能体的企业发明，GPU成本过高、功耗过大年夜，且并不完全适配模型实际运行需求。跟着智能体AI快速崛起，英伟达面对巨大年夜压力，亟需研发成本更低、能效更高的推理芯片。
上月，OpenAI与Cerebras杀青数十亿美元的计算合作。Cerebras主打推理芯片，其首席履行官安德鲁·费尔德曼称，该芯片速度快于英伟达GPU。据此前报道，早在客岁秋天，OpenAI工程师就提出须要更快的推理芯片用于智能体编码应用，公司随即与Cerebras展开会谈。
另据报道，英伟达于去岁尾赞成以200亿美元获得Groq关键技巧授权，并引进其核心治理团队，包含开创人乔纳森·罗斯，这是硅谷史上范围最大年夜的“人才并购”交易之一。
Groq所设计的芯片采取与英伟达截然不合的架构，名为说话处理单位，在推理功能上效力极高。不过截至今朝，英伟达对若何应用Groq技巧仍三缄其口。
以往，英伟达会在高机能数据中间办事器中将自家Vera CPU（中心处理器）与Rubin GPU搭配应用，但部分大年夜客户发明，部分AI智能体义务仅用CPU运行效力更高。
AI推理计算重要分为两大年夜环节：
但以前一年，跟着企业纷纷安排AI智能体等对象，试图颠覆数百个行业并经由过程订阅费获取巨额利润，高端计算需求已从练习转向推理。智能体是可相对自立地代用户完成义务的AI体系。
- 预填充：模型懂得用户提示词的过程
- 解码：模型逐词生成答复的过程
对大年夜型AI模型而言，预填充平日更快，而解码往往尤其迟缓。
编码应用已成为企业AI最重要、最赚钱的应用处景之一，Anthropic的Claude Code被公认为该范畴龙头。但Anthropic重要依附亚马逊云科技和谷歌云旗下团队设计的芯片支撑模型，而非英伟达。
不过，Claude最重要的竞争敌手之一是OpenAI快速增长的Codex对象。知恋人士表示，OpenAI筹划应用英伟达新体系进级Codex。
本月，英伟达宣布扩大年夜与Meta的合作，个中包含史上初次大年夜范围纯CPU安排，用于支撑Meta的告白定向AI智能体。这笔交易提前泄漏了英伟达的计谋：跳出GPU范畴，抢占AI细分市场。
发表评论 取消回复