万卡集群应用率不足20%，TaaS平台若何破解算力「空转」难题？

当AI家当从模型才能竞争慢慢转向范围化应用竞争，环绕“Token推理效力”进行体系性优化成为行业的核心命题。

“跟着智能体、AI Coding等应用的爆发式增长，Token消费量呈百倍、千倍级跃升，2026年已成为名副其实的‘Token爆发元年’。AI家当的核心存眷核心，正从模型参数范围、模型可用性周全转向稳定、低成本、高质量交付的Token产能。”郑纬平易近院士表示。

但与此同时，国内算力应用率正深陷构造性困境。

“万象”极致弹性技巧，则打通了范围化量产的最后一道壁垒，支撑万亿参数大年夜模型7秒极速拉起、动态设备变革，以及数百节点超大年夜范围EP弹性调剂，为万卡级集群高机能横向扩大筑牢基本。

起首，资本配比严重掉衡，Token生成过度绑定GPU，高端内存、集群SSD、IB互联等昂贵闲置资本应用率不足10%，整机综合应用率不及20%，造成巨额智算成本空耗。

软硬协同样存在短板，硬件算力持续迭代，但软件优化与分布式并行组合稳定性不足，超80%理论算力被浪费，粗放调剂又隐形损耗超50%算力。

面对大年夜量行业痛点，雷峰网("大众,"号：雷峰网)获悉，3月27日2026中关村论坛时代，趋境科技宣布全新一代AI推理平台——趋境ATaaS高效能AI Token临盆办事平台（Approaching.AI Token as a Service），为破解算力投入与Token产出掉衡难题供给了体系性解决筹划。

这一产品落地，也折射出AI基本举措措施家当的演进趋势：行业竞争不再纯真比拼算力范围，而是转向综合衡量Token临盆核心指标，涵盖首包响应时延（TTFT）、Token吞吐效力（TPS）与全域资本应用率等关键维度。

那么，趋境ATaaS经由过程哪些底层技巧优化，破解行业算力应用的构造性抵触？又将若何经由过程生态共建，体系性打通家当割裂痛点？

万亿Token稳态产出、GPU开销直降 90%，TaaS平台重构智算底座

以前两年，行业核心高度集中在基本模型比赛：各家猖狂堆叠参数、冲刺榜单、追逐SOTA机能，模型厂商一度成为本钱追捧的热点。

但跟着家当主线从大年夜模型练习转向范围化落地应用，深层供需掉衡开端显性裸露：小我重度应用“小龙虾”等AI智能体单日Token成本可达千元，办事供给端却深陷吃亏经营，大年夜量智算资本经久低效空转、得不到合理应用。

集群机能翻倍背后：TaaS生态协同「重写」Token经济学

对此，郑纬平易近院士锚定家当趋势，明白了TaaS落地演进的三大年夜核心技巧底座：一是全体系异构协同，经由过程将不合计算义务合理分派至GPU、CPU、内存和SSD，打破算力瓶颈；二是存算协同实现“以存换算”，经由过程前置KV Cache等技巧，大年夜幅降低反复计算量，晋升推理效力；三是面向SLO的智能调剂，精准地将用户营业需求“翻译”为底层资本决定计划。

容身这套底层技巧逻辑，趋境ATaaS平台以极致高效能Token临盆为核心锚点，可承载万级并发AI推理营业，支撑集群实现日均万亿级稳态Token产出落地。

“双仪”虚实同构技巧，依托算子级SLO仿真才能，完成算力资本智能预筹划与动态调优，精准切分异构算力，让万卡级集群硬件综合应用率实现数倍晋升。

作为全球开创的大年夜模型计算逻辑重构技巧，异构推理2.0技巧“六合”深度融合CPU与GPU、国产及非国产异构算力，实现义务智能分流，能将万卡级智算集群运营成本压降20%以上。

以存换算2.0“月饼”，凭借超体量KV Cache缓存技巧，将存储空间拓展百倍至千倍，最高实现90%缓存射中率，直接削减90%的GPU算力开销。

趋境ATaaS平台的宣布为AI基本举措措施的扶植和运营供给了新的思路和行业标准，使每单位算力和能耗投入都可以或许数倍转化为更稳定、更可衡量的Token价值产出，更标记住AI基本举措措施成长核心从纯真的算力范围竞争，转向对Token临盆效力的综合衡量，推动算力基本举措措施从“数据中间”向“Token工厂”周全演进。

TaaS成为调和家当抵触、重构Token临盆效力的核心解法，为行业打通降本、提效、提质的关键通路。

面对国产推理基本举措措施“可用”与“好用”之间的鸿沟，技巧优化之外，生态协同的紧急性正在凸显。

从底层硬件厂商，到模型厂商，再到最切近终端用户的云办事平台，趋境ATaaS平台正慢慢嵌入家当链的每一个关键环节，以生态协同模式发挥聚合效应，推动国产AI推理基本举措措施的成长。

华为昇腾计算营业副总裁、首席产品筹划师叶耀荣表示，趋境与昇腾展开了全方位的技巧和贸易化合作，部分项目中在昇腾AI集群上实现了2倍以上机能晋升。

九源智能计算体系生态结合体副秘书长王豪杰表示，Token时代竞争转向单位成本产出，国产卡面对“生态驱动”困局。九源结合体打造国产智能计算生态，全国产化筹划适配多款GPU、串行代码高效并行的九源范畴编程说话“九齿”、支撑Mooncake推理加快体系、基于国产芯片的高效智能体，并与KTransformers等框架深度联动。

云上算力办事的深度融合同样是破局关键。

并行科技董事长陈健表示，并行MaaS办事获得趋境科技的大年夜力支撑，两边合作将高质量Token的临盆成本大年夜幅优化，并将特定场景下的集群机能晋升50%，合营为智谱、Kimi、MiniMax、DeepSeek等头部大年夜模型客户供给优质办事。

京东云同样与趋境科技杀青合作，两边结合打造推理引擎，推动Mooncake开源生态成长。

基于一系列家当实践，行业各方进一步沉淀形成三大年夜共鸣。

起首，软硬深度协同是释放国产算力潜能的关键，需经由过程体系级优化弥合硬件机能与营业需求之间的鸿沟。

生态同一与标准扶植同样至关重要，打破“百花齐放”带来的适配难题，才能实现范围化应用。

最后，人才培养是家当基本，需经由过程开源社区、技巧比赛等方法，培养兼具理论与工程才能的AI Infra人才。

雷峰网原创文章，未经授权禁止转载。详情见转载须知。