这意味着，为了养一个数字分身，光调用API的开销就已占据每人月可安排收入的约10%。
想让大年夜模型替本身卖命，一查Token账单，却有一种“更生之我为大年夜模型公司打工”的错觉。
如许的案例，已经开端在不少企业内部上演。
尽管以前一年里，每百万Token的推理成本大年夜约降低了75%，但成本降低的曲线远远比不过消费量增长的斜率。
全球最大年夜的大年夜模型API聚合平台OpenRouter统计数据显示，截至2026年3月，其年化Token吞吐量出现10倍增长。
与此同时，本钱市场也用脚投票——Anthropic年化收入在短短三个月里冲破300亿美元大年夜关，增幅约为233%……
面对Token消费量至少翻了一个数量级的实际，“如安在高效应用Token的同时有效控制成本”的问题随之而来。为此，雷峰网邀请3位来自家当链不合环节的一线大年夜佬合营解读Token膨胀背后的效力账本：
尚明栋：九章云极结合开创人兼COO ，原微软办事器高可用集群文件体系核心开辟工程师，曾介入宣布Windows 7和Windows 8，是SMB 3.0的重要拟草人之一。
肖嵘：云天励飞副总裁、首席科学家、正高等工程师，历任微软研究院高等研究员、微软必应搜刮资深软件工程师、平安产险人工智能部总经理等。
关涛：云器科技结合开创人、CTO，分布式体系和大年夜数据平台范畴专家，曾任职于微软云计算和企业事业部，历任阿里云计算平台事业部研究员、阿里巴巴通用计算平台MaxCompute和Dataworks负责人、阿里巴巴和蚂蚁集团技巧委员管帐算平台范畴组长、阿里云架构组大年夜数据组组长。
在这场圆桌评论辩论中，身处家当一线的大年夜佬们杀青共鸣：在Agent介入临盆环节的元年，成本临时不是企业账单的第一位，真正值得存眷的是——花在AI上的每一分钱，是否换来了足够分量的营业价值？
顺着这个共鸣追问，一个更实际的问题浮出水面：若何进步Token应用的性价比，让花在AI上的钱更好变现为营业价值？这恰是本场评论辩论的核心肠点。（关于Token消费与成本优化，作者持续追踪。迎接添加作者微信 Evelynn7778 交换你地点企业的Token账单故事。）
Token消费杀手：
路径缺点、长高低文、模型超配
若何把AI接入工作流，已是当前很多企业都在关怀的问题，然而，这背后有很多陷阱。
起首，高消费未必等于高价值。
当前的AI，并不克不及完全像人类一样基于情况的及时状况做出最快的选择。获得成果看似与人工雷同，但AI在不经意间消费的Token量却可能令人咋舌。
尚明栋举例，同样面对“缺乏治理员权限”等惯例运维场景，码农简单输入类似sudo（Linux/Mac体系顶用于临时获取治理员权限的指令）的敕令就可以立时进入下一步。
但大年夜模型却易出现路径冗余、筹划绕远的问题，例如采取从新编译源码的复杂方法绕过简单权限限制，造成大年夜量无效Token消费。
关涛曾经碰到一位客户在对话窗口里，请求大年夜模型直接浏览一份一万行的拜访日记并进行数据统计。他指出，这种做法不仅效力低，并且获得的成果极轻易掉足。
因为大年夜模型的本质是概率猜测，数学运算是其弱点。
面对这类计算义务，选择直接在对话窗口输入文本，相当于只让AI做文字浏览懂得；只有经由过程上传文件的方法，才能调用Python等专业对象，实现真正有效的数据分析。
有时，为了彰显大年夜模型的才能，客户会事无大小地调用最高机能的大年夜模型，但这是否有须要？
尚明栋的答复是否定的，因为简单的义务交由机能一般的模型也能完成。肖嵘认为，可以将不合机能的大年夜模型比作不合才能的学生。复杂义务可让才能更强的大年夜学生拆解后交由中小学生来完成。后者假如在履行时碰到艰苦或经多次测验测验后仍无法交差，大年夜学生再介入指导和兜底。
为了义务分派能相符学情，关涛还按照性价比与稳定性两个维度，进一步将不合场景划分为四个象限：
SQL代码迁徙等低性价比、高稳定性的场景不合适大年夜模型直接下场，应当应用大年夜模型搭建专门的解决对象；AI Coding等高性价比、低稳定性场景，鼓励应用最好的模型，以效力换取价值；而“双低”场景不宜强行用AI替代；“双高”场景建议先用最好的模型把场景跑通，验证后果后再慢慢切换至性价比更优的模型。
但关涛也坦言，当前每家大年夜模型的迭代周期根本紧缩至三个月，模型的才能和性价比是以变得难以猜测。对此，云器科技经由过程内部打造的可不雅测体系，追踪每个模型的调用成功率、Token消费状况、Tool Calling才能等指标，赞助用户找最合适特定场景的那一款模型。
此外，对长高低文的寻求，也是很多用户应用机能强大年夜的模型的根来源基本因之一。但尚明栋指出，一旦内容过度聚积，反而导致大年夜模型在处理新义务时赓续反复回想此前的对话内容，造成Token的浪费。
关涛弥补道，假如每次对话都携带大年夜量汗青，尤其高低文内容还被反复修改时，会导致缓存掉效，对推理成本和响应机能来说都是巨大年夜损耗。
对此，他给出了一个简单却有效的原则：确保高低文内容是环绕同一义务的，如许才更相符模型最初始的设定，且不仅能晋升响应速度，还能增长射中缓存的概率——而办事商针对后者所收取的输入Token费用，一般会比标准单价低。
此外，尚明栋的团队实测数据显示，仅经由过程缓存机制这一项，就能避免至少10%的反复计算。当前行业内也已经实现这种“外挂”，例如通义千问3.5等新一代模型，已在架构层面自带KV Cache紧缩机制。
关涛：我举三个可避免Token浪费的例子：
降本的三个技巧瘦语：
低精度、稀少架构、数据升维
当用户可以或许保持高效的应用习惯，Token账单的压力，便传导到技巧层面。
从算力供给方的角度，尚明栋回想，客岁上半年自家发卖团队还在四处兜售算力，到了本年就已经开端抱怨“无算力可卖”。供给的缺乏和需求的大年夜幅上升，倒逼算力供给方优化技巧。
具体到模型架构层面，办法之一，是尚明栋提到的MoE（混淆专家）设计：当万亿参数范围的超大年夜模型内置这种架构时，每次推理实际只需触发2至3个专家模型，这相当于只调用了二十分之一的参数范围即可完成义务。
此外，肖嵘还提到DeepSeek下一代旗舰模型V4可实现记忆剥离的核心架构之一Engram。
这一立异设计供给了一种扩大模型范围的全新思路，将大年夜模型的参数拆分为传统大年夜模型收集的参数（例如Transformer参数、嵌入层参数）和存储“常识”的参数。前者参数范围的增大年夜会明显增长计算的开销，后者则无影响。
来到硬件底层，肖嵘以英伟达Blackwell架构B300为例，指出了一个关键趋势：业界越来越偏向于应用低精度计算。一个明显的指标比较是，FP4比FP8的算力吞吐量进步了约3倍。
但肖嵘也提示，低精度计算并非“免费的午餐”——它会引入量化和反量化等一系列额外操作。假如没有硬件层面的专门加快支撑，实际收益会大年夜打扣头。
另一方面，Agent技巧的普及对大年夜模型的推理延迟提出极高请求。肖嵘指出，当前大年夜模型推理很难做到极高TPS（Token每秒处理速度）的根来源基本因在于：推理过程中须要高频拜访大年夜范围模型参数以及 KV Cache，这对内存带宽造成巨大年夜压力。
以Meta的LLaMA 70B为例，假设模型参数以FP16情势存储在HBM中，经粗略估算，在1000 TPS场景下，仅模型参数从HBM向计算核心供数所对应的带宽需求就可达到百TB/s量级，这一数量级已远超当前主流硬件的实际带宽才能。
尚明栋：采购不克不及只看单价，要看单位营业成果成本。便宜的模型假如后果不稳定、须要多次重试、人工复核，总成本反而更高。要根据实际应用处景做模型分层和动态路由，简单义务给小模型，复杂有筹划的给大年夜模型。
正因如斯，英伟达才鄙人一代Rubin架构中引入了基于 Groq LPU 的 LPX 推理加快体系，构建GPU与LPU协同的异构推理架构。
个中，GPU 重要负责高吞吐的预填充与留意力计算，而LPU则针对延迟敏感的解码路径进行加快。
此外，LPU还采取高带宽、低延迟的片上 SRAM 以及数据流履行架构，明显降低访存开销，晋升单次推理响应速度，并进步单位时光内的Token生成密度。（更多算力与算法层面的技巧优化，迎接添加作者微信 Evelynn7778 商量）
而对于不具备改革算法和算力才能的中小企业而言，数据是撬动AI才能最实际的支点。
关涛地点的云器科技保持“数据——信息——常识”三级数据体系： 起首确保当前企业的数据可以或许被AI所用，再将企业的数据转化为可共享的常识库。在这个过程中，同时搭建好反馈链路，引领企业AI化转型。
谈Token成本及消费近况：用量激增10倍，账单烧不起
每人每月1000美元：
Token经济学的第一笔账
三位嘉宾对于在Token上的预算把握已有初步的断定。
肖嵘泄漏，一旦处理稍显复杂的项目，150美元可能刹时见底。是以，云天励飞给研发人员每人每月配备了必定额度的AI费用。
他认为这笔投入极其划算。因为比拟研发人员动辄三四十万甚至百万年薪，Token成本只是人力成本的零头。
关涛也印证了这一投入逻辑：当前云器科技没有设置Token消费的上限，员工每月在AI帮助开辟上的花销约500至1000美元，今朝已有约20%的员工能做到高效应用。
作为算力供给商，九章云极自身的员工外部Token花费月均成本也已达到2000元。
在肖嵘看来，今朝仍处于大年夜模型应用的早期阶段，远未达到幻想的效力峰值， 企业还没到“卷成本”的阶段，此刻应周全、大年夜胆地拥抱大年夜模型。
当然，这并不料味着对成本放任自流。肖嵘建议，昔时夜模型应用真正进入普及阶段后，在面对若何摊薄时光成本的问题时，企业可应用晚间等低负载时段错峰提交义务，或经由过程多Agent并行履行义务来晋升效力。
尚明栋分享了九章云极在算力云扶植中的工程实践——基于随机算法推理等策略，实现PD分别、四层存储架构设计、将计算、存储与治理收集进行物理分别等目标。
此外，订阅制也是一种选择。不过尚明栋提示，有些时刻订阅制只是看起来划算，因为一旦大年夜模型办事负载不稳定，性价比反而可能不如按量付费。他强调，企业必定要从营业价值反推Token消费的性价比。
他以一个极其渺小的动作为例：大年夜模型每次哪怕是对“Hello”如许简单的交互进行答复，背后都须要一次API调用。而单次接入成本约5毛钱，当每个API都计费、用户高频调用时，这笔本来不起眼的花销刹时被数量级放大年夜。
基于此，就不难解得为什么当下“养龙虾”这件事能和“破产”挂钩。关涛团队实测发明，按照标准OpenClaw的应用习惯，每人每月的API花费平均值高达400～500元。
除了API的调用频率，肖嵘指出，用户具体应用的大年夜模型也在影响Token账单。（应用侧还有哪些身分影响Token消费，迎接添加作者微信 Evelynn7778 交换）
第一，用法缺点——不是所有工作都应当交给AI，比如把一万行拜访日记直接丢给AI做统计，又慢又错。精确做法是让AI写Python法度榜样来处理，或者把数据放在专业体系里用对象做。
他解释道，参数范围越大年夜，大年夜模型处理复杂义务的才能越强，所能承载的高低文长度也随之增长，是以所消费的Token数量就越多，对应的成本天然水涨船高。
此外，即便处理一样的Token数量，参数越大年夜的模型背后涉及的计算量也越大年夜，这也是中美大年夜模型之间价格悬殊的根源。
肖嵘指出，中国模型偏向于采取极端的稀少化和轻量化设计，在大年夜多走免费路线的情况下，力争用尽量少的练习和推理成本实现较强的智能；而美国企业的模型在参数范围上则要激进得多，价格天然也赶过一截。
出于经久成本、低延迟或数据安然的考量，肖嵘认为企业还可以采取本地安排。他介绍，最新的模型量化紧缩技巧可以在精度无损的情况下，把模型参数和KV cache参数分别紧缩至4比特和3.5比特，从而支撑百亿范围的大年夜模型在本地运行。
而具体到硬件选择，值得一提的是比来因OpenClaw卖爆的Mac mini。它之所以备受青睐，恰是因为其同一内存和高机能的M系列芯片，以及4000多块钱的亲平易近成本。
有了Token，单一法度榜样员可掌控的代码体量跃升十倍，演讲者长达两周的材料预备时光被大年夜幅紧缩，十几岁的孩子可以超前进修比赛常识、写法度榜样优化游戏代理延迟……
然而，Token账单的高低，本质是API调用频次、模型选型与技巧路线合营感化的成果。不过，比起省钱，现阶段更重要的，或许是建立一条将Token变现为营业价值的通路。
以下是此次圆桌评论辩论的出色分享，雷峰网进行了不改原意的编辑整顿：
第三，高低文过分痴肥——每次对话都携带大年夜量汗青，不仅浪费Token还影响模型后果。特别是当Context被修悛改、不相符模型设计时，会导致缓存掉效，价格和机能都受到伤害。要包管Context足够精确，尽量在同一Session内追加，如许更相符模型设计，能大年夜幅晋升速度、节俭Token。
雷峰网("大众,"号：雷峰网)·胡敏：从客岁开端研究怎么用AI，到本年用上小龙虾，我本身最大年夜的感触感染是Token消费真的有点“烧不起”。想问问三位嘉宾，有没有感触感染到Token消费量的变更？以及让你们比较“肉疼”的案例？
尚明栋：因为我们既是算力供给者，也是消纳者，所以我从两个视角出发来谈。
从供需曲线看，客岁行业还在摸索算力需求的落地场景，本年高质量算力资本已成为驱动AI立异的核心计谋资产，需求出现爆发式增长。
从消纳端看，我认为第一个Killer APP可能就是AI Coding。客岁事尾Claude 4.5出来后，代码生成质量已经能支撑“一人公司”。一个资深法度榜样员本来能治理的代码上限大年夜概2万～3万行，如今借助AI Coding可以轻松冲破十几万行。
我们公司内部也大年夜量应用，比如每晚做一次全代码审核，包含静态代码的扫描、端口的扫描、安然策略扫描，代码量几百万行，一次扫描消费六七切切Token——但折算成钱，成本其实并不大年夜。
但也有“坏例子”：比如用人工智能去做代码生成的时刻，装Homebrew碰到权限警告，AI不懂用sudo绕过，反而建议你去下载开源代码从新编译，这一步可能消费几百万甚至上切切Token，而实际上人工用一个简单敕令就能跳过。这解释须要人工须要介入，不克不及全部交给AI决定计划。
关涛：我给大年夜家分享两个数字。第一个是我们接主流模型时做的实验：测试API是否通行，说一句“hello”，模型回一句“我能帮你做什么”——这一个API调用就要5毛钱。
第二，假如用标准版的OpenClaw（未经优化），每人每月的API消费平均在400～500元。比较一下，我国人均月可安排收入也就4000多人平易近币，养一个“龙虾”要花掉落十分之一，这个账单确切夸大。
但也有两个趋势：一是每百万Token成本从客岁到本年大年夜概降了75%，从10美元降到2美元阁下；二是OpenRouter流量增长约10倍，Anthropic收入增长14倍。成本降了3～4倍，但用量增长了十几倍。所以企业假如感到AI账单在快速增长，一点也不奇怪。
肖嵘：我们公司给研发人员每人配了每月较高额度的quota。为什么高？因为一个复杂义务跑下来，调用API搜刮分析下来，150美元可能就没了。
Token消费将来会增长得更厉害——不只Coding，协同办公范畴消费也很恐怖。以前做PPT可能须要两周，还要多人协助。如今我把框架搭好，告诉大年夜模型我的不雅点，让它批驳或接收，多个Agent同时跑，一天就能产出70多页专业PPT。
再说个例子，我们董事长陈宁博士的初中生儿子，他把书丢给大年夜模型，让模型用更形象、交互的方法解释，还生成动画，两天就学完了一本三角函数教材。他玩美国原神收集延迟，找大年夜模型聊完天，模型直接写法度榜样优化掉落了。所以没有科班背景的人，借助AI能做出很多想象不到的工作。
Token成本上升的原因我总结一下：模型越大年夜越好用，高低文越长后果越明显，这两个维度都让Token成本高涨。不合高低文的成本根本呈线性增长。为了办事效力，比如写PPT开十几个Agent也得跑20分钟，最舒畅的是1分钟出成果。所以另一个趋势是：为了临盆效力，成本加倍也愿意。
谈Token降本策略：不是所有事都该AI干，分层路由+高低文精简是关键
雷峰网·胡敏：那么企业到底怎么省Token？先从应用侧聊起，有没有实操办法或手册？
关涛指出，当前业界主流的消费量是此前的10倍，若没有达到这个增长数字，企业须要反思在AI转型上是否已经落后；然而，假如跨越了，就要卖力核阅成本构造。
尚明栋：省Token起重要搞清楚Token花在哪，才能有的放矢。从企业算账角度，Token消费量和效力晋升、价值增值要建立映射关系。起首人群在扩大年夜，最早从技巧人员扩大到全员应用，这是正向的，但要避免浪费：
第一，模型滥用，不是所有义务都须要万亿参数的大年夜模型，简单查询用小模型即可；
第二，避免高低文聚积——汗青对话和检索成果反复投喂，每轮都在反复付出成本；
第三，优化低效工作流，比如刚才那个Homebrew的例子，人工一个sudo敕令就能解决，AI却绕了一大年夜圈。
降本的具体办法：一是模型分层（大年夜学生/中学生/小学生）；二是应用波峰波谷——离线义务放在晚上提交，成本更低；三是订阅制包管用量。
从应用者角度，提示词要短、清楚，能走规矩化流程的就不让大年夜模型做；控制输出长度，避免无效重试。
从技巧角度，可以做模型分层路由、KV缓存（至少能避免10%以上的反复计算），以及优化Agent构造削减调用次数、降低掉败率。
肖嵘：我弥补四个偏向：应用侧、平台侧、大年夜模型侧、硬件侧都有优化空间。
应用侧最简单的办法是“分层”：把模型才能分成大年夜学生、中学生、小学生。让最强模型（大年夜学生）做义务拆解和筹划，中小模型（中学生和小学生）履行具体义务，后果不好再让大年夜模型指导或亲自上手。整体后果差不多，但成本大年夜幅降低。
别的，本地安排7B～14B的小模型也是省钱门路，比如用Mac mini（4000多人平易近币）就能跑不错的模型。最新技巧如Google的TurboQuant，可以把KV Cache紧缩到1/4或1/5，结合模型的低精度量化技巧，本地安排越来越可行。
还有，控制高低文——不相干的汗青对话可以紧缩或另开话题。
最后，必定要有本身的提示词模板，就像公司给新员工发员工手册一样，把常见场景的prompt固化下来，能省大年夜量反复消费。会用大年夜模型的人一小我能干5小我的活，差别就在这。
第二，高低文信息不足或不精确——比如问“上个月GMV增长原因”，数据库里有几十张表都含GMV字段，模型不知道用哪张，再贵的模型也解决不了。这是数据问题，不是模型问题。
谈模型采购与分层：性价比不是看单价，而是看“单位营业成果成本”
雷峰网·胡敏：从采购侧呢？模型选型、计费方法、购买渠道上，大年夜家有什么心得或踩过什么坑？
计费方法上，订阅制看起来划算，但假如负载不稳定，综合成本未必如意。还要推敲数据安然、资本稳定等综合身分，最终要回到营业价值来反推性价比。不合部分、不合场景差别很大年夜，须要有专门的小团队来赋能。
肖嵘：我完全赞成，今朝Token是临盆力对象，产生的效益弘远年夜于成本，建议尽量采取相符需求的模型，成本不是最重要。等大年夜家都用上大年夜模型、效力都上来了，再推敲降本。如今社会变革还没到卷成本的时刻，大年夜家都用上大年夜模型后，那时降本就很重要了。
关涛：我们有个办法论：把场景分成两个维度——高性价比/低性价比，以及稳定肯定性/摸索不肯定性。
高性价比+肯定性的场景，先用好模型跑通，再慢慢降低模型才能，找到性价比均衡点；
这须要两个体系支撑：一个AI Gateway（灵活切换模型），一个可不雅测体系（监控成功率、Token消费等）。
高性价比+不肯定的场景（比如核心代码开辟），直接用最好的模型，因为比拟人力成本，Token成本眇乎小哉；
低性价比+肯定场景，用模型构建对象形成流水线，而不是每次都靠模型；
低性价比+不肯定场景：平日用不起来，须要摸索其他方法或人工补位；
如今每家模型根本上每三个月就迭代一次，不管是美国照样中国，隔几个月就会有一个新模型达到当前SOTA程度。所以很难说哪个模型必定最好——有的性价比好一点，有的才能强一点。可能大年夜家独一的共鸣是从Coding视角看，Anthropic的模型更好一些。剩下的，甚至包含最新的视频生成模型，如今很难讲谁是第一名。
所以我们平日建议企业接一个或本身做一个AI Gateway，可以或许灵活切换模型。这比如今逝世磕某一个模型更合理，毕竟全部模型迭代还处在异常高速的成长期。
谈供给侧优化：从平台、模型、硬件、数据四个层面“卷”成本
雷峰网·胡敏：三位都身处AI家当链，你们各安闲做哪些事来帮企业降Token成本？
尚明栋：作为算力供给方，我们在工程化上做了很多：算力云扶植的选型设备、PD分别架构、四层存储架构、计算存储收集分别、随机算法推理优化等，最终晋升Token产出率。
当Token应用率尽可能进步之后，从Token经济学的角度出发，企业应当若何对待员工的“账单”？
同时我们也在做模型动态路由，但核心不雅点是：不要只关怀Token贵不贵，要关怀Token花得值不值。这须要把Token成本从技巧问题变成产品、采购、财务合营治理的经营指标。要建立评估体系，看投入是否值得。
别的，AI才能要匹配组织治理变革，这放大年夜了人与人之间的差距——有人效力晋升3～5倍，有人只有30%，团队里会出现“木桶道理”。如今团队更扁平化，开辟工程师变成全栈工程师，一专多能。这不只是对象问题，更是团队组织治理方法的变革。
肖嵘：从平台层、模型层、硬件层三个层次来说：
平台层：做模型分层调剂、记忆紧缩、义务反思总结，让“养龙虾”的过程更智能。
模型层：经由过程更稀少的架构（如MoE）、新的留意力机制（如线性留意力、混淆留意力），以及类似DeepSeek的Engram外挂记忆，让模型更快、更聪慧、常识面更广。
其次，即便让AI做同一件事，路径选择也至关重要。
硬件层：低精度计算（英伟达Blackwell引入FP4，精度降8倍但模型精度不跌）、协处理器（如Groq的筹划，把参数直接放在芯片SRAM里，实现极低时延、高TPS）。这些偏向都在让Token成本持续降低。
关涛：我们更侧重数据侧。AI三要素包含算法、算力、数据。对大年夜多半企业来说，前两者平日是买来的，数据是企业晋升AI才能的关键。我们做三件事：
第一，让企业现稀有据平台能被AI用好——做语义层（Semantic Layer）、MCP连接等，让构造化数据成为AI的Ground Truth；
第二，帮企业构建同一、可共享的常识库——把数据进级为信息，信息进级为常识，避免每个Agent都反复沉淀记忆和Skill；
第三，建立反馈链路——经由过程数据平台采集分析，让企业看清楚AI的投入产出比，并能灵活调剂模型、Prompt、高低文。
作者持续存眷AI算力芯片高低游，更多信息可添加作者微信 Evelynn7778 交换。
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
发表评论 取消回复