计算所严肃玉团队新作: Attention 并非永远是瓶颈,多 GPU 并不必定更快 系统实验表明,模型推理分为计算受限的 Prefill 与内存受限的 Decode。 互联网 2025年12月22日 0 点赞 0 评论 212 浏览
计算所严肃玉团队新作: Attention 并非永远是瓶颈,多 GPU 并不必定更快 系统实验表明,模型推理分为计算受限的 Prefill 与内存受限的 Decode。 互联网 2025年12月30日 0 点赞 0 评论 177 浏览
计算所严肃玉团队新作: Attention 并非永远是瓶颈,多 GPU 并不必定更快 系统实验表明,模型推理分为计算受限的 Prefill 与内存受限的 Decode。 互联网 2026年01月03日 0 点赞 0 评论 135 浏览
上海AI Lab胡侠:KV Cache紧缩之后,可让价格2万美金的GPU发挥出20万美金的价值 | GAIR 2025 胡侠团队将 Key 跟 Value Cache按照不同的压缩方法压缩,可以让模型不掉点。 互联网 2026年01月09日 0 点赞 0 评论 182 浏览
瀚博经由过程UALink互联测试,GPU将周全兼容新一代超节点 2026年4月2日,ODCC春季全会期间UALink生态迎来重磅进展。在ODCC全体会议上,ODCC新测组组长、中国信通院正高级工程师郭亮与ODCC执行委员、阿 互联网 2026年04月13日 0 点赞 0 评论 103 浏览