跟着Agentic AI工作负载的推动,搜刮驱动的义务流越来越多,CPU的延迟瓶颈问题日益凸起。

HNSW(分层可导航小世界)搜刮算法就是典典范子,在GPU履行LLM推理的同时,CPU负责图检索,更大年夜的缓存意味着更短的检索时光。

GiggleHD应用开源的X3D RAG基准测试,针对小我PC和小团队单节点场景(约100K-200K向量),对AMD锐龙9000X3D系列及多款非X3D芯片进行了实测。

成果显示,在100K向量批量搜刮中,X3D CPU最高比非X3D芯片快88%;在200K向量测试中,同为8核的锐龙7 9850X3D比锐龙7 9700X快50%以上,且8核X3D芯片的速度跨越了16核的锐龙9 9950X。

索引构建方面,100K向量测试时光缩短50%,200K向量缩短39%,并发RAG吞吐量同样由X3D芯片领跑。

差距较小的项目是TTFT(首Token时光)吞吐量,因为该义务重要依附GPU而非CPU。

点赞(0) 打赏

评论列表 共有 0 条评论

暂无评论

微信小程序

微信扫一扫体验

立即
投稿

微信公众账号

微信扫一扫加关注

发表
评论
返回
顶部