跟着Agentic AI工作负载的推动,搜刮驱动的义务流越来越多,CPU的延迟瓶颈问题日益凸起。
HNSW(分层可导航小世界)搜刮算法就是典典范子,在GPU履行LLM推理的同时,CPU负责图检索,更大年夜的缓存意味着更短的检索时光。
GiggleHD应用开源的X3D RAG基准测试,针对小我PC和小团队单节点场景(约100K-200K向量),对AMD锐龙9000X3D系列及多款非X3D芯片进行了实测。



成果显示,在100K向量批量搜刮中,X3D CPU最高比非X3D芯片快88%;在200K向量测试中,同为8核的锐龙7 9850X3D比锐龙7 9700X快50%以上,且8核X3D芯片的速度跨越了16核的锐龙9 9950X。


索引构建方面,100K向量测试时光缩短50%,200K向量缩短39%,并发RAG吞吐量同样由X3D芯片领跑。


差距较小的项目是TTFT(首Token时光)吞吐量,因为该义务重要依附GPU而非CPU。

发表评论 取消回复