高吞吐、低时延: 针对 Agent 突发流量,采取了乐不雅并发控制和精简的调剂策略,大年夜幅晋升调剂 TPS。
Volcano 社区宣布推出新的子项目 AgentCube,一个构建在 Volcano 之上的高机能 AI Agent 编排层。它经由过程扩大 Kubernetes API,将 Agents 和 Tools(Code Interpreters、BrowserUse等) 晋升为集群的一等公平易近。“它不仅仅是一个 CRD,更是一套面向 Agent 的 Serverless 操作体系。”
AgentCube 引入了两个核心的 CRD 来定义 Agent 工作负载:
1. AgentRuntime: 面向长会话、复杂的对话式 Agent。
- 支撑定义会话的生命周期、资本配额以及持久化策略。
2. CodeInterpreter: 面向短义务、高频的代码履行情况。
- 强调“用完即毁”和极致的安然隔离,天然适配 MicroVM(如 Kuasar, Kata Containers, Firecracker)。
AgentCube后续还将供给BrowserUse、ComputerUse、MobileUse等工作负载抽象支撑。
AgentCube 关键技巧亮点
1. 极速启动
为了清除冷启动的挑衅,AgentCube 实现了 Warm Pool(预热池) 机制。体系会预先启动并暂停一组持有基本情况的 MicroVM 沙箱。当 Agent 请求到来时,AgentCube 可以或许经由过程 "Claim-and-Go" 的方法,在毫秒级将预热的沙箱分派给会话,实现近乎零延迟的启动体验。
2. 极速调剂
借助 Volcano 的 Agent Scheduler,AgentCube明显晋升了Agent调剂的吞吐和时延。
-
同一调剂支撑: Volcano 的 Agent Scheduler 可以与原有的 Batch Scheduler 无缝合营,在调和 Agent 与传统的 Batch 功课潜在调剂冲突的同时,确保整体集群的资本应用率和症毕营业的 SLA。
3. 原生会话治理
AgentCube 引入了 Session ID 作为核心路由标识,便于包管营业高低文的持续性。
-
基于会话的端到端隔离: AgentCube 会主动为每个会话分派自力的沙箱情况,确保计算、内存与文件体系的完全隔离,防止跨租户的数据泄漏。
4. Serverless 化的弹性伸缩
AgentCube 可以或许根据会话的活泼度主动治理沙箱生命周期。闲置的沙箱会被主动收受接收或休眠,释放物理资本供其他高优先级义务应用,真正实现资本按需分派与极致应用。
AgentCube 架构概览
AgentCube 采取了经典的控制面与数据面分别的架构设计,确保了体系的高可用性与扩大性:

-
数据面 : 由 AgentCube Router 承载。它作为流量进口,负责鉴权、限流以及基于 Session ID 的智能路由。对于新会话,它向控制面申请资本;对于活泼会话,它直接将请求转发至对应的 Sandbox (MicroVM)。
-
控制面 : 核心组件 Workload Manager 负责沙箱的全生命周期治理。它监控预热池 (Warm Pool) 的水位,主动弥补 MicroVM 实例,并根据会话活泼度策略(如 TTL)履行沙箱的收受接收与垃圾清理。
-
请求路由: AgentCube Router 可以或许辨认请求中的 x-agentcube-session-id,主动将其路由到对应的活泼沙箱。
-
主动的沙箱激活: 当前会话对应的沙箱处于休眠状况时,AgentCube Router 可以或许主动激活沙箱。
-
调剂层: 集成 Volcano Agent Scheduler,经由过程异步并行调剂和乐不雅锁机制,实现高并发下的毫秒级资本分派。

发表评论 取消回复