高吞吐、低时延: 针对 Agent 突发流量,采取了乐不雅并发控制和精简的调剂策略,大年夜幅晋升调剂 TPS。

  • Volcano 社区宣布推出新的子项目 AgentCube,一个构建在 Volcano 之上的高机能 AI Agent 编排层。它经由过程扩大 Kubernetes API,将 Agents 和 Tools(Code Interpreters、BrowserUse等) 晋升为集群的一等公平易近。“它不仅仅是一个 CRD,更是一套面向 Agent 的 Serverless 操作体系。”

    AgentCube 引入了两个核心的 CRD 来定义 Agent 工作负载:

    1. AgentRuntime: 面向长会话、复杂的对话式 Agent。

    • 支撑定义会话的生命周期、资本配额以及持久化策略。

    2. CodeInterpreter: 面向短义务、高频的代码履行情况。

    • 强调“用完即毁”和极致的安然隔离,天然适配 MicroVM(如 Kuasar, Kata Containers, Firecracker)。

    AgentCube后续还将供给BrowserUse、ComputerUse、MobileUse等工作负载抽象支撑。

    AgentCube 关键技巧亮点

    1. 极速启动

    为了清除冷启动的挑衅,AgentCube 实现了 Warm Pool(预热池) 机制。体系会预先启动并暂停一组持有基本情况的 MicroVM 沙箱。当 Agent 请求到来时,AgentCube 可以或许经由过程 "Claim-and-Go" 的方法,在毫秒级将预热的沙箱分派给会话,实现近乎零延迟的启动体验。

    2. 极速调剂

    借助 Volcano 的 Agent Scheduler,AgentCube明显晋升了Agent调剂的吞吐和时延。

    • 同一调剂支撑: Volcano 的 Agent Scheduler 可以与原有的 Batch Scheduler 无缝合营,在调和 Agent 与传统的 Batch 功课潜在调剂冲突的同时,确保整体集群的资本应用率和症毕营业的 SLA。

    3. 原生会话治理

    AgentCube 引入了 Session ID 作为核心路由标识,便于包管营业高低文的持续性。

    • 基于会话的端到端隔离: AgentCube 会主动为每个会话分派自力的沙箱情况,确保计算、内存与文件体系的完全隔离,防止跨租户的数据泄漏。

    4. Serverless 化的弹性伸缩

    AgentCube 可以或许根据会话的活泼度主动治理沙箱生命周期。闲置的沙箱会被主动收受接收或休眠,释放物理资本供其他高优先级义务应用,真正实现资本按需分派与极致应用。

    AgentCube 架构概览

    AgentCube 采取了经典的控制面与数据面分别的架构设计,确保了体系的高可用性与扩大性:

    • 数据面 : 由 AgentCube Router 承载。它作为流量进口,负责鉴权、限流以及基于 Session ID 的智能路由。对于新会话,它向控制面申请资本;对于活泼会话,它直接将请求转发至对应的 Sandbox (MicroVM)。

    • 控制面 : 核心组件 Workload Manager 负责沙箱的全生命周期治理。它监控预热池 (Warm Pool) 的水位,主动弥补 MicroVM 实例,并根据会话活泼度策略(如 TTL)履行沙箱的收受接收与垃圾清理。

    • 请求路由: AgentCube Router 可以或许辨认请求中的 x-agentcube-session-id,主动将其路由到对应的活泼沙箱。

    • 主动的沙箱激活: 当前会话对应的沙箱处于休眠状况时,AgentCube Router 可以或许主动激活沙箱。

    • 调剂层: 集成 Volcano Agent Scheduler,经由过程异步并行调剂和乐不雅锁机制,实现高并发下的毫秒级资本分派。

  • 点赞(0) 打赏

    评论列表 共有 0 条评论

    暂无评论

    微信小程序

    微信扫一扫体验

    立即
    投稿

    微信公众账号

    微信扫一扫加关注

    发表
    评论
    返回
    顶部