在Agentic Serving中学习智能体执行以进行KV-Cache管理

来源简报

在Agentic Serving中学习智能体执行以进行KV-Cache管理: 公告类型：新 摘要：多智能体LLM系统已成为AI服务的重要部署范式，其中每个用户请求被分解为一系列专门的智能体。在这些工作流中，每个智能体重复执行由系统提示、工具定义和少样本示例组成的固定上下文，为KV缓存复用创造了大量机会。