面对 Agent 长时间任务上下文越堆越长、GPU 显存和推理开销暴涨的痛点,清华与香港中文大学团队提出缓存工程思路,让 Agent 直接操作、裁剪 KV 缓存,不用改动原始对话文本,解决传统上下文总结、文本裁剪方案容易触发重计算、丢失信息、任务成功率下滑的老问题,配套开源 AKV 推理系统做验证。传统做法属于上下文工程,直接删减或者总结历史消息,一旦原文改动,已经算好的 KV 缓存全部失效,需要重新跑 prefill 重算,带来额外延迟和算力消耗,压缩文本还容易丢掉关键细节,导致 Agent 调用工具、执行复杂任务出错。而这套新方案的核心思路是把 KV 缓存本身当成可管理对象,由 Agent 自主判断哪些历史 KV 条目可以删掉、保留哪些,原文对话完整保留不变,不需要重跑 prefill,实测在多款大模型、四类 Agent 任务测试里,对比上下文工程方案,平均推理成本下降 27.7%,任务成功率还小幅提升 1.7%,很适合代码 Agent、多轮工具调用、长期规划这类持续迭代的长周期 Agent 任务。
传统上下文工程和 AKV 缓存工程对比表
| 项目 | 传统上下文工程(摘要 / 裁剪文本) | AKV 缓存工程(Agent 缩 KV 缓存) |
|---|---|---|
| 操作对象 | 对话文本、历史消息 | KV 缓存张量,原始文本不动 |
| 是否触发重 Prefill | 是,修改文本后缓存失效,必须重算 | 否,文本不变,只移除无效 KV 条目 |
| 信息损失风险 | 较高,摘要容易丢失细节 | 更低,原文完整留存 |
| 算力开销 | 高,重计算带来延迟、成本上涨 | 低,只做缓存条目管理 |
| 任务成功率 | 基准线 | 平均提升 1.7% |
| 推理成本 | 基准线 | 平均下降 27.7% |
KV 缓存基础和 AKV 核心能力清单
- KV 缓存定义:大模型推理时保存每一步注意力 Key、Value 张量,避免重复计算,是长上下文推理显存占用大头
- AKV 核心思想:缓存工程(Cache Engineering),和上下文工程区分开
- 控制主体:Agent 自己根据任务状态,下发指令选择保留 / 剔除哪些 KV 片段
- 接口形式:正常提交对话历史,附带缓存操作指令
- 适用场景:代码 Agent、多轮工具调用、长周期规划、多步骤科研检索 Agent
- 开源情况:AKV 推理系统对外开源,可以接入主流 LLM 做二次开发
Agent 自主缩 KV 缓存的执行流程
- Agent 持续执行任务,不断产生工具调用、返回结果、思考记录,KV 缓存持续膨胀
- Agent 评估每一段历史 KV 对当前后续任务的重要程度,标记低价值 KV 块
- 下发缓存操作指令,推理系统移除被标记的 KV 缓存条目,原始对话文本完整保留
- 后续生成时直接复用剩余有效 KV 缓存,不需要重新 prefill 全部历史
- 持续循环评估、裁剪,把 KV 显存占用稳定控制在合理区间
- 任务结束后,可导出完整对话记录,所有原始信息都可回溯
现有 KV 缓存优化路线分类
- 量化压缩:降低 KV 浮点精度,减少单条 KV 占用空间
- 静态剪枝:固定规则、注意力分数过滤,提前删掉不重要 KV
- Agent 驱动动态裁剪(AKV):由任务 Agent 自主决策缓存生命周期,适配任务变化
- 缓存卸载:把冷 KV 放到 CPU 内存,需要时再加载回 GPU
小结
Agent 直接上手缩 KV 缓存,本质是优化思路的切换:以前大家都在改输入文本,现在改成直接管理推理中间缓存,绕开重计算这个最大开销;AKV 这套方案不是取代文本摘要,而是给长周期 Agent 新增一套显存优化手段,在多轮工具类 Agent 场景里成本和稳定性优势突出,后续还有望集成到 vLLM、TensorRT-LLM 主流推理服务框架。
【相关 FAQ】
问题 1:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,Agent 缩 KV 缓存和普通文本摘要压缩上下文有什么不一样?
回答 1:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,文本摘要改动原始对话,会让 KV 缓存失效,需要重 prefill;Agent 裁剪 KV 缓存不改原文,只清理缓存张量,没有重计算开销。
问题 2:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,AKV 缓存工程实测效果怎么样?
回答 2:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,在多模型、四类 Agent 任务评测里,对比上下文工程,平均推理成本下降 27.7%,任务成功率提升 1.7%。
问题 3:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,Agent 自主裁剪 KV 缓存更适合什么 AI 任务?
回答 3:长上下文难题新方案:Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本,更适合代码 Agent、多轮工具调用、长期任务规划这类多轮交互、上下文持续累积的长周期 Agent 任务。
【参考资料】
[2026-11-17](还在苦恼「长上下文」?Agent 直接上手缩 KV 缓存)机器之心 Pro / 新浪财经
[2026-11-17](Cache Engineering:让 Agent 自主管理 KV 缓存)Hugging Face
[2026-11-17](AKV:面向 Agent 长上下文的缓存工程推理系统)arXiv
[2026-10-02](NVIDIA Dynamo:Agentic 推理 KV 缓存管理优化)NVIDIA 开发者博客
【免责声明】
以上内容为 AKV 缓存工程、Agent 管理 KV 缓存相关研究公开信息整理;该方案属于前沿学术方案,落地稳定性、兼容情况以项目开源仓库和论文原文为准,不代表生产环境开箱可用,内容仅作技术学习参考。
本文来自作者[sugar02]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/qyzx/202611/1578.html
评论列表(4条)
我是新品牌网的签约作者“sugar02”!
希望本篇文章《长上下文难题新方案Agent 自主管理裁剪 KV 缓存,AKV 缓存工程降低推理成本》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:面对 Agent 长时间任务上下文越堆越长、GPU 显存和推理开销暴涨的痛点,清华与香港中文大学团队提出缓存工程思路,让 Agent 直接操作、裁剪 KV 缓存,不用改动原始对话文本,解决传统上下文总结、文本裁剪方案容易触发重计算、丢失信息、任务成功率下滑的老问题,配套开源 AKV 推理系统做验证。传统做法属于上下文工程,直接删减或者总结历史消息,一旦原文改动,已经算好的 KV 缓存全部失效,需要重新跑 prefill 重算,带来额外延迟和算力消耗,压缩文本还容易丢掉关键细节,导致 Agent 调用工具、执行复杂任务出错。而这套新方案的核心思路是把 KV 缓存本身当成可管理对象,由 Agent 自主判断哪些历史 KV 条目可以删掉、保留哪些,原文对话完整保留不变,不需要重跑 prefill,实测在多款大模型、四类 Agent 任务测试里,对比上下文工程方案,平均推理成本下降 27.7%,任务成功率还小幅提升 1.7%,很适合代码 Agent、多轮工具调用、长期规划这类持续迭代的长周期 Agent 任务。