英伟达新提出 SEED 大模型推理优化技术,核心思路是写入记忆不用跑完完整网络,预填充阶段大部分 token 仅执行浅层网络,依靠轻量发射组件生成深层 KV 缓存与循环状态,解码阶段依旧完整运行全部模型层,在 GB300 GPU 搭配 SGLang 框架、Agent 会话负载下,Qwen3.8-Flash-Next 模型每 GPU 吞吐最高提升 42%,并且原始模型权重保持冻结,不需要重新训练,在多项评测任务上精度几乎无损失。传统大模型推理,预填充处理用户输入文本时,所有 token 都必须完整跑完模型全部网络层,才能生成后续生成阶段要用的 KV 缓存,预填充计算量大、算力开销高,成为长上下文、Agent 场景里 GPU 吞吐的主要瓶颈。SEED 技术抓住一个关键特性:给后续生成写入深层记忆,所需要的计算量,远低于预测下一个 token 的计算量。以 Qwen3.8-Flash-Next(48 层模型)为例,除最后一个 token 之外,其余输入 token 只运行前 31 层,再用轻量记忆写入组件,生成后面 17 层对应的 KV 缓存和循环状态;同时对循环状态做低秩分解压缩,单请求循环状态体积从 113.2MB 压缩至 29.2MB,减少显存读写压力。SEED 不会压缩注意力 KV Cache,只优化预填充计算与循环状态存储,模型权重全程不动,不用微调,直接适配已训练好的混合架构大模型,覆盖 30B 到 300B 以上参数规模。在实测数据中,同等 P90 端到端时延条件下,吞吐提升区间 23%~42%,峰值吞吐提升 16%~42%,在 11 项官方考试基准上,模型能力几乎无损。
SEED 技术核心能力清单
- 技术全称:Shallow Encoding Emits Deep Memories,简称 SEED
- 核心原理:预填充浅层编码,用轻量发射组件生成深层记忆,无需完整跑完全部网络层
- 模型适配:原始权重冻结,不需要重训 / 微调,支持 30B~300B + 混合架构大模型
- 实测性能:GB300+SGLang,Qwen3.8-Flash-Next 单 GPU 吞吐最高提升 42%
- 状态压缩:循环状态低秩分解,大幅降低状态占用显存;不压缩 KV 注意力缓存
- 质量表现:11 项考试基准,模型推理精度几乎无损
SEED 推理方案与传统推理对比
| 项目 | 英伟达 SEED 推理方案 | 传统完整预填充推理 |
|---|---|---|
| 预填充计算 | 大部分 token 只跑浅层网络,浅层输出生成深层记忆 | 所有输入 token 完整跑完模型全部网络层 |
| 模型权重 | 冻结,无需重新训练微调 | 原始模型,无改动 |
| 循环状态存储 | 低秩分解压缩,显存占用显著下降 | 完整矩阵存储,体积更大 |
| KV 注意力缓存 | 不做压缩 | 完整保存 |
| 适用负载 | Agent 会话、长提示词、大量预填充任务 | 通用大模型推理 |
| 收益 | 提升预填充吞吐,降低算力开销 | 无预填充优化,算力开销高 |
适用场景
AI 智能体会话、长提示词批量处理、企业知识库长文档预填充、混合架构大模型线上服务,适合 SGLang 推理框架部署在 GB300 等英伟达新一代 GPU。
整体来看,SEED 的创新点在于区分 “写入记忆” 和 “预测 token” 的算力需求,在不改动模型权重、几乎不损失精度的前提下削减预填充算力,专门解决 Agent 场景大量长输入带来的预填充算力瓶颈,提升单 GPU 服务吞吐。
【相关 FAQ】
问题 1:英伟达 SEED 是什么技术,为什么可以做到写入记忆不必读完整个网络?
回答 1:英伟达 SEED 全称 Shallow Encoding Emits Deep Memories,是大模型推理优化技术;它发现写入深层记忆不需要像预测下一个 token 那样跑完完整网络,预填充阶段大部分 token 仅执行浅层网络,借助轻量发射组件生成深层 KV 缓存,实现写入记忆不用跑完完整网络。
问题 2:英伟达 SEED 在 GB300 GPU 上测试,每 GPU 吞吐提升多少,会损失模型精度吗?
回答 2:英伟达 SEED 在 GB300 GPU 搭配 SGLang 框架,Qwen3.8-Flash-Next 模型每 GPU 吞吐最高提升 42%;在 11 项官方考试基准上,模型精度几乎没有损失,而且原始模型权重保持冻结,不需要重新训练。
问题 3:英伟达 SEED 做状态优化,会不会压缩 KV 注意力缓存?循环状态压缩效果如何?
回答 3:英伟达 SEED 不会压缩 KV 注意力缓存,仅对循环状态做低秩分解压缩;Qwen3.8-Flash-Next 单请求循环状态从 113.2MB 压缩至 29.2MB,减少显存读写开销,提升推理吞吐。
【参考资料】
[2026-11-19](写入记忆,何必读完整个网络?英伟达 SEED 每 GPU 吞吐最高提升 42%)新浪财经
[2026-11-19](英伟达 SEED:浅层编码发射深层记忆,预填充优化提升 GPU 吞吐)机器之心
[2026-11-04](Shallow Encoding Emits Deep Memories)arXiv
[2026-11-03](SEED 大模型推理优化论文解读,混合模型预填充加速)英伟达开发者社区
【免责声明】
本文仅整理英伟达 SEED 推理优化技术论文与评测资讯,不构成 GPU 选型、大模型线上部署建议;SEED 的吞吐提升幅度受模型架构、负载类型、GPU 硬件、推理框架影响;性能提升数据来自论文特定测试环境,实际业务效果需要自行压测验证;完整技术细节以 arXiv 原始论文为准。
本文来自作者[早八猫]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/qyzx/202611/1838.html
评论列表(4条)
我是新品牌网的签约作者“早八猫”!
希望本篇文章《英伟达 SEED(Shallow Encoding Emits Deep Memories)技术,预填充阶段浅层编码生成深层记忆,单 GPU 最高吞吐提升 42》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:英伟达新提出 SEED 大模型推理优化技术,核心思路是写入记忆不用跑完完整网络,预填充阶段大部分 token 仅执行浅层网络,依靠轻量发射组件生成深层 KV 缓存与循环状态,解码阶段依旧完整运行全部模型层,在 GB300 GPU 搭配 SGLang 框架、Agent 会话负载下,Qwen3.8-Flash-Next 模型每 GPU 吞吐最高提升 42%,并且原始模型权重保持冻结,不需要重新训练,在多项评测任务上精度几乎无损失。传统大模型推理,预填充处理用户输入文本时,所有 token 都必须完整跑完模型全部网络层,才能生成后续生成阶段要用的 KV 缓存,预填充计算量大、算力开销高,成为长上下文、Agent 场景里 GPU 吞吐的主要瓶颈。SEED 技术抓住一个关键特性:给后续生成写入深层记忆,所需要的计算量,远低于预测下一个 token 的计算量。以 Qwen3.8-Flash-Next(48 层模型)为例,除最后一个 token 之外,其余输入 token 只运行前 31 层,再用轻量记忆写入组件,生成后面 17 层对应的 KV 缓存和循环状态;同时对循环状态做低秩分解压缩,单请求循环状态体积从 113.2MB 压缩至 29.2MB,减少显存读写压力。SEED 不会压缩注意力 KV Cache,只优化预填充计算与循环状态存储,模型权重全程不动,不用微调,直接适配已训练好的混合架构大模型,覆盖 30B 到 300B 以上参数规模。在实测数据中,同等 P90 端到端时延条件下,吞吐提升区间 23%~42%,峰值吞吐提升 16%~42%,在 11 项官方考试基准上,模型能力几乎无损。