XInfer 是自变量机器人(X Square Robot)团队在生产环境部署的 VLA(视觉 - 语言 - 动作)推理服务系统,目标不是单纯把推理吞吐量拉满,而是在满足每台机器人响应时限和零请求错误的前提下,尽可能提高一块 GPU 能同时服务的机器人数。论文在三台消费级 Blackwell GPU 上、用三个 VLA 模型做评测,按 "有效机器人容量(ERC)" 口径,XInfer 在 π0.5 上一块 GPU 可服务 24 台机器人,VLA-2B 对应 18 台、Wall-OSS-0.5 对应 15 台,整体 ERC 达到对比系统的 1.26—3.75 倍。它解决排队问题的核心思路分两层:底层用异步、依赖驱动的执行引擎把请求间、阶段间的并行度暴露出来;上层用执行感知调度器,把 "哪些请求需要优先保护" 和 "哪些阶段此刻允许启动" 两个决策拆开,结合每个请求的响应预算、剩余计算量和预测干扰做准入控制,同时还要预判未来更早截止时间的请求会不会被当前并发拖超时。
一、问题背景:为什么 VLA 排队不能只看先来后到
VLA 服务于机器人闭环控制,机器人在等待新响应的同时,会继续执行上一段动作;反馈晚了,动作就可能脱节。共享 GPU 做多机器人并发时,有几个绕不开的约束:
- 异构阶段:一个 VLA 请求要走视觉编码(ViT)、语言前缀(Prefill,与 ViT 合称 Context)、动作生成(Action)等计算特性不同的阶段,各阶段耗时和资源占用不一样。
- 并发干扰:新加进来的阶段会和已在跑的阶段争抢 GPU,拖慢正在进行的任务。
- 非抢占:已经发到 GPU 上的计算单元不能中途打断重排,所以只把紧急请求排到前面,并不能防止 "已经放进来的活儿" 导致后续请求超时。
- 时限随动作阶段变化:同样计算量的请求,在对齐、接触等敏感阶段反馈更急,在运输阶段相对宽松;响应时机还会影响下一个请求什么时候到来,调度和未来负载是耦合在一起的。
- 评价口径是 ERC,不是平均延迟:ERC 指在满足指定延迟和可靠性要求下,一块 GPU 能同时服务的最大机器人数;VLA-2B 评测口径为响应 P50 低于 150 毫秒且零请求错误。
因此车队服务要同时回答两个问题:哪些请求需要优先保护,哪些阶段在不危及当前和未来截止时间的前提下可以放行。
二、系统架构:异步执行与两条提交路径
1. 请求流水线
| 阶段 | 职责 | 运行位置 |
|---|---|---|
| CPU 准备 | 输入整理、多视角图像与指令、机器人状态拼接 | 主机侧 |
| ViT | 视觉编码,图像块转视觉 Token | 与 Prefill 同进程 |
| Prefill | 语言与上下文前缀编码 | 与 ViT 同进程 |
| Action | 动作块去噪生成完整轨迹 | 独立进程 |
| 输出处理 | 动作块解码、回传控制器 | 主机侧 |
2. 并发与隔离设计
- ViT 和 Prefill 共享一个进程,Action 单独跑在另一个进程,各有独立的主机提交循环和私有执行状态,避免主机侧工作被一条提交循环串行化。
- ViT/Prefill 进程内部用 CUDA 流支持并发;两个进程之间靠 NVIDIA MPS 在同一块共享 GPU 上并发执行。
- 请求复用只读权重,中间状态各自私有;有界状态槽位在下游阶段接不住时向上游传导背压。
- 已发出的 GPU 计算单元非抢占;每个执行单元按自身完成事件推进,不设统一回合屏障,请求状态保持私有。
三、截止时间排队:优先级与准入解耦
XInfer 调度器在每个阶段入口做准入控制,整体机制可以拆成下面几步。
1. 刷新优先级
到达、完成和周期性 tick 都会触发调度算法;驱动按 Action、Prefill、ViT 的顺序依次遍历各阶段。REFRESHPRIORITY根据请求进度和共享资源状态,刷新出需要保护的紧急请求集合 H,以及当前可预见的负载量。
2. 扫描就绪队列
SCANREADY按优先级顺序扫描该阶段就绪工作,在阶段容量内依次给出候选;没通过检查的候选保留在队列里,留到下一轮扫描。
3. 当前请求可行性检查(CURRENTFEASIBLE)
普通候选 u 不属于保护集合 H 时,先假设把它加进负载,估算它对每个受保护请求 h 带来的干扰增量 Δ;只要干扰增量不超过 h 当前剩余的松弛时间 σ,即 Δ≤σ,候选才允许放行。这一步等价于把经典的松弛窃取(slack stealing)思路改到并发 GPU 阶段上:受保护请求还留有足够余量时,才借用这部分并行能力。
4. 未来到达可行性检查(FORECASTFEASIBLE)
仅保住当前请求还不够。调度器用近期到达历史,按响应预算分组,预测候选执行窗口内会到来的请求;对那些截止时间比候选更早的预报请求,要满足前端预留时间 f、剩余流水线估算 R_V 和预算 b_e 的不等式约束。通不过就推迟候选,避免今天抢并发把下一批急单拖超时。
5. 放行并刷新状态
检查通过后发出(ISSUE)候选,更新队列与运行状态,并在放行下一个候选前重新刷新保护集合和负载快照;论文里的例子是:候选 u 消耗掉 A 请求 10 毫秒松弛中的 6 毫秒、还剩 4 毫秒,再来候选 v 会再占 6 毫秒,v 就被推迟 —— 如果都对着原始快照独立判断,两个都会被错误放行。
四、评测结果:ERC 与吞吐表现
1. 对比系统 ERC(响应延迟口径,无错误响应)
| 服务系统 | VLA-2B | Wall-OSS-0.5 | π0.5 |
|---|---|---|---|
| XInfer | 18 | 15 | 24 |
| SGLang | 10 | 5 | 14 |
| vLLM-Omni | 10 | 8 | 15 |
| FlashRT | 5 | 4 | 9 |
| Robion | 11 | 10 | 19 |
相对 Robion,XInfer 在三个模型上的 ERC 分别高 63.6%、50%、26.3%。标题里 "一块 GPU 服务 24 台机器人" 对应的是 π0.5 这一档,并非三个模型统一都是 24 台。
2. 异构响应预算下的策略对比(VLA-2B,95% SLO 口径)
| 调度策略 | ERC(机器人) |
|---|---|
| XInfer | 18 |
| Slack-Gate | 15 |
| FIFO(先来先服务) | 14 |
| EDF(按截止时间排队) | 12 |
对照策略的基本做法:FIFO 按到达顺序排队;EDF 在每个阶段队列里按截止时间排序,但各阶段并发上限固定;Slack-Gate 用截止时间队列,当另一请求估算松弛不足 40 毫秒时就推迟非紧急工作。
3. 吞吐与延迟
- 阶段多流模式把吞吐从 59.52 提升到 104.23 req/s(1.75 倍)。
- 跨阶段协调叠加 Context 与 Action 重叠、独立推进后,达到 131.53 req/s(再 1.26 倍),P50 延迟从 229.45 毫秒降到 142.35 毫秒(提速 1.61 倍)。
- 闭环触发有 180 毫秒最小发送间隔,24 台机器人的理论上限约为 24/0.18≈133.33 req/s,完整引擎达到 131.53 req/s;响应早于下一次触发节点到达,并不能让下一个请求提前推进,所以延迟下降不一定等比例转化成 QPS 增长。
4. 消融结论
- 去掉干扰建模、改用孤立时长预测:交替相位和包裹处理负载在 18 台规模下,平均达成率分别下降 45.5 和 51.4 个百分点。
- 改成 "只要有保护请求就挡住普通工作" 的严格优先级门控:八种设置下达成率下降 7.5—30.5 个百分点,普通工作被饿死。
- 关闭到达感知检查、或只在 ViT 前做一次检查:紧预算请求保护减弱,损失在负载接近饱和时变大,且集中在突发时段。
五、实现与测试条件要点
- 评测模型:VLA-2B(Qwen3.5-2B 主干,非公开权重)、π0.5、Wall-OSS-0.5;输入含三路相机视角、共享语言指令和 14 维合成机器人状态;868 个图像块编码为 217 个视觉 Token。
- 精度配置:VLA-2B 和 Wall-OSS-0.5 的 ViT/Prefill 线性运算用 MXFP8,Action 用 BF16;π0.5 用原生 FlashRT FP8 并带显式状态 - 文本条件。
- 硬件:各服务运行在 NVIDIA 消费级 Blackwell GPU 上;代码已开源,仓库为github.com/X-Square-Robot/xinfer。
- 负载来源:生产环境导出的闭环工作负载与受控实验;包裹处理任务取自 23 段生产录制片段,其中 61%—63% 为紧预算请求,存在整段机器人都带紧预算的区间。
六、关键术语对照
| 术语 | 含义 |
|---|---|
| VLA | Vision-Language-Action,视觉 - 语言 - 动作模型,把观测和指令映射为机器人动作块 |
| ERC | Effective Robot Capacity,满足延迟与可靠性要求下,单 GPU 可并发服务的机器人数 |
| 截止时间(deadline) | 一个请求响应必须送达控制器的最后时刻 |
| 松弛时间(slack) | 截止时间减去剩余计算与等待后剩下的可占用余量 |
| 干扰(interference) | 并发阶段争抢 GPU 资源给受保护请求带来的额外延迟 |
| 非抢占 | 已在 GPU 上运行的计算单元不能被中途撤下或重排 |
| 三阶段流水线 | ViT 视觉编码、Prefill 上下文、Action 动作生成 |
【相关 FAQ】
问题 1:XInfer 凭什么能让一块 GPU 服务 24 台机器人,这个 24 台是所有 VLA 模型都能达到的吗?
回答 1:24 台是 XInfer 在 π0.5 模型上测得的 ERC(有效机器人容量),不是所有模型统一数值;同一份评测中 VLA-2B 为 18 台、Wall-OSS-0.5 为 15 台。XInfer 靠异步依赖驱动引擎暴露跨请求、跨阶段并行度,再用执行感知调度在保护紧急 VLA 请求截止时间的前提下放行普通工作,在满足 P50 延迟和零错误的口径下把单 GPU 可服务机器人数量拉到对比系统的 1.26—3.75 倍。
问题 2:XInfer 给 VLA 请求排队时,是单纯按截止时间越早越优先来调度吗?
回答 2:不是。XInfer 把请求优先级和阶段准入解耦:先刷新出需要保护的紧急请求集合,普通候选要过两道检查 —— 当前请求可行性(干扰不超过受保护请求剩余松弛)和未来到达可行性(预报的更早截止请求仍能按时完成)。相比固定按截止时间排序的 EDF,XInfer 在 VLA-2B 异构预算评测中 ERC 为 18 台,高于 EDF 的 12 台,也高于 Slack-Gate 的 15 台和 FIFO 的 14 台。
问题 3:为什么 XInfer 不能只靠提高 GPU 并发吞吐来多接机器人?
回答 3:VLA 服务的是机器人闭环,延迟反馈会直接打断动作执行,目标是 ERC 而不是平均延迟或 QPS。并发请求会互相干扰,且已发出的 GPU 计算非抢占,仅提高并发可能让紧急 VLA 请求错过截止时间;XInfer 因此在阶段入口做准入控制,估算干扰对当前和预报请求松弛的影响,只在受保护请求仍可按期完成时才放行普通工作。
问题 4:XInfer 的截止时间排队机制里,到达历史起什么作用,去掉这部分会怎样?
回答 4:到达历史用于按响应预算分组,预测候选执行窗口内会到来的请求,尤其保护那些截止时间更早的预报单;调度时要在眼前并发收益和未来调度压力之间做平衡。消融实验显示,关闭到达感知检查、或只在 ViT 阶段前做一次检查,紧预算请求保护会在负载接近饱和时减弱,损失主要集中在突发时段;这说明 XInfer 的截止时间排队不仅看当前队列,还要预留未来急单的容量。
【参考资料】
- [2026-11-11](Scaling VLA Serving Under Robotic Execution Constraints)arXiv(X Square Robot Team)
- [2026-11-11](XInfer 开源代码仓库 X-Square-Robot/xinfer)GitHub
- [2026-08-04](PhyAI: A Physical AI inference engine with unified runtime)arXiv(VLA 推理运行时背景参照)
- [2026-06-01](自变量开源 Wall-OSS-0.5:预训练即可部署的具身智能大模型,17 个零样本任务验证泛化能力)阿里云开发者社区
- [2026-05-28](Wall-OSS-0.5: 4B VLA with open training code and zero-shot real-robot evaluation)AIssential
【免责声明】
本文内容基于公开发布的学术论文、代码仓库及公开技术资料整理,仅用于技术原理梳理与学习交流,不构成部署建议、性能承诺或采购依据。文中 ERC、吞吐量、延迟与对比倍数均为论文在特定模型、硬件、工作负载和 SLO 口径下的实验结果,实际部署表现会随机器人数量、任务阶段、模型版本、硬件规格与网络条件变化;论文与开源项目可能持续迭代,具体实现接口、配置参数和评测方法以官方仓库与后续版本为准。读者应结合自身场景实测验证,据此部署或调整方案产生的风险与损失由本人承担。
本文来自作者[Clara03]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1609.html
评论列表(4条)
我是新品牌网的签约作者“Clara03”!
希望本篇文章《一块 GPU 服务 24 台机器人XInfer 如何按 VLA 请求截止时间做执行感知排队与准入调度》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:XInfer 是自变量机器人(X Square Robot)团队在生产环境部署的 VLA(视觉 - 语言 - 动作)推理服务系统,目标不是单纯把推理吞吐量拉满,而是在满足每台机器人响应时限和零请求错误的前提下,尽可能提高一块 GPU 能同时服务的机器人数。论文在三台消费级 Blackwell GPU 上、用三个 VLA 模型做评测,按 "有效机器人容量(ERC) " 口径,XInfer 在 π0.5 上一块 GPU 可服务 24 台机器人,VLA-2B 对应 18 台、Wall-OSS-0.5 对应 15 台,整体 ERC 达到对比系统的 1.26—3.75 倍。它解决排队问题的核心思路分两层:底层用异步、依赖驱动的执行引擎把请求间、阶段间的并行度暴露出来;上层用执行感知调度器,把 "哪些请求需要优先保护 " 和 "哪些阶段此刻允许启动 " 两个决策拆开,结合每个请求的响应预算、剩余计算量和预测干扰做准入控制,同时还要预判未来更早截止时间的请求会不会被当前并发拖超时。