一块 GPU 服务 24 台机器人XInfer 如何按 VLA 请求截止时间做执行感知排队与准入调度

XInfer 是自变量机器人(X Square Robot)团队在生产环境部署的 VLA(视觉 - 语言 - 动作)推理服务系统,目标不是单纯把推理吞吐量拉满,而是在满足每台机器人响应时限和零请求错误的前提下,尽可能提高一块 GPU 能同时服务的机器人数。论文在三台消费级 Blackwell GPU 上、用三个 VLA 模型做评测,按 "有效机器人容量(ERC)" 口径,XInfer 在 π0.5 上一块 GPU 可服务 24 台机器人,VLA-2B 对应 18 台、Wall-OSS-0.5 对应 15 台,整体 ERC 达到对比系统的 1.26—3.75 倍。它解决排队问题的核心思路分两层:底层用异步、依赖驱动的执行引擎把请求间、阶段间的并行度暴露出来;上层用执行感知调度器,把 "哪些请求需要优先保护" 和 "哪些阶段此刻允许启动" 两个决策拆开,结合每个请求的响应预算、剩余计算量和预测干扰做准入控制,同时还要预判未来更早截止时间的请求会不会被当前并发拖超时。

一、问题背景:为什么 VLA 排队不能只看先来后到

VLA 服务于机器人闭环控制,机器人在等待新响应的同时,会继续执行上一段动作;反馈晚了,动作就可能脱节。共享 GPU 做多机器人并发时,有几个绕不开的约束:

  • 异构阶段:一个 VLA 请求要走视觉编码(ViT)、语言前缀(Prefill,与 ViT 合称 Context)、动作生成(Action)等计算特性不同的阶段,各阶段耗时和资源占用不一样。
  • 并发干扰:新加进来的阶段会和已在跑的阶段争抢 GPU,拖慢正在进行的任务。
  • 非抢占:已经发到 GPU 上的计算单元不能中途打断重排,所以只把紧急请求排到前面,并不能防止 "已经放进来的活儿" 导致后续请求超时。
  • 时限随动作阶段变化:同样计算量的请求,在对齐、接触等敏感阶段反馈更急,在运输阶段相对宽松;响应时机还会影响下一个请求什么时候到来,调度和未来负载是耦合在一起的。
  • 评价口径是 ERC,不是平均延迟:ERC 指在满足指定延迟和可靠性要求下,一块 GPU 能同时服务的最大机器人数;VLA-2B 评测口径为响应 P50 低于 150 毫秒且零请求错误。

因此车队服务要同时回答两个问题:哪些请求需要优先保护,哪些阶段在不危及当前和未来截止时间的前提下可以放行。

二、系统架构:异步执行与两条提交路径

1. 请求流水线

阶段职责运行位置
CPU 准备输入整理、多视角图像与指令、机器人状态拼接主机侧
ViT视觉编码,图像块转视觉 Token与 Prefill 同进程
Prefill语言与上下文前缀编码与 ViT 同进程
Action动作块去噪生成完整轨迹独立进程
输出处理动作块解码、回传控制器主机侧

2. 并发与隔离设计

  • ViT 和 Prefill 共享一个进程,Action 单独跑在另一个进程,各有独立的主机提交循环和私有执行状态,避免主机侧工作被一条提交循环串行化。
  • ViT/Prefill 进程内部用 CUDA 流支持并发;两个进程之间靠 NVIDIA MPS 在同一块共享 GPU 上并发执行。
  • 请求复用只读权重,中间状态各自私有;有界状态槽位在下游阶段接不住时向上游传导背压。
  • 已发出的 GPU 计算单元非抢占;每个执行单元按自身完成事件推进,不设统一回合屏障,请求状态保持私有。

三、截止时间排队:优先级与准入解耦

XInfer 调度器在每个阶段入口做准入控制,整体机制可以拆成下面几步。

1. 刷新优先级

到达、完成和周期性 tick 都会触发调度算法;驱动按 Action、Prefill、ViT 的顺序依次遍历各阶段。REFRESHPRIORITY根据请求进度和共享资源状态,刷新出需要保护的紧急请求集合 H,以及当前可预见的负载量。

2. 扫描就绪队列

SCANREADY按优先级顺序扫描该阶段就绪工作,在阶段容量内依次给出候选;没通过检查的候选保留在队列里,留到下一轮扫描。

3. 当前请求可行性检查(CURRENTFEASIBLE)

普通候选 u 不属于保护集合 H 时,先假设把它加进负载,估算它对每个受保护请求 h 带来的干扰增量 Δ;只要干扰增量不超过 h 当前剩余的松弛时间 σ,即 Δ≤σ,候选才允许放行。这一步等价于把经典的松弛窃取(slack stealing)思路改到并发 GPU 阶段上:受保护请求还留有足够余量时,才借用这部分并行能力。

4. 未来到达可行性检查(FORECASTFEASIBLE)

仅保住当前请求还不够。调度器用近期到达历史,按响应预算分组,预测候选执行窗口内会到来的请求;对那些截止时间比候选更早的预报请求,要满足前端预留时间 f、剩余流水线估算 R_V 和预算 b_e 的不等式约束。通不过就推迟候选,避免今天抢并发把下一批急单拖超时。

5. 放行并刷新状态

检查通过后发出(ISSUE)候选,更新队列与运行状态,并在放行下一个候选前重新刷新保护集合和负载快照;论文里的例子是:候选 u 消耗掉 A 请求 10 毫秒松弛中的 6 毫秒、还剩 4 毫秒,再来候选 v 会再占 6 毫秒,v 就被推迟 —— 如果都对着原始快照独立判断,两个都会被错误放行。

四、评测结果:ERC 与吞吐表现

1. 对比系统 ERC(响应延迟口径,无错误响应)

服务系统VLA-2BWall-OSS-0.5π0.5
XInfer181524
SGLang10514
vLLM-Omni10815
FlashRT549
Robion111019

相对 Robion,XInfer 在三个模型上的 ERC 分别高 63.6%、50%、26.3%。标题里 "一块 GPU 服务 24 台机器人" 对应的是 π0.5 这一档,并非三个模型统一都是 24 台。

2. 异构响应预算下的策略对比(VLA-2B,95% SLO 口径)

调度策略ERC(机器人)
XInfer18
Slack-Gate15
FIFO(先来先服务)14
EDF(按截止时间排队)12

对照策略的基本做法:FIFO 按到达顺序排队;EDF 在每个阶段队列里按截止时间排序,但各阶段并发上限固定;Slack-Gate 用截止时间队列,当另一请求估算松弛不足 40 毫秒时就推迟非紧急工作。

3. 吞吐与延迟

  • 阶段多流模式把吞吐从 59.52 提升到 104.23 req/s(1.75 倍)。
  • 跨阶段协调叠加 Context 与 Action 重叠、独立推进后,达到 131.53 req/s(再 1.26 倍),P50 延迟从 229.45 毫秒降到 142.35 毫秒(提速 1.61 倍)。
  • 闭环触发有 180 毫秒最小发送间隔,24 台机器人的理论上限约为 24/0.18≈133.33 req/s,完整引擎达到 131.53 req/s;响应早于下一次触发节点到达,并不能让下一个请求提前推进,所以延迟下降不一定等比例转化成 QPS 增长。

4. 消融结论

  • 去掉干扰建模、改用孤立时长预测:交替相位和包裹处理负载在 18 台规模下,平均达成率分别下降 45.5 和 51.4 个百分点。
  • 改成 "只要有保护请求就挡住普通工作" 的严格优先级门控:八种设置下达成率下降 7.5—30.5 个百分点,普通工作被饿死。
  • 关闭到达感知检查、或只在 ViT 前做一次检查:紧预算请求保护减弱,损失在负载接近饱和时变大,且集中在突发时段。

五、实现与测试条件要点

  • 评测模型:VLA-2B(Qwen3.5-2B 主干,非公开权重)、π0.5、Wall-OSS-0.5;输入含三路相机视角、共享语言指令和 14 维合成机器人状态;868 个图像块编码为 217 个视觉 Token。
  • 精度配置:VLA-2B 和 Wall-OSS-0.5 的 ViT/Prefill 线性运算用 MXFP8,Action 用 BF16;π0.5 用原生 FlashRT FP8 并带显式状态 - 文本条件。
  • 硬件:各服务运行在 NVIDIA 消费级 Blackwell GPU 上;代码已开源,仓库为github.com/X-Square-Robot/xinfer。
  • 负载来源:生产环境导出的闭环工作负载与受控实验;包裹处理任务取自 23 段生产录制片段,其中 61%—63% 为紧预算请求,存在整段机器人都带紧预算的区间。

六、关键术语对照

术语含义
VLAVision-Language-Action,视觉 - 语言 - 动作模型,把观测和指令映射为机器人动作块
ERCEffective Robot Capacity,满足延迟与可靠性要求下,单 GPU 可并发服务的机器人数
截止时间(deadline)一个请求响应必须送达控制器的最后时刻
松弛时间(slack)截止时间减去剩余计算与等待后剩下的可占用余量
干扰(interference)并发阶段争抢 GPU 资源给受保护请求带来的额外延迟
非抢占已在 GPU 上运行的计算单元不能被中途撤下或重排
三阶段流水线ViT 视觉编码、Prefill 上下文、Action 动作生成

【相关 FAQ】

问题 1:XInfer 凭什么能让一块 GPU 服务 24 台机器人,这个 24 台是所有 VLA 模型都能达到的吗?

回答 1:24 台是 XInfer 在 π0.5 模型上测得的 ERC(有效机器人容量),不是所有模型统一数值;同一份评测中 VLA-2B 为 18 台、Wall-OSS-0.5 为 15 台。XInfer 靠异步依赖驱动引擎暴露跨请求、跨阶段并行度,再用执行感知调度在保护紧急 VLA 请求截止时间的前提下放行普通工作,在满足 P50 延迟和零错误的口径下把单 GPU 可服务机器人数量拉到对比系统的 1.26—3.75 倍。

问题 2:XInfer 给 VLA 请求排队时,是单纯按截止时间越早越优先来调度吗?

回答 2:不是。XInfer 把请求优先级和阶段准入解耦:先刷新出需要保护的紧急请求集合,普通候选要过两道检查 —— 当前请求可行性(干扰不超过受保护请求剩余松弛)和未来到达可行性(预报的更早截止请求仍能按时完成)。相比固定按截止时间排序的 EDF,XInfer 在 VLA-2B 异构预算评测中 ERC 为 18 台,高于 EDF 的 12 台,也高于 Slack-Gate 的 15 台和 FIFO 的 14 台。

问题 3:为什么 XInfer 不能只靠提高 GPU 并发吞吐来多接机器人?

回答 3:VLA 服务的是机器人闭环,延迟反馈会直接打断动作执行,目标是 ERC 而不是平均延迟或 QPS。并发请求会互相干扰,且已发出的 GPU 计算非抢占,仅提高并发可能让紧急 VLA 请求错过截止时间;XInfer 因此在阶段入口做准入控制,估算干扰对当前和预报请求松弛的影响,只在受保护请求仍可按期完成时才放行普通工作。

问题 4:XInfer 的截止时间排队机制里,到达历史起什么作用,去掉这部分会怎样?

回答 4:到达历史用于按响应预算分组,预测候选执行窗口内会到来的请求,尤其保护那些截止时间更早的预报单;调度时要在眼前并发收益和未来调度压力之间做平衡。消融实验显示,关闭到达感知检查、或只在 ViT 阶段前做一次检查,紧预算请求保护会在负载接近饱和时减弱,损失主要集中在突发时段;这说明 XInfer 的截止时间排队不仅看当前队列,还要预留未来急单的容量。

【参考资料】

  • [2026-11-11](Scaling VLA Serving Under Robotic Execution Constraints)arXiv(X Square Robot Team)
  • [2026-11-11](XInfer 开源代码仓库 X-Square-Robot/xinfer)GitHub
  • [2026-08-04](PhyAI: A Physical AI inference engine with unified runtime)arXiv(VLA 推理运行时背景参照)
  • [2026-06-01](自变量开源 Wall-OSS-0.5:预训练即可部署的具身智能大模型,17 个零样本任务验证泛化能力)阿里云开发者社区
  • [2026-05-28](Wall-OSS-0.5: 4B VLA with open training code and zero-shot real-robot evaluation)AIssential

【免责声明】

本文内容基于公开发布的学术论文、代码仓库及公开技术资料整理,仅用于技术原理梳理与学习交流,不构成部署建议、性能承诺或采购依据。文中 ERC、吞吐量、延迟与对比倍数均为论文在特定模型、硬件、工作负载和 SLO 口径下的实验结果,实际部署表现会随机器人数量、任务阶段、模型版本、硬件规格与网络条件变化;论文与开源项目可能持续迭代,具体实现接口、配置参数和评测方法以官方仓库与后续版本为准。读者应结合自身场景实测验证,据此部署或调整方案产生的风险与损失由本人承担。

本文来自作者[Clara03]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1609.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Clara03
    Clara03 2026年11月18日

    我是新品牌网的签约作者“Clara03”!

  • Clara03
    Clara03 2026年11月18日

    希望本篇文章《一块 GPU 服务 24 台机器人XInfer 如何按 VLA 请求截止时间做执行感知排队与准入调度》能对你有所帮助!

  • Clara03
    Clara03 2026年11月18日

    本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索

  • Clara03
    Clara03 2026年11月18日

    本文概览:XInfer 是自变量机器人(X Square Robot)团队在生产环境部署的 VLA(视觉 - 语言 - 动作)推理服务系统,目标不是单纯把推理吞吐量拉满,而是在满足每台机器人响应时限和零请求错误的前提下,尽可能提高一块 GPU 能同时服务的机器人数。论文在三台消费级 Blackwell GPU 上、用三个 VLA 模型做评测,按 "有效机器人容量(ERC) " 口径,XInfer 在 π0.5 上一块 GPU 可服务 24 台机器人,VLA-2B 对应 18 台、Wall-OSS-0.5 对应 15 台,整体 ERC 达到对比系统的 1.26—3.75 倍。它解决排队问题的核心思路分两层:底层用异步、依赖驱动的执行引擎把请求间、阶段间的并行度暴露出来;上层用执行感知调度器,把 "哪些请求需要优先保护 " 和 "哪些阶段此刻允许启动 " 两个决策拆开,结合每个请求的响应预算、剩余计算量和预测干扰做准入控制,同时还要预判未来更早截止时间的请求会不会被当前并发拖超时。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们