WAM-TTT 用一段相机视频教机器人换场景上岗,π0.5 只剩 47% 保留率

我先联网查这条标题的原始报道,弄清 “被相机干翻的大模型” 具体是哪个项目、比较的是什么能力。

我已经找到线索,事件与 WAM-TTT(用普通相机拍的第一视角视频教机器人上岗)有关。接下来我会读取原文,并核对技术细节。

核心事实已经清楚了:这是银河通用在 7 月 15 日发布的 WAM-TTT,对比对象是 π0.5。接下来我会阅读原文和论文摘要,核对各项数字的具体口径。

实验表格已经拿到,媒体所用的 76%、47%、14.7% 都属于 “保留率” 口径。接下来我会核对论文摘要里的任务规模与三机型设置。

论文里有一个关键差别:媒体写的 “成功率”,论文实际叫 “平均任务进度”(含部分完成得分)。我再补一下 π0.5 与银河通用的背景数据。

2026 年 7 月 15 日,银河通用发布 WAM-TTT(World-Action Model Test-Time Training),自称 “全球首个面向具身智能大模型的测试时后训练框架”。它的做法很反直觉:不再给机器人补录遥操作轨迹,而是让普通人戴一台 GoPro 或举着手机,在新工位前随手拍一段第一视角干活视频,机器人看完就能上岗;预训练的世界 - 动作模型主干全程冻结,只更新一块轻量 “快速权重记忆”。官方与论文给出的对照是:在同时改变光照、桌高和操作物体的新场景里,WAM-TTT 的平均任务进度从 61.1% 降到 46.2%,保留 75.6%;π0.5 从 31.8% 降到 14.8%,只保留约 47%。等预算的数据消融里,“100 条机器人轨迹 + 100 条人类视频” 拿到 74.1%,纯 200 条昂贵机器人轨迹是 73.7%。但有两个关键口径必须先说清:论文指标是平均任务进度(含部分完成得分),不是成功率;9 个测试任务都落在元训练分布内,换的是场景,不是全新技能。

alphaXiv一、先看清它到底比了什么

这套评测的 “New 场景” 是组合式分布偏移:灯光变了、桌面高了 5 厘米、被操作的物体也换了。每个任务 - 场景格子跑 25 次,分数按子目标给部分分。

方法原场景平均进度新场景平均进度保留率备注
WAM-TTT61.1%46.2%75.6%只更新快速权重记忆
π0.531.8%14.8%约 47%硅谷明星 VLA 基线
WAM-ICL48.4%7.1%14.7%同一底座,把视频塞进上下文
LDA(WAM 底座,不喂人类视频)50.2%32.5%64.7%用来隔离 “人类视频” 的增量
WAM-COTRAIN29.8%25.3%84.9%把人类数据混进联合训练
EgoSCALE30.1%15.0%49.8%另一条人类视频路线

这组数字想说明的是:人类视频怎么用,比用不用更重要。同一段视频塞进上下文(ICL),新场景几乎归零;写进快速权重记忆,才留得住大半能力。

今日头条二、痛点不在 “会不会”,在 “换个地方就不认”

具身模型的训练和部署是两套世界:

  • 训练场里光照稳定、桌面高度固定、纸箱颜色统一,模型能把成功率刷得很高;
  • 客户现场灯偏暖、台面高几厘米、杯子换了品牌,模型就开始抓空、卡壳;
  • 传统解法是派工程师扛 VR 头显和遥控臂重录轨迹,再停线数天重训,成本高、周期长,还不保证泛化。

更麻烦的是 “灾难性遗忘”:为了适应新场景去做监督微调,容易把预训练积累的通用物理常识洗掉,变成一个只会干这一种活儿的模型。

今日头条三、WAM-TTT 的三段式做法

  1. 离线元训练:用成对采集的 “人类演示 + 机器人执行” 数据,通过 Key-Value 记忆重建目标,把人类的视觉线索和机器人的行为对齐。这一步是教模型 “看懂便签”,不是教具体动作。
  2. 部署时看视频:只给一段未标注的人类 RGB 视频,用自监督 “预测下一帧” 的方式更新快速权重记忆。不需要动作标签,不需要手部姿态估计,也不需要把人的动作重定向到机械臂。
  3. 冻结主干执行:预训练的 WAM、动作专家、慢投影、记忆初始化全部冻结,只有那块小记忆在变;记忆以残差形式加到视频流上,再通过联合的视频 - 动作建模去影响机器人动作。

用一句话概括:机器人不是模仿人的身体姿势,而是把 “这个场景里任务怎么推进” 写进一张临时便签,然后用自己的动作能力把活干完。

今日头条四、三笔账,解释 “一台相机” 为什么值钱

实验配置结果说明
等预算数据配比100 机器人 + 100 人类视频74.1%与 200 条纯机器人轨迹基本持平
同上200 机器人 + 0 人类73.7%成本高得多
同上100 机器人 + 0 人类59.5%砍掉一半机器人数据就掉 14 个点
同上10 机器人 + 190 人类51.4%人类视频加太多也救不回
加伪动作标签仅视频 vs 视频 + 手部伪动作72.3% vs 28.9%Table Bussing 从 100% 掉到 33.3%
换适配方式WAM-TTT vs WAM-LoRA100/88.9 vs 30/0LoRA 在两个任务上明显不适应

三笔账分别是:数据账(人类视频能 1:1 替代一部分遥操数据)、标注账(强行加手部伪标签反而破坏物理理解)、架构账(改参数不如改记忆,避免遗忘)。这也是 “相机干翻大模型” 这个说法的真实来源:不是相机比模型聪明,而是部署期的一段廉价视频,补上了昂贵模型最缺的现场信息。

今日头条五、六个容易被标题带偏的地方

  1. “成功率” 其实是 “平均任务进度”。论文按子目标给部分分,46.2% 不是 “46.2% 的回合完全成功”。媒体统一写成成功率,读起来会比实际更惨或更强,取决于你怎么理解。
  2. 保留率高 ≠ 绝对水平高。WAM-COTRAIN 的保留率 84.9% 比 WAM-TTT 的 75.6% 还高,但它的新场景绝对值只有 25.3%,因为起点就低。只看 “保留率” 会误判。
  3. 9 个任务都在元训练分布内。论文明确说,实验测的是 “换场景” 的迁移,不是 “看视频学会全新技能”;任务漂移出配对分布后会掉多少,作者说还没有实测。
  4. 不是零机器人数据。部署阶段确实只要人类视频,但元训练阶段依赖成对的人类 - 机器人数据。省掉的是 “每个客户现场重录轨迹”,不是 “从零不要机器人数据”。
  5. π0.5 不是被同条件重训打败的。它是外部基线,架构、预训练数据、算力都不同;这组对比证明的是 “部署期视频的用法” 有优势,不是 “π0.5 这个模型不行”。
  6. “几亿美金” 说少了,也说偏了。Physical Intelligence 累计融资已超过 10 亿美元(2024 年 4 亿美元 A 轮、2025 年 6 亿美元 B 轮),但这是公司融资,不是 π0.5 单模型的训练账单;把公司估值当模型成本,是标题最常用的偷换。

还有一个反例值得记住:在 Stamp Paper 任务上,WAM-TTT 只有 8.3%,反而低于不喂人类视频的 LDA 的 33.3%。作者的解释是这个任务需要几何上很紧的对齐,人类视频没有明显纠正过来 —— 这是解释,不是已证明的因果。

36氪六、放到今天看,这件事进展到哪了

  • 论文 7 月 8 日挂上 arXiv,10 月 23 日更新到 v3,并作为 CoRL 2026 Poster 出现;
  • 银河通用把它归入 “银河星脑 AstraBrain” 体系,官方页面称其为面向 WAM 的规模化部署技术;
  • 北京科创与经信部门的稿件把它写作 “全球首个面向具身智能世界模型的测试时后训练框架”,措辞与官方 “世界 - 动作模型” 略有差异,指的是同一套东西;
  • 需要提醒:原始报道发布于 2026 年 7 月 16 日,不是 “刚刚”;今天是 11 月,论文与产品口径都已迭代过一轮。

国际科技创新中心对行业来说,这次真正被改写的不是 “模型分数”,而是部署成本结构:过去每进一个新场景,就要重采一遍机器人轨迹、重训一次模型;现在最低配置可能是一段手机视频加几分钟的测试时适配。但要从 demo 走到规模化,还得回答三个问题:元训练数据能不能覆盖足够多的场景、任务漂移后性能怎么衰减、以及按 “完全成功率” 而不是 “任务进度” 算账时还剩下多少。

【相关 FAQ】

问题 1:WAM-TTT 到底是什么,为什么说一台相机就能让机器人上岗?

回答 1:WAM-TTT 是银河通用的测试时后训练框架,部署时只需一段未标注的人类第一视角视频,就能更新 WAM-TTT 里的轻量快速权重记忆,预训练主干保持冻结,所以一台普通相机拍到的画面就能当 “现场教材”。

问题 2:WAM-TTT 真的比 π0.5 强吗,强多少?

回答 2:在同时换光照、桌高和物体的新场景里,WAM-TTT 的平均任务进度是 46.2%,π0.5 是 14.8%,保留率约 75.6% 对 47%;但这是不同架构、不同预训练数据的外部基线对比,且指标是任务进度而非成功率,不能说成全面碾压。

问题 3:用人类视频训练机器人,是不是就不再需要机器人数据了?

回答 3:不是。WAM-TTT 省掉的是部署阶段每个新场景的遥操作采集,元训练阶段仍要成对的人类 - 机器人数据;论文也明确说这套配方并非 “无机器人数据”。

问题 4:WAM-TTT 现在能直接商用规模化吗?

回答 4:方向成立,但还差验证。WAM-TTT 的 9 个测试任务都在元训练分布内,Stamp Paper 这类任务上还输给不喂视频的 LDA;任务漂移后的衰减、完全成功率、以及元训练数据的覆盖度,都还没有公开的规模化答案。

【参考资料】

[2026-10-23](WAM-TTT: Steering World-Action Models by Watching Human Play at Test Time)arXiv

[2026-08-11](“最强大脑” 与 “最强小脑” 相互需要)36 氪

[2026-08-03](北京具身智能迈入全身协同新范式)国际科技创新中心

[2026-07-20](WAIC,机器人变了)36 氪

[2026-07-16](几亿美金砸出来的硅谷大模型,被一台相机干翻了!)新智元

[2026-07-16](全球首个!银河通用新框架仅需人类视频即可部署,特斯拉蚌埠住了)量子位

【免责声明】

本文基于 WAM-TTT 论文(arXiv:2607.06988,v3)、银河通用官方页面及新智元、量子位、36 氪等公开报道整理,仅作信息分享,不构成投资、采购或技术选型建议。“全球首个” 为发布方与部分官方稿件口径,未经独立第三方裁定;“一台相机干翻几亿美金大模型” 是媒体标题化表达,实际比较的是部署期人类视频的用法,而非两个模型在同一条件下的全面对垒。文中百分比为论文 “平均任务进度” 口径,与 “完全成功率” 不可直接互换;融资数据来自公开报道,π0.5 单模型训练成本未公开。

本文来自作者[peach07]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/qyzx/202611/141.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • peach07
    peach07 2026年11月10日

    我是新品牌网的签约作者“peach07”!

  • peach07
    peach07 2026年11月10日

    希望本篇文章《WAM-TTT 用一段相机视频教机器人换场景上岗,π0.5 只剩 47% 保留率》能对你有所帮助!

  • peach07
    peach07 2026年11月10日

    本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索

  • peach07
    peach07 2026年11月10日

    本文概览:我先联网查这条标题的原始报道,弄清 “被相机干翻的大模型” 具体是哪个项目、比较的是什么能力。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们