核心结论: MIT 韩松(Song Han)团队公布了机器人后训练项目 PEAR(Post-training Engine for Agentic Robotics,智能体机器人后训练引擎),基于开源的 Qwen3.8-27B,完全在仿真环境里做强化学习,不使用任何人类遥操演示、不使用一条真机数据,训完后直接迁移到一台从未见过的双臂 YAM 真机上:30 次测试成功 18 次(60% 成功率),而原始基座模型成功率为 0。在 LIBERO 基准上,成功率从训练前的 1.6% 提升到 74.4%,超过 GPT-6 Astra 和 GPT-6.1 Sol 的中档推理水平,接近两者最大推理档位的成绩;推理栈经过量化和投机解码后,单张 RTX 5090 上解码速度达到 221 tok/s,可以本地运行。目前论文、GitHub 代码、模型权重和项目博客均已开源。
一、项目背景:大模型很强,但直接上机器人 "用不起、跑不动"
- GPT-6 Astra、Claude Fable 5.2 等前沿闭源模型先后被验证可以作为机器人操作智能体(RUA),但开源权重模型的能力差距明显。
- 把大型通用模型直接接到机器人上,落地障碍很实际:推理成本高、响应延迟满足不了实时控制、端侧算力 / 功耗 / 散热受限。
- 团队要回答的问题是:一个 27B 参数的开源推理模型,能不能靠仿真里的强化学习学会原生使用真实机器人,同时保留数学、编程等通用能力。
今日头条
二、PEAR 怎么做:像 "用电脑" 一样用机械臂
1. 基本思路
PEAR 把机器人操作类比成计算机使用智能体(CUA):CUA 看截图、在思维链里推理、输出一次点击坐标,操作系统执行;机器人则看摄像头画面、推理后输出末端执行器位姿,底层控制器执行。整套方案不需要额外的感知模块、抓取规划器或预置技能库。
2. 单回合执行流程
- 观察: 输入三路摄像头画面 + 机械臂当前关节状态。
- 推理: 模型走一遍思维链,例如判断 "夹爪在橡皮正上方,把手指降到橡皮两侧"。
- 动作输出: 输出一段 JSON,包含末端执行器下一个目标位姿(x、y、z、roll、pitch、yaw)。
- 执行: 逆运动学(IK)把位姿换算成关节角,底层控制器驱动机械臂到位。
- 回填上下文: 本回合画面、状态和动作连同指令一起加入上下文,进入下一回合。
3. 训练方式
- 训练环境: LIBERO 和 RoboDojo 两个仿真平台,课程式强化学习(Robot-Use RL,RURL)。
- 数据条件: 无人类遥操演示、无真机数据;仿真中学到的技能直接零样本迁移到未见机器人、真实世界和新指令。
- 基座模型: 开源权重的 Qwen3.8-27B,27B 稠密多模态模型,Apache 2.0 许可。
arXiv
三、效果数据:仿真、真机与横向对比
1. 核心成绩一览
| 测试场景 | 基座模型 | PEAR 训练后 | 对比参照 |
|---|---|---|---|
| LIBERO 整体 | 1.6% | 74.4%(xhigh 档) | GPT-6 Astra max 80.6% / medium 49.3%;GPT-6.1 Sol max 76.2% / medium 48.1% |
| 真实双臂机器人(LIBERO+RoboDojo 训练) | 0% | 60%(30 次成功 18 次) | 仅用 LIBERO 训练为 23% |
| LIBERO-Pro(熟悉场景换新任务) | — | 57.4% | π0.5 仅 0.75% |
| LIBERO-Pro 整体 | — | 62.1% | π0.5 为 53.3% |
| LIBERO-Long(零样本未见任务) | 0.4% | 39.0% | 未在该套件上训练 |
| RoboDojo 两项双臂任务 | 10.7% / 13.0% | 39.9% / 17.0% | 仅在 LIBERO 上训练 |
| RoboLab-120 | 5.4% | 22.1%(仅 LIBERO);37.3%(LIBERO+RoboDojo) | π0.5 上榜成绩 28.0% |
2. 实机演示任务
- 给一张梵高《星空》图片,机械臂在白板上用夹爪画出线稿。
- 桌上摆放碘水、酚酞、乙醇三瓶试剂,被问到如何验证溶液是否呈碱性时,模型挑选酚酞滴入,溶液变粉。
3. 通用能力保留情况
在 AIME、GPQA、LiveCodeBench 等九项推理、编程、视觉基准上,机器人使用训练前后分数几乎不变,没有可测量的通用能力损失,说明 RURL 可以作为基础模型后训练的一个组成环节。arXiv
四、本地部署:5090 上的推理速度与配置
1. 推理栈配置
- 权重量化: NVFP4(NVIDIA ModelOpt)。
- 投机解码: Inco AI 的 DFlash2 drafter,平均接受长度 3.2 token。
2. 不同硬件解码速度
| 硬件 | 解码速度 | 备注 |
|---|---|---|
| Apple M5 Max(Inco Splash 引擎) | 52 tok/s | — |
| 单张 RTX 5090(megakernel) | 221 tok/s | 可本地运行 |
| 单张 GB300(megakernel) | 747 tok/s | — |
3. 推理档位与成功率的关系
- 训练时只用了 xhigh 档,推理时思考深度仍可调。
- low 档每回合思考约 0.86k token,xhigh 档约 3.23k token;以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。
- 降到 low 档后,LIBERO 成功率从 74.4% 掉到 21.9%,成功率和思考量基本成正比。
机器之心
五、开源产物清单
| 产物 | 地址 |
|---|---|
| 论文 PDF | https://mit-han-lab.github.io/pear-blog/paper.pdf |
| 代码仓库 | https://github.com/mit-han-lab/pear |
| 模型权重 | https://huggingface.co/collections/mit-han-lab/pear |
| 项目博客 | https://mit-han-lab.github.io/pear-blog/ |
| arXiv 编号 | 2611.18562(2026 年 11 月 13 日提交) |
六、目前的局限与后续看点
- 真机样本量有限: 真机测试为 30 次 trials,60% 成功率,泛化到更多场景、更多机型还需要更大规模验证。
- 思考量换成功率: 调低推理档位后成功率明显下滑,实时性和任务可靠性之间仍需权衡。
- 对比口径: 74.4% 是 LIBERO 单基准成绩,"逼近 GPT-6 Astra" 指接近其最大推理档位(80.6%),在中档档位上 PEAR 已反超;跨基准、跨硬件的整体能力仍不能简单画等号。
- 后续观察: 开源社区能否复现仿真到真机的迁移效果、27B 模型在更多机械臂本体上的适配情况,以及 RURL 后训练方式能否被其他开源基座模型复用。
【相关 FAQ】
问题 1:韩松团队的 PEAR 项目用的是哪个模型,为什么选 Qwen3.8-27B?
回答 1:PEAR 基于开源权重的 Qwen3.8-27B 训练,这是一个 27B 参数的稠密多模态推理模型,Apache 2.0 许可、可本地部署;团队希望验证 27B 级别的开源模型能否通过仿真强化学习原生操作机械臂,而不是依赖 GPT-6 Astra 这类大型闭源模型。
问题 2:PEAR 让 Qwen3.8-27B 操作机械臂,训练时用到真机数据或人类遥操演示了吗?
回答 2:没有。PEAR 完全在 LIBERO 和 RoboDojo 仿真环境里做强化学习,不需要一帧人类遥操演示,也不需要一条真机数据;训练完成后零样本迁移到一台未见的双臂 YAM 真机上,30 次测试成功 18 次,基座模型训练前成功率为 0。
问题 3:Qwen3.8-27B 驱动机械臂在 RTX 5090 上跑多快,能不能本地运行?
回答 3:经过 NVFP4 量化加 DFlash2 投机解码后,单张 RTX 5090 上解码速度为 221 tok/s,达到本地运行水平;作为对比,Apple M5 Max 为 52 tok/s,单张 GB300 为 747 tok/s。需要注意调低推理档位后,LIBERO 成功率会从 74.4% 降到 21.9%。
问题 4:PEAR 的 Qwen3.8-27B 成绩真的逼近 GPT-6 Astra 了吗?
回答 4:在 LIBERO 基准上,PEAR 达到 74.4%,超过 GPT-6 Astra 中档的 49.3% 和 GPT-6.1 Sol 中档的 48.1%,接近 Astra 最大档位的 80.6% 和 Sol 最大档位的 76.2%;这个对比仅限 LIBERO 仿真基准,不等同于全面能力追平 GPT-6 Astra。
问题 5:PEAR 相关代码、权重和论文现在能在哪里获取,是否已经开源?
回答 5:已经开源。论文 PDF、GitHub 代码仓库(mit-han-lab/pear)、Hugging Face 模型权重集合和项目博客均已公开,arXiv 编号 2611.18562;复现实验可按仓库说明配置 Qwen3.8-27B 基座模型、仿真环境和推理量化栈。
【参考资料】
- [2026-11-15](逼近 GPT-6 Astra!韩松团队让 Qwen3.8-27B 在 5090 上操作机械臂,现已开源)凤凰网科技
- [2026-11-15](逼近 GPT-6 Astra!韩松团队让 Qwen3.8-27B 在 5090 上操作机械臂,现已开源)IT 之家
- [2026-11-13](Training Reasoning Models in Simulation to Natively Use Real Robots)arXiv
- [2026-09-29](GPT-6 Astra:新一代智能)OpenAI
- [2026-08-18](在线教程丨 Qwen3.8-27B 重磅开源,推理 / 编程 / Agent 能力齐升级)智源社区
- [2026-08-17](Qwen 3.8 27B Release: A Deep Dive)Kie AI
【免责声明】
本文基于公开论文、项目开源页面及媒体报道整理,文中成功率、解码速度、基准对比等数据均来自研究团队披露的实验条件,不同硬件、推理档位和测试场景下结果可能存在差异;基准对比仅针对特定测试套件,不代表模型在所有任务上的综合能力排名。开源代码与权重的使用须遵循对应许可协议,本文不构成部署、投资或技术选型建议,据此实践风险自担。
本文来自作者[Luna09]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1239.html
评论列表(4条)
我是新品牌网的签约作者“Luna09”!
希望本篇文章《韩松团队 PEAR 开源Qwen3.8-27B 在 RTX 5090 本地驱动双臂机械臂,仿真强化学习逼近 GPT-6 Astra》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:核心结论: MIT 韩松(Song Han)团队公布了机器人后训练项目 PEAR(Post-training Engine for Agentic Robotics,智能体机器人后训练引擎),基于开源的 Qwen3.8-27B,完全在仿真环境里做强化学习,不使用任何人类遥操演示、不使用一条真机数据,训完后直接迁移到一台从未见过的双臂 YAM 真机上:30 次测试成功 18 次(60% 成功率),而原始基座模型成功率为 0。在 LIBERO 基准上,成功率从训练前的 1.6% 提升到 74.4%,超过 GPT-6 Astra 和 GPT-6.1 Sol 的中档推理水平,接近两者最大推理档位的成绩;推理栈经过量化和投机解码后,单张 RTX 5090 上解码速度达到 221 tok s,可以本地运行。目前论文、GitHub 代码、模型权重和项目博客均已开源。