韩松团队 PEAR 开源Qwen3.8-27B 在 RTX 5090 本地驱动双臂机械臂,仿真强化学习逼近 GPT-6 Astra

核心结论: MIT 韩松(Song Han)团队公布了机器人后训练项目 PEAR(Post-training Engine for Agentic Robotics,智能体机器人后训练引擎),基于开源的 Qwen3.8-27B,完全在仿真环境里做强化学习,不使用任何人类遥操演示、不使用一条真机数据,训完后直接迁移到一台从未见过的双臂 YAM 真机上:30 次测试成功 18 次(60% 成功率),而原始基座模型成功率为 0。在 LIBERO 基准上,成功率从训练前的 1.6% 提升到 74.4%,超过 GPT-6 Astra 和 GPT-6.1 Sol 的中档推理水平,接近两者最大推理档位的成绩;推理栈经过量化和投机解码后,单张 RTX 5090 上解码速度达到 221 tok/s,可以本地运行。目前论文、GitHub 代码、模型权重和项目博客均已开源。

一、项目背景:大模型很强,但直接上机器人 "用不起、跑不动"

  • GPT-6 Astra、Claude Fable 5.2 等前沿闭源模型先后被验证可以作为机器人操作智能体(RUA),但开源权重模型的能力差距明显。
  • 把大型通用模型直接接到机器人上,落地障碍很实际:推理成本高、响应延迟满足不了实时控制、端侧算力 / 功耗 / 散热受限。
  • 团队要回答的问题是:一个 27B 参数的开源推理模型,能不能靠仿真里的强化学习学会原生使用真实机器人,同时保留数学、编程等通用能力。

今日头条

二、PEAR 怎么做:像 "用电脑" 一样用机械臂

1. 基本思路

PEAR 把机器人操作类比成计算机使用智能体(CUA):CUA 看截图、在思维链里推理、输出一次点击坐标,操作系统执行;机器人则看摄像头画面、推理后输出末端执行器位姿,底层控制器执行。整套方案不需要额外的感知模块、抓取规划器或预置技能库。

2. 单回合执行流程

  1. 观察: 输入三路摄像头画面 + 机械臂当前关节状态。
  2. 推理: 模型走一遍思维链,例如判断 "夹爪在橡皮正上方,把手指降到橡皮两侧"。
  3. 动作输出: 输出一段 JSON,包含末端执行器下一个目标位姿(x、y、z、roll、pitch、yaw)。
  4. 执行: 逆运动学(IK)把位姿换算成关节角,底层控制器驱动机械臂到位。
  5. 回填上下文: 本回合画面、状态和动作连同指令一起加入上下文,进入下一回合。

3. 训练方式

  • 训练环境: LIBERO 和 RoboDojo 两个仿真平台,课程式强化学习(Robot-Use RL,RURL)。
  • 数据条件: 无人类遥操演示、无真机数据;仿真中学到的技能直接零样本迁移到未见机器人、真实世界和新指令。
  • 基座模型: 开源权重的 Qwen3.8-27B,27B 稠密多模态模型,Apache 2.0 许可。

arXiv

三、效果数据:仿真、真机与横向对比

1. 核心成绩一览

测试场景基座模型PEAR 训练后对比参照
LIBERO 整体1.6%74.4%(xhigh 档)GPT-6 Astra max 80.6% / medium 49.3%;GPT-6.1 Sol max 76.2% / medium 48.1%
真实双臂机器人(LIBERO+RoboDojo 训练)0%60%(30 次成功 18 次)仅用 LIBERO 训练为 23%
LIBERO-Pro(熟悉场景换新任务)—57.4%π0.5 仅 0.75%
LIBERO-Pro 整体—62.1%π0.5 为 53.3%
LIBERO-Long(零样本未见任务)0.4%39.0%未在该套件上训练
RoboDojo 两项双臂任务10.7% / 13.0%39.9% / 17.0%仅在 LIBERO 上训练
RoboLab-1205.4%22.1%(仅 LIBERO);37.3%(LIBERO+RoboDojo)π0.5 上榜成绩 28.0%

2. 实机演示任务

  • 给一张梵高《星空》图片,机械臂在白板上用夹爪画出线稿。
  • 桌上摆放碘水、酚酞、乙醇三瓶试剂,被问到如何验证溶液是否呈碱性时,模型挑选酚酞滴入,溶液变粉。

3. 通用能力保留情况

在 AIME、GPQA、LiveCodeBench 等九项推理、编程、视觉基准上,机器人使用训练前后分数几乎不变,没有可测量的通用能力损失,说明 RURL 可以作为基础模型后训练的一个组成环节。arXiv

四、本地部署:5090 上的推理速度与配置

1. 推理栈配置

  • 权重量化: NVFP4(NVIDIA ModelOpt)。
  • 投机解码: Inco AI 的 DFlash2 drafter,平均接受长度 3.2 token。

2. 不同硬件解码速度

硬件解码速度备注
Apple M5 Max(Inco Splash 引擎)52 tok/s—
单张 RTX 5090(megakernel)221 tok/s可本地运行
单张 GB300(megakernel)747 tok/s—

3. 推理档位与成功率的关系

  • 训练时只用了 xhigh 档,推理时思考深度仍可调。
  • low 档每回合思考约 0.86k token,xhigh 档约 3.23k token;以 GB300 为例,xhigh 档一回合思考约 4.3 秒,low 档约 1.1 秒。
  • 降到 low 档后,LIBERO 成功率从 74.4% 掉到 21.9%,成功率和思考量基本成正比。

机器之心

五、开源产物清单

产物地址
论文 PDFhttps://mit-han-lab.github.io/pear-blog/paper.pdf
代码仓库https://github.com/mit-han-lab/pear
模型权重https://huggingface.co/collections/mit-han-lab/pear
项目博客https://mit-han-lab.github.io/pear-blog/
arXiv 编号2611.18562(2026 年 11 月 13 日提交)

六、目前的局限与后续看点

  • 真机样本量有限: 真机测试为 30 次 trials,60% 成功率,泛化到更多场景、更多机型还需要更大规模验证。
  • 思考量换成功率: 调低推理档位后成功率明显下滑,实时性和任务可靠性之间仍需权衡。
  • 对比口径: 74.4% 是 LIBERO 单基准成绩,"逼近 GPT-6 Astra" 指接近其最大推理档位(80.6%),在中档档位上 PEAR 已反超;跨基准、跨硬件的整体能力仍不能简单画等号。
  • 后续观察: 开源社区能否复现仿真到真机的迁移效果、27B 模型在更多机械臂本体上的适配情况,以及 RURL 后训练方式能否被其他开源基座模型复用。

【相关 FAQ】

问题 1:韩松团队的 PEAR 项目用的是哪个模型,为什么选 Qwen3.8-27B?

回答 1:PEAR 基于开源权重的 Qwen3.8-27B 训练,这是一个 27B 参数的稠密多模态推理模型,Apache 2.0 许可、可本地部署;团队希望验证 27B 级别的开源模型能否通过仿真强化学习原生操作机械臂,而不是依赖 GPT-6 Astra 这类大型闭源模型。

问题 2:PEAR 让 Qwen3.8-27B 操作机械臂,训练时用到真机数据或人类遥操演示了吗?

回答 2:没有。PEAR 完全在 LIBERO 和 RoboDojo 仿真环境里做强化学习,不需要一帧人类遥操演示,也不需要一条真机数据;训练完成后零样本迁移到一台未见的双臂 YAM 真机上,30 次测试成功 18 次,基座模型训练前成功率为 0。

问题 3:Qwen3.8-27B 驱动机械臂在 RTX 5090 上跑多快,能不能本地运行?

回答 3:经过 NVFP4 量化加 DFlash2 投机解码后,单张 RTX 5090 上解码速度为 221 tok/s,达到本地运行水平;作为对比,Apple M5 Max 为 52 tok/s,单张 GB300 为 747 tok/s。需要注意调低推理档位后,LIBERO 成功率会从 74.4% 降到 21.9%。

问题 4:PEAR 的 Qwen3.8-27B 成绩真的逼近 GPT-6 Astra 了吗?

回答 4:在 LIBERO 基准上,PEAR 达到 74.4%,超过 GPT-6 Astra 中档的 49.3% 和 GPT-6.1 Sol 中档的 48.1%,接近 Astra 最大档位的 80.6% 和 Sol 最大档位的 76.2%;这个对比仅限 LIBERO 仿真基准,不等同于全面能力追平 GPT-6 Astra。

问题 5:PEAR 相关代码、权重和论文现在能在哪里获取,是否已经开源?

回答 5:已经开源。论文 PDF、GitHub 代码仓库(mit-han-lab/pear)、Hugging Face 模型权重集合和项目博客均已公开,arXiv 编号 2611.18562;复现实验可按仓库说明配置 Qwen3.8-27B 基座模型、仿真环境和推理量化栈。

【参考资料】

  • [2026-11-15](逼近 GPT-6 Astra!韩松团队让 Qwen3.8-27B 在 5090 上操作机械臂,现已开源)凤凰网科技
  • [2026-11-15](逼近 GPT-6 Astra!韩松团队让 Qwen3.8-27B 在 5090 上操作机械臂,现已开源)IT 之家
  • [2026-11-13](Training Reasoning Models in Simulation to Natively Use Real Robots)arXiv
  • [2026-09-29](GPT-6 Astra:新一代智能)OpenAI
  • [2026-08-18](在线教程丨 Qwen3.8-27B 重磅开源,推理 / 编程 / Agent 能力齐升级)智源社区
  • [2026-08-17](Qwen 3.8 27B Release: A Deep Dive)Kie AI

【免责声明】

本文基于公开论文、项目开源页面及媒体报道整理,文中成功率、解码速度、基准对比等数据均来自研究团队披露的实验条件,不同硬件、推理档位和测试场景下结果可能存在差异;基准对比仅针对特定测试套件,不代表模型在所有任务上的综合能力排名。开源代码与权重的使用须遵循对应许可协议,本文不构成部署、投资或技术选型建议,据此实践风险自担。

本文来自作者[Luna09]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1239.html

赞 (1)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • Luna09
    Luna09 2026年11月17日

    我是新品牌网的签约作者“Luna09”!

  • Luna09
    Luna09 2026年11月17日

    希望本篇文章《韩松团队 PEAR 开源Qwen3.8-27B 在 RTX 5090 本地驱动双臂机械臂,仿真强化学习逼近 GPT-6 Astra》能对你有所帮助!

  • Luna09
    Luna09 2026年11月17日

    本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索

  • Luna09
    Luna09 2026年11月17日

    本文概览:核心结论: MIT 韩松(Song Han)团队公布了机器人后训练项目 PEAR(Post-training Engine for Agentic Robotics,智能体机器人后训练引擎),基于开源的 Qwen3.8-27B,完全在仿真环境里做强化学习,不使用任何人类遥操演示、不使用一条真机数据,训完后直接迁移到一台从未见过的双臂 YAM 真机上:30 次测试成功 18 次(60% 成功率),而原始基座模型成功率为 0。在 LIBERO 基准上,成功率从训练前的 1.6% 提升到 74.4%,超过 GPT-6 Astra 和 GPT-6.1 Sol 的中档推理水平,接近两者最大推理档位的成绩;推理栈经过量化和投机解码后,单张 RTX 5090 上解码速度达到 221 tok s,可以本地运行。目前论文、GitHub 代码、模型权重和项目博客均已开源。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们