奥特曼对 AI 造 AI(RSI)表态主动踩刹车,研发决策权必须由人类掌控

奥特曼在 Semafor 峰会针对 “AI 造 AI” 也就是 RSI 递归自我改进发表明确观点,OpenAI 已经在用 AI 辅助下一代模型研发,用来写代码、排查训练故障、辅助实验,但是不会放开权限让 AI 在无人监督的条件下自主迭代出新模型,他主动给这条激进路线踩下刹车,核心底线就是 AI 研发的方向盘必须握在人类手里,不能把自我进化的决定权交给 AI 本身。硅谷很多团队把 RSI 当成短期目标,觉得只要实现 AI 自动造 AI,模型能力会指数级爆发;但奥特曼认为,现在对齐、安全护栏、风险评估体系还跟不上,贸然放开全自动递归改进,会出现人类看不懂 AI 的迭代逻辑、来不及干预的失控风险。他把当前策略定为战术克制,AI 可以做研发里的执行辅助工作,但是所有关键决策、训练启动、参数调整、上线放行,全部保留人类审核节点,优先把安全对齐的基础补齐,再考虑自动化研发的推进节奏。同时他也提到两大风险,一是 AI 自主迭代后人类失去控制权,二是 AI 技术权力集中在少数机构,所以需要外部治理、多方监督共同约束。

  • AI 辅助研发和全自动 RSI 的区别
  • 这套管控方案的核心清单
项目现阶段(奥特曼认可)全自动 RSI(暂时叫停)
角色定位AI 是研发助手,人类是决策者AI 自主设计、训练、迭代下一代模型
人类权限所有关键节点人工审核、可随时叫停人类退出循环,AI 自主推进
适用工作写脚本、监控训练、数据筛选、辅助验证自主设计模型架构、自主启动大训练
风险等级可控,全程可追溯高风险,迭代逻辑黑盒,干预难度极高
  1. 边界划分:AI 只负责执行层工作,模型架构、训练目标、安全阈值这些核心决策由人敲定
  2. 分级审核:高风险模型训练、新能力上线,设置多层人类评审,不是单个人决定
  3. 可中断机制:训练流程内置紧急关停开关,一旦出现异常信号可以立刻终止
  4. 对齐优先:资源优先投入安全对齐、风险评测,而不是优先加速 AI 自我迭代
  5. 对外透明:向行业、监管同步 RSI 研究进展,接受外部讨论和治理约束
  • 行业带来的变化

之前不少前沿 AI 团队把全自动 AI 造 AI 当成核心竞赛方向,奥特曼表态之后,行业的讨论重心从 “怎么更快实现 RSI” 转向 “怎么在保留人类控制权的前提下用好 AI 辅助研发”;OpenAI 内部也调整了研发资源配比,不再 all in 全自动递归改进,先完善安全框架。

【相关 FAQ】

问题 1:奥特曼为 AI 造 AI 踩刹车,AI 造 AI 也就是 RSI 递归自我改进是什么意思?

回答 1:奥特曼为 AI 造 AI 踩刹车,AI 造 AI 即 RSI 递归自我改进,指 AI 独立设计、训练、迭代更强的下一代 AI,形成自我增强的循环,也是这次表态里重点限制的方向。

问题 2:奥特曼为 AI 造 AI 踩刹车,是不是 OpenAI 完全不让 AI 参与模型研发了?

回答 2:奥特曼为 AI 造 AI 踩刹车,并不是不让 AI 参与研发,而是允许 AI 做辅助执行工作,写代码、监控训练,但是禁止 AI 脱离人类监督、全自动迭代新模型。

问题 3:奥特曼为 AI 造 AI 踩刹车,为什么坚持 AI 研发方向盘必须握在人类手中?

回答 3:奥特曼为 AI 造 AI 踩刹车,因为如果放开全自动 AI 自我迭代,AI 进化速度会远超人类理解和监管速度,容易出现黑盒失控,还会带来 AI 权力过度集中的风险。

【参考资料】

[2026-11-19](奥特曼给 “AI 造 AI” 踩刹车,方向盘必须握在人类手中)新智元

[2026-11-18](Semafor 峰会奥特曼访谈:RSI 递归自我改进的安全边界)36 氪

[2026-11-05](奥特曼:AI 发展两大风险,失控与权力集中)36 氪

[2026-09-24](奥特曼联合国发言:AI 发展必须处于人类控制之下)上观新闻

【免责声明】

以上资讯仅为公开访谈观点整理,不构成投资、技术选型建议;奥特曼观点是阶段性表态,OpenAI 后续 RSI 研发策略、安全方案存在调整可能,完整内容以峰会实录、官方博文为准。

本文来自作者[无名蒲公英]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1845.html

赞 (0)

今日大家都在搜的词:

发表回复

本站作者后才能评论

评论列表(4条)

  • 无名蒲公英
    无名蒲公英 2026年11月19日

    我是新品牌网的签约作者“无名蒲公英”!

  • 无名蒲公英
    无名蒲公英 2026年11月19日

    希望本篇文章《奥特曼对 AI 造 AI(RSI)表态主动踩刹车,研发决策权必须由人类掌控》能对你有所帮助!

  • 无名蒲公英
    无名蒲公英 2026年11月19日

    本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索

  • 无名蒲公英
    无名蒲公英 2026年11月19日

    本文概览:奥特曼在 Semafor 峰会针对 “AI 造 AI” 也就是 RSI 递归自我改进发表明确观点,OpenAI 已经在用 AI 辅助下一代模型研发,用来写代码、排查训练故障、辅助实验,但是不会放开权限让 AI 在无人监督的条件下自主迭代出新模型,他主动给这条激进路线踩下刹车,核心底线就是 AI 研发的方向盘必须握在人类手里,不能把自我进化的决定权交给 AI 本身。硅谷很多团队把 RSI 当成短期目标,觉得只要实现 AI 自动造 AI,模型能力会指数级爆发;但奥特曼认为,现在对齐、安全护栏、风险评估体系还跟不上,贸然放开全自动递归改进,会出现人类看不懂 AI 的迭代逻辑、来不及干预的失控风险。他把当前策略定为战术克制,AI 可以做研发里的执行辅助工作,但是所有关键决策、训练启动、参数调整、上线放行,全部保留人类审核节点,优先把安全对齐的基础补齐,再考虑自动化研发的推进节奏。同时他也提到两大风险,一是 AI 自主迭代后人类失去控制权,二是 AI 技术权力集中在少数机构,所以需要外部治理、多方监督共同约束。

联系我们

联系:143 0457 151

工作时间:周一至周五,9:30-18:30,节假日休息

关注我们