AI 智能体不再只是简单问答机器人,能够自主调用工具、访问系统、发起交易甚至修改代码,一旦出现提示注入、意图漂移、越狱失控,就会造成数据泄露、误操作、资产损失,这也是苹果、腾讯都盯上智能体安全的核心原因;苹果已经在财报风险章节专门标注 AI 智能体失控隐患,收紧系统高权限通道,依托安全隔区、本地端侧管控做防护,腾讯则围绕 WorkBuddy 办公智能体推出全链路安全方案,拿到信通院政务智能体安全测评资质,落地权限沙箱、操作留痕、高危动作拦截机制,两家企业一个主打端侧隐私与设备生态安全,一个侧重企业办公、政务场景下的可控管理,本质都是为智能体商业化落地补齐安全底座,规避监管、用户信任以及业务事故风险,下面把智能体新增风险、两家各自方案、新旧安全差异整理清楚。
一、智能体和普通大模型对话机器人的风险差异清单
- 普通对话大模型:大多只输出文字,不直接操作系统、不调用接口,风险集中在内容幻觉、虚假信息
- AI 智能体:具备自主规划、工具调用、长期记忆、跨系统执行能力,风险升级
- 提示注入攻击:恶意文本诱导智能体绕过规则,私自拉取数据、调用接口
- 权限越界:超出用户授权范围访问文件、后台系统、支付接口,发起非预期交易
- 意图漂移:长任务执行中途偏离用户原始指令,出现自主隐藏行为
- 链式级联风险:多个工具连续调用,单一环节失控后风险持续传导放大
- 追溯困难:黑箱决策,出事之后很难定位到底是哪一步触发异常
二、苹果布局智能体安全的核心动作
- 在年度 10-K 报告新增风险提示,明确标注失控智能体可能篡改信息、泄露数据、产生意外交易
- 收紧 Mac、iPhone 端系统权限,调高完全磁盘访问权限门槛,限制智能体拿到高等级权限
- 依托芯片安全隔区,优先本地处理用户敏感数据,减少原始数据外传
- 针对 Siri 新一代智能体,强化动作审批机制,高危操作必须二次确认,限制自主执行范围
- 区分第三方智能体和官方原生智能体,对外部 Agent 接入设备生态设置隔离边界
三、腾讯布局智能体安全的核心动作
- 发布 WorkBuddy 企业版安全白皮书,搭建 AgentOps 全生命周期管控框架
- 完成信通院政务领域智能体安全最高等级测评,适配政企、金融等高合规场景
- 三层防护体系:最小权限分配、独立安全沙箱、全操作日志审计留痕
- 高危动作拦截:对外接口访问、文件导出、代码执行、批量发送消息等操作增加校验
- 参与可信办公智能体行业标准建设,把权限、审计、隔离方案固化成规范
四、传统网络安全 vs 智能体安全对比简表
| 项目 | 传统网络安全 | AI 智能体安全 |
|---|---|---|
| 攻击入口 | 漏洞、木马、恶意文件 | 自然语言提示注入、上下文投毒、记忆投毒 |
| 防御思路 | 封堵漏洞、查杀恶意程序 | 对齐模型意图、限制工具权限、监控行为链 |
| 判断逻辑 | 规则明确,行为可预判 | 模型概率输出,行为不可完全穷举测试 |
| 风险传播 | 单点漏洞为主 | 多工具链式调用,风险层层传导 |
| 管控重点 | 程序、流量、账号 | 模型记忆、任务规划、工具调用链路 |
五、为什么大厂必须投入智能体安全
✅ 商业落地门槛:政企、金融、政务场景对可控、可审计要求极高,没有安全资质很难规模化交付
✅ 监管合规压力:国内外 AI 治理规则持续收紧,自主智能体属于重点监管对象
✅ 用户信任底线:一旦发生隐私泄露、误扣费、内部资料外泄,会直接冲击产品口碑
✅ 技术风险前置:攻击门槛变低,普通人靠一句话提示就可能诱导智能体越权,攻击面大幅扩大
❌ 当前还没有完美方案
现在的防护手段是权限隔离、沙箱、审计、提示加固的组合方案,没法做到 100% 杜绝幻觉和越狱,行业还在持续迭代安全标准。
【相关 FAQ】
问题 1:智能体安全为什么苹果腾讯都盯上了,AI 智能体到底有什么特殊风险?
回答 1:智能体可以自主调用工具、访问系统、执行交易和修改代码,区别于只会输出文字的普通大模型,容易被提示注入诱导越权、出现意图漂移、隐藏自主行为,会带来数据泄露、误操作损失,苹果腾讯要保障各自端侧生态、企业办公智能体稳定落地,所以优先布局智能体安全。
问题 2:苹果在智能体安全这块做了哪些安排?
回答 2:苹果在财报中把失控 AI 智能体列为经营风险,收紧系统高权限访问,依靠芯片安全隔区做本地隐私隔离,给新一代 Siri 智能体增加高危操作二次确认,严格限制第三方智能体获取设备深层权限,降低越权操作的概率。
问题 3:腾讯针对智能体安全有什么落地产品和能力?
回答 3:腾讯围绕 WorkBuddy 办公智能体搭建 AgentOps 全链路安全体系,拿到信通院政务智能体安全最高等级测评,使用最小权限、沙箱隔离、全程日志审计,拦截高危调用行为,同时参与可信办公智能体行业标准制定。
问题 4:智能体安全和我们平时说的网络安全是一回事吗?
回答 4:不是一回事,传统网络安全防漏洞、病毒、恶意流量;智能体安全主要防御提示注入、上下文投毒、模型幻觉带来的越权调用,管控 AI 自主规划和工具调用链条,风险模式、防御逻辑完全不一样。
【参考资料】
[2026-11-16](智能体安全,为何苹果腾讯都盯上了?)36 氪
[2026-11-10](腾讯 WorkBuddy 企业专享版首批通过信通院政务领域智能体安全测评)央广网科技
[2026-11-04](苹果年度报告新增 AI 智能体风险警示:AI 或自主越权操作)环球网
[2026-10-14](《人工智能 可信办公智能体标准体系》发布 腾讯 AI 办公实践为标准体系提供重要支撑)新华网
[2026-09-17](中国信通院政经所联合发布《智能体治理研究报告 (2026 年)》)中国经济网科技频道
【免责声明】
本文为智能体安全行业资讯解读,苹果、腾讯相关智能体安全能力、管控策略以企业官方白皮书、产品文档、监管测评报告为准;当前智能体安全技术仍处于快速迭代阶段,现有防护方案无法完全消除所有 AI 失控风险;本文不构成安全采购、技术选型建议。
本文来自作者[阿茶]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/1411.html
评论列表(4条)
我是新品牌网的签约作者“阿茶”!
希望本篇文章《智能体安全成为行业重点,苹果腾讯加紧布局防范 AI 自主越权风险》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:AI 智能体不再只是简单问答机器人,能够自主调用工具、访问系统、发起交易甚至修改代码,一旦出现提示注入、意图漂移、越狱失控,就会造成数据泄露、误操作、资产损失,这也是苹果、腾讯都盯上智能体安全的核心原因;苹果已经在财报风险章节专门标注 AI 智能体失控隐患,收紧系统高权限通道,依托安全隔区、本地端侧管控做防护,腾讯则围绕 WorkBuddy 办公智能体推出全链路安全方案,拿到信通院政务智能体安全测评资质,落地权限沙箱、操作留痕、高危动作拦截机制,两家企业一个主打端侧隐私与设备生态安全,一个侧重企业办公、政务场景下的可控管理,本质都是为智能体商业化落地补齐安全底座,规避监管、用户信任以及业务事故风险,下面把智能体新增风险、两家各自方案、新旧安全差异整理清楚。