腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,目前该功能处于公测阶段,支持 Windows 和 macOS 系统,它不需要软件开放 API 接口,依靠屏幕画面识别页面界面,听懂自然语言指令之后自主完成点击、文字输入、页面滚动等桌面操作,用户在对话窗口下达任务,侧边小窗实时展示每一步操作进度,随时可以手动停止任务,非常适合批量填表、网页资料整理、文档处理这类重复性办公工作,想要体验需要把客户端升级到 5.11.0 及以上版本,并且在系统设置授予屏幕录制、辅助功能权限。
电脑操控能力运行逻辑
- 画面识别:截取电脑窗口画面,识别按钮、输入框、滚动条等页面元素
- 任务拆解:把用户一句自然语言指令拆分成多步连续操作流程
- 模拟键鼠:调用系统权限,模拟鼠标点击、键盘输入、滚轮滚动
- 进度可视化:侧边面板实时展示执行步骤,随时查看当前操作
- 中断控制:执行途中用户可以一键叫停,防止误操作带来风险
开启电脑操控能力操作步骤
- 将 WorkBuddy 桌面客户端更新至 5.11.0 或者更高版本
- 打开客户端设置,找到智能体板块,开启电脑操控 Beta 开关
- 进入电脑系统设置,授予屏幕录制权限、辅助功能权限
- 在对话输入框直接描述任务,发送指令启动自动操作
- 观察侧边进度窗口,敏感操作建议人在现场监控,任务结束查看结果
适用场景和风险提示清单
✅ 适合场景
- 网页表单批量录入信息
- 网页检索、翻页、复制整理资料
- 本地软件简单重复操作,导出报表、保存文件
- 跨软件连续操作,先查询资料再填入文档
- 账号登录、支付、文件删除、提交重要数据等高风险操作
- 界面元素密集、布局复杂的专业软件,识别成功率不稳定
- 加密类软件,画面识别容易出错
❌ 需要谨慎的场景
电脑操控能力和浏览器扩展操控对比
| 功能 | 新版电脑操控能力 | 浏览器扩展操控 |
|---|---|---|
| 操作范围 | 整个电脑桌面所有软件、窗口 | 仅限浏览器网页 |
| 是否依赖 API | 不需要,依靠画面识别 | 依赖浏览器扩展接口 |
| 支持系统 | Windows、macOS 全部桌面应用 | 仅 Chrome、Edge 等浏览器 |
| 识别局限 | 复杂界面识别容易出错 | 网页结构稳定,识别效果更好 |
【相关 FAQ】
问题 1:腾讯 WorkBuddy 上线电脑操控能力,能实现哪些电脑操作?
回答 1:腾讯 WorkBuddy 上线电脑操控能力,识别页面之后可以完成点击、输入、滚动等操作,覆盖桌面各类软件,不需要目标软件开放 API 接口。
问题 2:腾讯 WorkBuddy 电脑操控能力,需要什么版本和权限才能使用?
回答 2:腾讯 WorkBuddy 电脑操控能力支持 Windows、macOS,客户端要升级到 5.11.0 及以上版本,同时需要开启屏幕录制、辅助功能两项系统权限。
问题 3:腾讯 WorkBuddy 电脑操控能力执行任务的时候,能不能中途停止?
回答 3:腾讯 WorkBuddy 电脑操控能力执行任务时,侧边窗口实时展示进度,用户随时可以手动停止任务,官方也建议敏感操作时保持在场监控。
问题 4:腾讯 WorkBuddy 电脑操控能力,所有软件界面识别效果都稳定吗?
回答 4:腾讯 WorkBuddy 电脑操控能力依靠画面识别页面,简单界面识别效果更好,布局复杂、元素密集的软件识别效果会变差,存在识别失败的情况。
【参考资料】
[2026-11-20](WorkBuddy 电脑操控能力上线,可识别页面自动操作)IT 之家
[2026-11-20](腾讯 WorkBuddy 推出 Computer Use 公测,支持 Windows、macOS 桌面操控)新浪科技
[2026-11-20](腾讯 WorkBuddy 电脑操控 Beta 功能说明,权限与安全提醒)腾讯云开发者社区
【免责声明】
以上内容仅为腾讯 WorkBuddy 电脑操控能力资讯整理,该功能属于 Beta 公测版本,界面识别效果、功能稳定性会跟随版本迭代变化;开启电脑操控会申请屏幕录制、辅助权限,账号、支付等敏感操作请谨慎使用,本内容不构成办公自动化落地采购建议。
本文来自作者[偶尔雪松]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/2069.html
评论列表(4条)
我是新品牌网的签约作者“偶尔雪松”!
希望本篇文章《腾讯WorkBuddy,上线电脑操控能力》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:腾讯 WorkBuddy 正式上线 Computer Use 电脑操控能力,目前该功能处于公测阶段,支持 Windows 和 macOS 系统,它不需要软件开放 API 接口,依靠屏幕画面识别页面界面,听懂自然语言指令之后自主完成点击、文字输入、页面滚动等桌面操作,用户在对话窗口下达任务,侧边小窗实时展示每一步操作进度,随时可以手动停止任务,非常适合批量填表、网页资料整理、文档处理这类重复性办公工作,想要体验需要把客户端升级到 5.11.0 及以上版本,并且在系统设置授予屏幕录制、辅助功能权限。