腾讯 WorkBuddy 正式推出电脑操控(Computer Use)能力并进入公测阶段,该功能依托界面视觉识别,不需要目标软件开放 API 接口,就能识别桌面窗口、按钮、输入框,自动完成点击、输入文字、滚动页面、切换窗口等操作,老旧内网系统、单机客户端、无接口业务软件都可以直接用自然语言下达指令自动化操作,支持 Windows、macOS 双平台,用户把客户端升级到 5.11.0 及以上版本,开启屏幕录制、辅助功能权限即可体验,任务执行过程中侧边画中画实时展示操作画面,用户可以并行处理别的工作,中途随时暂停任务。传统自动化工具大多需要软件开放接口、配置连接器,很多企业内部老系统没法对接,而这套 GUI 界面识别方案绕开接口限制,适合跨系统串联任务,比如先在仓储系统查单号,再切换资产系统录入信息,对内勤、行政、财务的重复表单工作友好。
一、公测电脑操控核心能力清单
- GUI 界面识别:识别窗口元素,模拟鼠标点击、键盘输入、下拉滚动、勾选选项
- 无 API 适配:无需软件开放接口,内网业务系统、老旧客户端均可使用
- 跨应用串联:一条指令完成多软件连续操作,自动切换程序流转任务
- 画中画监控:侧边小窗实时预览操作,人机并行办公
- 黑名单管控:可添加禁止操作的应用,规避敏感软件误操作风险
- 随时中断:任务执行期间一键暂停、终止,支持修改指令重新执行
二、使用操作步骤
第一步,更新 WorkBuddy 客户端至 5.11.0 及以上版本,在设置 - 智能体找到电脑操控功能。
第二步,按系统提示授予屏幕录制、辅助功能权限,重启客户端生效。
第三步,设置里添加禁止操作的应用黑名单,保护财务、支付类软件。
第四步,对话框直接用自然语言描述完整任务,写明软件、操作流程。
第五步,通过画中画观察进度,敏感操作保持在场,任务结束自动返回结果。
三、适合场景与风险场景
| 推荐使用场景 | 不建议使用场景 |
|---|---|
| 内网表单填报、台账录入、信息查询 | 资金支付、转账、高危提交删除操作 |
| 网页批量查询、文档信息提取、多系统数据核对 | 人脸识别、硬件密钥验证类操作 |
| 教务、仓储、OA 固定重复流程 | 强主观决策、工业控制等高精准场景 |
| 单据整理、信息搬运、批量复制录入 | 对时延、稳定性要求极高的生产系统 |
四、安全相关说明
所有操作都需要用户主动授权,权限可以随时在系统设置收回;官方明确提醒登录、支付、提交、删除等敏感操作务必有人值守;操作全程留痕,企业用户可开启审计日志;识别是基于截图画面,不会主动读取后台底层数据。
五、公测阶段短板
属于 Beta 公测版本,识别效果受页面布局、UI 改版影响,页面改动后容易识别失败;锁屏、休眠状态无法执行操作;弱网环境下指令解析、识别响应变慢;复杂、非标准界面识别准确率下降。
六、总结
WorkBuddy 电脑操控公测最大亮点是无 API 的 GUI 自动化,补齐了很多内网老系统没法自动化的痛点,普通办公用户、企业内勤都可以用自然语言搭建自动化流程;但目前还处在公测阶段,识别稳定性有待持续优化,敏感业务一定要做好黑名单管控和人工监控。
【相关 FAQ】
问题 1:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,开启电脑操控需要什么版本?
回答 1:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,客户端需要升级至 5.11.0 及以上版本,同时授予屏幕录制、辅助功能权限。
问题 2:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,WorkBuddy 电脑操控需要软件开放 API 吗?
回答 2:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,不需要目标软件开放 API,依靠视觉识别界面元素完成操作。
问题 3:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,电脑操控支持哪些操作系统?
回答 3:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,公测阶段支持 Windows 和 macOS 双平台。
问题 4:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,WorkBuddy 电脑操控可以跨软件操作吗?
回答 4:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,支持跨应用、跨系统连续操作,自动切换不同软件完成整套业务流程。
问题 5:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,公测版电脑操控有什么安全设置?
回答 5:WorkBuddy 电脑操控能力开启公测,不靠 API 接口直接操控桌面软件,可以设置禁止操作的应用黑名单,敏感操作建议人工值守,权限随时可收回,操作全程留痕。
【参考资料】
[2026-11-20](WorkBuddy 上线电脑操控能力进入公测)36 氪
[2026-11-20](腾讯 WorkBuddy 电脑操控公测:无需 API 操控桌面应用)IT 之家
[2026-11-20](WorkBuddy Computer Use 公测功能说明)新浪财经
[2026-11-20](WorkBuddy 电脑操控公测安全提示)网易新闻
【免责声明】
本文内容基于 WorkBuddy 官方公测公告、媒体实测报道整理,该功能处于公测 Beta 阶段,识别稳定性、功能细节会随版本迭代调整;自动化操作存在误操作风险,敏感业务谨慎使用,内容仅为资讯科普,不构成企业自动化方案采购建议。
本文来自作者[干净桂花]投稿,不代表新品牌网立场,如若转载,请注明出处:https://www.china12315.com.cn/ppzx/202611/2071.html
评论列表(4条)
我是新品牌网的签约作者“干净桂花”!
希望本篇文章《WorkBuddy上线电脑操控能力进入公测》能对你有所帮助!
本站[新品牌网]内容主要涵盖:互联网行业的追踪与探索
本文概览:腾讯 WorkBuddy 正式推出电脑操控(Computer Use)能力并进入公测阶段,该功能依托界面视觉识别,不需要目标软件开放 API 接口,就能识别桌面窗口、按钮、输入框,自动完成点击、输入文字、滚动页面、切换窗口等操作,老旧内网系统、单机客户端、无接口业务软件都可以直接用自然语言下达指令自动化操作,支持 Windows、macOS 双平台,用户把客户端升级到 5.11.0 及以上版本,开启屏幕录制、辅助功能权限即可体验,任务执行过程中侧边画中画实时展示操作画面,用户可以并行处理别的工作,中途随时暂停任务。传统自动化工具大多需要软件开放接口、配置连接器,很多企业内部老系统没法对接,而这套 GUI 界面识别方案绕开接口限制,适合跨系统串联任务,比如先在仓储系统查单号,再切换资产系统录入信息,对内勤、行政、财务的重复表单工作友好。