A社Claude升级计算机使用能力 不再霸占屏幕
Fable 5.1发布仅24小时，相关AI团队就推出了全新重磅升级，全面更新了Claude的计算机使用能力。如今用户只需给Claude下达任务，它就能自动打开软件、点击按钮、输入内容，在多个应用间流畅完成操作，且这一切都可以在后台悄悄完成。
目前，这项名为Computer Use的功能处于Beta测试阶段，仅面向Claude Pro和Max订阅用户开放，首批支持macOS 15及以上版本的系统。
这一次，AI终于不再霸占屏幕
Claude的计算机使用功能其实早在今年3月就已经随Dispatch一同上线。当时的工作逻辑本质上是一个循环：截取屏幕画面 → 模型识别界面 → 输出操作坐标 → 系统执行点击。但这种方式存在明显痛点：一旦AI开始工作，就会直接接管用户的鼠标和键盘，每一次点击都会拽走光标，用户只能在一旁等待，完全无法同时进行其他工作。
而在macOS 15及以上系统中，Claude默认通过后台窗口执行任务，不会占用用户正在使用的输入设备。用户可以一边撰写文档、回复消息，一边让Claude在后台打开应用、整理文件、测试程序。如果系统检测到用户正在输入，Claude还会主动暂停操作，只有当任务需要完全接管整个屏幕时，它才会在每次会话的首次前台操作前，向用户征求许可。
Claude操作电脑背后的技术逻辑
从官方公开的文档来看，Claude的桌面操作依然基于经典的“感知-决策-执行-反馈”循环。每完成一步操作，系统都会截取当前窗口的画面，交给视觉模型识别界面元素，包括按钮、输入框、菜单和页面状态，随后生成点击、输入或滚动等动作指令。执行动作后，系统会返回新的截图，让Claude判断操作是否成功，进而规划下一步的动作，如此循环直到任务完成，或是遇到需要用户确认的问题。
整个过程可以简化为：截取屏幕 → 理解界面 → 选择动作 → 执行操作 → 检查结果
相比于普通的工具调用，GUI智能体的实现难度要高得多。普通的API调用返回的是结构化数据，字段含义固定，但屏幕反馈的只是像素信息。同一个操作按钮，可能出现在不同的位置、尺寸和主题中，甚至会被弹窗遮挡。只要窗口移动、页面加载缓慢，或是某次点击没有生效，后续的操作流程就可能完全偏离预期。
这次的升级覆盖了Cowork和Claude Code两大场景，当用户下达任务后，Claude会采用一套高度优化的三级降级执行架构来完成任务：
- API连接器：当任务涉及Gmail、谷歌或微软的办公全家桶时，Claude会优先通过底层API进行交互，数秒即可完成任务；
- 内置浏览器：如果没有直连的API，Claude会接管内置浏览器，在网页端完成自动化操作；
- 屏幕交互：当以上两种方式都无法满足时，才会触发终极的计算机使用能力。
在macOS 15环境下，屏幕交互的体验得到了质的提升。
人机并行的新时代即将到来
过去两年间，AI智能体一直在不断拓展使用工具的边界。从最初的搜索和代码解释器，到接入浏览器、邮箱和办公软件，现在终于能够直接进入操作系统。Claude的这次升级，表面上解决了“不抢鼠标”的问题，实际上却在桌面操作系统中开辟了第二个工作席位。
当AI能够在后台监控屏幕、启动应用、执行流程时，人类与电脑的互动方式也将发生改变。未来的桌面将不再是单一用户独占，而是前台由用户负责判断、沟通和决策，后台由智能体处理漫长、重复且需要跨应用完成的工作。从聊天框到浏览器，再到整台电脑，Claude距离真正的“赛博替身”又近了一步。
