AI智能体开始接管你的桌面，还不抢你的鼠标

日常办公时，同时开着十几个窗口，一边整理表格一边回复消息，鼠标在不同应用间来回切换。现在，有一类新工具正在把这些重复的窗口操作交给AI智能体完成。

Vercel推出的agent-desktop，就是这样一个开源项目。它能给任意编码智能体赋予操作整台电脑的能力，支持macOS、Windows和Linux三大系统。最关键的一点是，它在后台运行时，用户可以同时继续使用自己的电脑，多个智能体并行工作，每个都有独立的光标，不会抢占你的鼠标。

@HowDevelop 指出，大多数桌面应用并没有开放API接口，agent-desktop的做法是通过操作系统的无障碍树（Accessibility Tree，系统提供的应用UI结构读取接口），直接获取应用控件的JSON视图，然后模拟点击操作。它不是靠识别屏幕像素来猜按钮位置，而是直接读取系统层面的控件信息，因此操作引用稳定，出错了还能安全重试。整个工具用Rust语言构建，以Apache-2.0许可证开源。

@argofowl 做了一组实测对比：在同一台Mac上，分别用相同的Opus 5.5模型测试agent-desktop、cua和Codex的computer use（terra 6.1）。结果agent-desktop完成了35项任务中的26项，cua完成33项，Codex完成34项。这个成绩说明，开源方案在桌面操作可靠性上，已经接近商业产品的水平。

这背后是整个行业的方向变化。OpenAI的Codex桌面应用已经把任务作为独立智能体并行运行，维护项目状态；微软在2026 Build大会上推出了面向智能体的Windows 365服务，专门负责云电脑配置、会话隔离和运行可靠性保障。桌面操作系统正在从“给人用”变成“给人和AI同时用”。

对普通办公场景来说，这意味着那些需要在多个软件间来回切换的重复操作——比如批量整理文件、在不同应用间搬运数据——未来可能由后台的AI智能体并行完成，而你只需要在前台处理真正需要判断的部分。

不过，当多个AI智能体同时操作你的电脑时，权限边界和操作审计该怎么设计，目前还没有统一的答案。