🚀 AI Agent 操作电脑，终于不需要依赖截图和像素匹配了！

东风化雨来

🚀 AI Agent 操作电脑，终于不需要依赖截图和像素匹配了！

Vercel Labs 开源了 agent-desktop，一个专为 AI Agent 打造的跨平台桌面自动化工具，目前已获得 16.3K Stars！

它通过系统无障碍 API，直接读取 macOS、Windows、Linux 的界面元素，将按钮、窗口、输入框转换成带引用 ID 的 JSON。

AI Agent 只需执行「读取界面 → 点击或输入 → 验证结果」，就能操作桌面应用，无需依赖图像识别，默认也不会抢占鼠标焦点。

项目支持 CLI、MCP 和 C 接口，可以集成 Claude Code 等 Agent 工作流，还提供自动化操作 Skills。

这意味着 AI Agent 可以更直接地理解和操作桌面软件，是 Computer Use 值得关注的开源基础设施！

GitHub：https://github.com/vercel-labs/agent-desktop