「让 AI 真正会用电脑，这个开源项目把“看懂界面”这件事做对了」vercel-labs 开源的 agent-desktop

guojun_-2007

「让 AI 真正会用电脑，这个开源项目把“看懂界面”这件事做对了」vercel-labs 开源的 agent-desktop，核心不是截图找按钮，而是直接读取 macOS、Windows、Linux 的系统无障碍树来理解真实 UI 结构，再基于稳定的 ref 去点击、输入、选择和校验结果，所以比纯视觉方案更稳，也更适合重试和自动化编排。它用 Rust 编写，提供 CLI 和 C 库，既能让智能体走“观察—操作—再观察”的循环，也能嵌进本地程序直接调用。项目支持快照、查找、点击、输入、滚动、窗口管理、通知处理、剪贴板等桌面操作，命令输出统一是 JSON envelope，带 ok、data、error 和重试建议，方便接入 agent framework。另外，它默认无头运行，不抢焦点，也不乱动鼠标；遇到复杂界面，可以先用 skeleton 粗看结构，再钻取局部区域。如果你的团队要做桌面级 AI Agent、寻找 RPA 替代方案，或想摆脱“靠像素猜界面”，这个项目值得参考。
GitHub：vercel-labs/agent-desktop
http://t.cn/AXjmu79H