AI 代理现在不仅可以操作浏览器，甚至可以控制真正的 iPhone

bird034

AI 代理现在不仅可以操作浏览器，甚至可以控制真正的 iPhone

这个开源项目名为 Phone Harness

它直接利用了 macOS 的 iPhone 镜像功能：

- 使用视觉 OCR 识别屏幕文本和坐标

- 使用系统级事件完成点击、长按、滑动和输入

- 操作后截屏以验证结果是否正确

- 无需越狱、Xcode 或 WebDriverAgent

我的看法：它不是 iPhone 版的 Playwright

移动界面没有 DOM，因此 OCR 充当了其临时 DOM

此解决方案适用于：

- iOS 应用测试

- 移动专属工作流程

- 个人自动化

- 为编码代理添加移动操作功能

涉及发送消息、支付、删除内容等操作必须保留手动确认

真正值得研究的不是让 AI 接管手机，而是为现有的代理提供一双能够“看”到屏幕的“手”。点击并验证结果。

开源代码库：