想让 AI Agent 真正“用手机”,不必再为每个按钮单独写脚本。Google 开源的 ARTEMIS,可以直接操作 Android 真机和模拟器。
你只需用自然语言描述任务,例如“打开地图查路线,再播放一首歌”,它会识别屏幕上的文字和控件,在不同应用之间完成连续操作。
它的识别链路分层处理:
1. 优先读取 Android 无障碍树,并结合 OCR 理解界面;
2. 遇到 Flutter、Compose、Canvas 等自绘页面时,再用视觉语言模型补足识别;
3. 基准测试中的任务完成率超过 99%。
还提供两种执行模式:
• 极速模式:几秒完成一次点击,适合简单日常操作。
• 深度模式:先规划,再逐步校验;遇到弹窗或异常时会尝试自行处理,适合较长、较复杂的流程。
GitHub:https://github.com/google/artemis