港大又出新项目,刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App 无需电脑,也不用每一步都截图让模型猜怎么操作

港大又出新项目,刚开源了一个跑在手机上的Agent,直接装Android上,用自然语言让AI帮你操作各种App


无需电脑,也不用每一步都截图让模型猜怎么操作

叫PhoneGo,比如说,你让它去小红书找一家香港大学附近的酒店,然后再到携程查询当晚价格

它就会先搜小红书笔记、提取酒店名称,再切换携程搜索同一家酒店,查询可订日期和房价,最后把结果反馈给你

全程无需你逐步指导它打开哪个App、点哪个按钮,App被藏在虚拟屏幕里驱动,不影响你自己用手机

比纯视觉手机Agent,操作步骤减少了47%、执行耗时减少了56%、Token消耗减少了55%

核心是CLI+GUI混合执行,已知的App操作路径直接调用命令,遇到陌生界面才让视觉模型接管

它的工作流程是:离线探索App,建立App Navigation Map,把页面和导航路径编译成可执行命令

在线执行任务,AI理解用户意图,优先调用已有命令,直接执行熟悉的操作流程

然后视觉兜底,遇到未知页面、动态内容或者异常状态,再通过视觉模型识别屏幕、点击、滑动

跨App协作,把一个应用获取的信息传递给另一个应用,完成连续任务

目前支持Android 14+、ARM64,提供APK可直接安装;需自备模型API Key,通过无线调试和无障碍服务操作手机,大部分任务可后台执行

github:http://t.cn/AXT5g4ex

#PhoneGo##PhoneAgent##手机AI#

分类