WebADB-AutoGLM:浏览器里让AI自动操作手机,开源自部署
- 工具收集
- 3小时前
- 14热度
- 0评论
项目简介
打开浏览器网页,用数据线连上你的安卓手机,就能让它自己“看懂”屏幕并完成你下达的任务。这不是未来的概念,而是一个正在实验的、纯粹跑在浏览器里的项目。
这个工具就是WebADB-AutoGLM,通过浏览器的WebUSB能力连接手机,实时截取屏幕画面,发送给一个能看懂图片的AI模型。模型分析画面后,返回“点这里”、“输文字”这样的指令,工具再通过ADB控制手机执行。整个过程都在你的本地环境里完成,网页一关,连接就断。
为视觉模型控制手机提供了一个最小、最快的验证环境。它不是用来长期托管手机自动工作的,而是给开发者或技术爱好者一个在本地浏览器里就能动手尝试、亲眼看到整个闭环如何运转的实验台。
食用指南
访问地址
传送门:https://github.com/yeahhe365/webadb-autoglm
体验地址:https://webadb-autoglm.pages.dev/

开源地址
这个是一个快速验证类的项目,作者大概前后也就花了几个小时做出来的。让具有视觉能力的AI可以可视化有步骤的操作手机版。
操作与体验

主页面
可以自己简单部署一下,也可以直接使用体验网址提供的地址来控制手机端。

模型配置
只要符合OpenAI老版本格式的API的都是可以兼容,如果想兼容更多AI,可以自己修改调整。

命令

命令
这边的命令包含屏幕的移动,点击等日常的手工操作,也是AI操作手机的基础原子能力,有了这些能力AI就可以边操作边判断了。

操作实例

操作步骤
计入AI以后,AI的每一步操作、思考、执行都会在下方的日志里面看到,AI通过理解屏幕内容调取响应的原子能力来执行。如果这些步骤相对固定,其实也可以考虑生成自动执行的脚本。

极速版

微信
上面是2个操作案例,一个是操作某极速版APP赚金币,还有一个是操作微信用来收和发送消息。
写在最后
WebADB-AutoGLM 更像是一个技术演示沙盒,而非成熟的商业产品。它证明了在纯浏览器环境下,利用 WebUSB 和视觉模型控制手机是完全可行的。
对于开发者而言,这是一个极佳的“最小可行产品(MVP)”模板,可以用来测试不同模型在真实手机界面上的理解能力,或者作为自己 Agent 项目的起点。
由于整个链路运行在本地浏览器中,截图和操作指令不经过第三方服务器,这在隐私层面提供了额外的安全感。不过,这也意味着它极度依赖本地环境(如浏览器版本、USB 驱动),且缺乏云端服务的稳定性。
建议将其视为一个“玩具”或“实验台”,在备用机上体验,避免用于涉及支付或敏感信息的真实账户操作。
FAQ
WebADB-AutoGLM需要root手机吗?
不需要。它通过浏览器的WebUSB和ADB(Android Debug Bridge)连接手机,只需开启开发者选项和USB调试即可,无需root。
这个工具能长期挂机自动做任务吗?
不建议。它设计为快速验证和实验环境,网页关闭连接即断,缺乏云端稳定性。更适合测试AI对手机界面的理解能力,而非长期托管。
支持哪些AI模型?
只要兼容OpenAI旧版API格式的视觉模型都可以。作者提到可以自行修改代码以适配更多模型。