现在位置: 首页 / 免费干货 / 正文

phone-harness：让AI Agent直接操控真机，免越狱免安装

说实话，电脑上的 Claude Code、Codex 这类 AI agent 现在用起来挺顺手的。写代码改文件没问题，对吧？但手机上的活儿，它们完全插不上手。iPhone 系统管得严，Android 虽然有 adb 命令……不过太原始了，大多数项目做到一半就凉了。

前阵子在 GitHub 刷到 phone-harness 这个项目。老实讲，一下子就把这条路走通了。不需要装 App，不用越狱，也不用开 Xcode——电脑上的 AI agent 就能看屏幕、点按、打字，直接把你的手机接管了。这难道不香吗？

phone-harness 是什么

说实话，phone-harness 是啥？一句话：它是一个开源工具，让电脑上的 AI agent 直接操控你的手机。项目仓库的介绍就一个句子，特别直白：let your agent control your phone。

iPhone 和 Android 都支持，对吧？不过这两边的技术路线，完全不在一条道上。

iPhone 走的是 macOS 原生镜像方案。手机画面会直接投到 Mac 上成窗口，phone-harness 负责截图，再用苹果 Vision 框架做文字识别，然后通过系统级事件发点按和输入指令。老实讲，这一步最省事的地方是——不需要装任何辅助应用。

Android 这边就比较传统了，靠 adb 截屏，无障碍服务读界面树，input 命令模拟手指操作。有线无线都行，话说 Android 11 以上只要配一次无线调试，之后就能自动连上，挺方便的，你猜怎么着……

能做什么？这几个场景最实用

看得懂屏幕内容

说实话，agent 想操控手机，第一件事就是得看得见。iPhone 上跑个 ocr() 函数，屏幕上所有文字直接读出来，每个词还带着坐标信息。

想点那个"设置"按钮？不用自己掰手指算位置，一句 tap_text("设置") 就搞定。返回的数据里有词的内容、识别置信度和坐标，agent 拿到就知道该往哪点。

Android 那边更省心。文字直接来自系统无障碍树，不存在识别出错的问题。连没有文字的图标按钮，也能靠系统给的描述信息找到。不过纯图标按钮就麻烦了——截张图让有视觉能力的模型看一眼，再用 tap_image_point() 按像素位置点下去，完事。

基础操作全覆盖

open_app 打开应用、tap 点坐标、type_text 打字、scroll 滚动列表、swipe 左右翻页、home 回桌面、长按操作，这些基础功能全支持。

官方演示任务挺有意思：跟 agent 说一句"帮我叫一辆 Waymo 去 Delah Coffee"，剩下的选地点、走流程全由 agent 在真机上独立完成。演示视频在项目 README 里能找到。

老实讲我自己测试的时候，让 agent 打开备忘录新建笔记，它自己点开应用、找到新建按钮、把字打进去，全程没碰手机。每走一步都会先读屏幕确认上一步生效，不是闷头乱点。每个操作都有记录可查，对吧？

能自动翻完长列表

除了单步操作，它还能自主完成连续任务。让你把某个应用的列表翻完并整理标题，它会一边滚动一边去重，翻到底自动停下，最后把结果输出给你。中间完全不用盯着，自己去忙别的就行。这真的有用吗？我觉得有。

经验会积累，越用越顺

这个设计我倒是认为挺聪明。agent 在任务中积累的经验，比如某个应用的按钮长什么样、怎么判断操作成功了，可以存进 agent_helpers.py 文件。

下次遇到类似任务直接调用，不用从头摸索。相当于 agent 在你的手机上用的是越用越熟练的老手。你看，就是这么回事。

上手难度怎么样

说实话，装这个过程基本不用你动手。

作者在 README 里直接放了一段安装提示词，复制粘贴发给 Claude Code、Codex 这些支持技能的 agent 就行。

Set up phone-harness for me.
Clone https://github.com/ShawnPana/phone-harness into ~/.phone-harness, read `install.md` first,
install it so `phone-harness` is a command on my PATH, and register it as an agent skill named phone-harness using `phone-harness skill` as the body.
Then read `onboarding.md` and walk me through it.

agent 拿到之后会自己搞定克隆仓库、读安装文档、把命令挂到 PATH 里，再把技能注册好。

你只需要配合做两件事，很简单：

  1. iPhone 用户：先把 iPhone 镜像配对好，然后在系统设置里给终端开启辅助功能和屏幕录制权限
  2. Android 用户：装好 adb，打开开发者选项和 USB 调试，插线点允许。无线的话，Android 11 以上配一次就够

都弄完后跑一句 phone-harness --doctor，它会按顺序检查整条链路，缺什么直接告诉你。

环境要求真不高，一台 Mac，Python 3.10 以上就能跑。

装完说句话，它就开始读屏幕操作了。……是不是挺省心的？

什么情况下值得买用

能在电脑和网页上办的事就别折腾手机，这工具专门解决那些必须用手机才能做的事：

  • 某些服务只有 App 有，网页版根本不存在
  • 涉及手机号、短信验证码的登录验证操作
  • 移动端开发和测试，让 agent 操作真机跑自动化测试
  • 每天重复的机械操作，比如打开 App 看数据截图存档

以前 agent 能操作浏览器和终端，一到手机就傻眼了。这个项目正好补上这块空白。

边界在哪里

项目把能做和不能做的都写得很清楚。不会替手机输入锁屏密码，手机锁着就停下来等你解锁。

安全方面，凡是发消息、买东西、删内容、改设置这类不可逆操作，必须先问你同意。连接手机这件事永远由用户自己做，工具连不上会报错，不会自己瞎重试。

做不到的事也没藏着：文字识别只认字不认图标，多点触控不支持，相机和 Face ID 流程走不了，有 DRM 保护的视频截出来是黑屏。

```html

关于这个项目

说实话，技术上真的没啥花哨的。

iPhone 镜像是苹果自带的，Vision 是系统框架，adb 是安卓官方工具。但它把这些现成的东西拼到一起，做出一个不用越狱、不用装 App 的方案——老实讲，这个思路确实巧妙。你猜怎么着？从 Mac 上就能看到并操作手机，延迟低到几乎感受不到，跟用 AirPlay 屏幕镜像差不多，但体验完整得多。靠系统原生能力撑起来的方案，天生比那些靠注入破解的更稳定，手机上也不用担心搞出毛病。

从我装好到完成第一个任务，真正动手的只有配对和开权限，剩下的全是 agent 自己跑。

门槛也有，得有台 Mac 才能玩，iPhone 那边更是离不开 macOS 镜像功能。项目还比较年轻，开源才一个月左右，踩坑很正常……不过这也意味着有成长空间，对吧？

如果你工作里经常遇到"这事只能在手机上弄"的情况，这个项目值得收藏试试。话说回来，能当远程协助工具用，也挺有意思的。

```

开源地址

https://github.com/ShawnPana/phone-harness

FAQ

phone-harness 支持哪些手机系统？

说实话，它基本都支持——iPhone和Android都没问题。不过iPhone需要macOS系统和镜像功能，Android的话得先装好adb环境。Android 11以上才支持无线调试，这一点要注意。

需要在手机上安装App吗？

老实讲，完全不需要！我觉得这是它最省心的地方——iPhone直接用系统自带的镜像功能，Android走adb连接，手机上啥都不用装。

操作过程中会影响电脑正常使用吗？

我倒是认为这个问题可以放心。iPhone镜像窗口不用一直盯着，你可以边做其他事。话说回来，只有滚动操作时窗口会暂时跳到前面，但滚完就自动回去了。你猜怎么着？基本不影响正常使用，对吧。