让 Agent 操作真实 Android:Phones Cloud 的实时控制链路
Phones Cloud ·
Agent 不需要先理解一整台手机,它需要可靠的观察、动作和结果回传。Phones Cloud 把这些能力封装成 CLI、SDK 和 Relay 控制链路。
网页自动化可以读取 DOM,Android 自动化面对的是实时画面、触控坐标、系统按键、Shell 输出和 APK 生命周期。
云手机与普通网页 API 的关键差异在于:一次调用会在一台真实 Android 上推动状态变化。面向 Agent 的接口,要把观察、动作和结果回传拆成稳定的工程原语。
从观察开始
Agent 操作手机的第一步是判断屏幕状态。Phones Cloud 通过截图接口把云手机画面变成可被模型、规则系统或测试脚本消费的输入。
调用方用 API Key 认证,通过公开 device_id 选择目标设备,再请求截图或设备列表。这样,Agent 可以把真实 Android 屏幕纳入自己的决策循环,而不需要依赖人工盯屏。
动作保持小而确定
在 Android 上,可靠自动化通常来自一组小动作,而不是一个过大的“完成任务”按钮。Phones Cloud 暴露 tap、swipe、text、keyevent、shell、install 等 ADB 风格能力,让上层 Agent 自己决定下一步。
这种设计的好处是可组合:同一个截图可以触发一次点击、一次输入、一条 Shell 查询,或者一次 APK 安装。每个动作都有明确输入和结果,失败时也更容易定位。
Relay 把动作送到正确的设备
云手机不是一次 HTTP 请求就结束的页面,它背后是一组持续在线的媒体流和控制流。Relay 要把来自 CLI、SDK 或控制台的动作路由到正确设备,并等待对应的执行结果。
对于 Shell、截图和文件类扩展任务,控制消息会带上请求编号。服务端等待设备侧返回匹配响应,避免多条并发控制消息互相串线。这是把实时设备变成可编程端点的基础。
Shell Extension 管住执行边界
设备侧执行不能只做“收到命令就运行”。Shell Extension 把任务分成 Immediate、Ordered 和 Background 三类队列:即时任务优先响应,顺序任务按 FIFO 执行,后台任务承接更长耗时的工作。
执行器还会处理超时、输出大小限制、进程清理和全局并发控制。这样,即使某条 Shell 命令耗时较长,也不会无限占住设备侧资源,截图和交互动作仍然有清晰的响应边界。
为什么这适合 Agent
Agent 不需要 Phones Cloud 替它思考完整业务流程。它需要的是稳定的移动端执行原语:观察屏幕、决定动作、执行动作、读取结果,然后进入下一轮。
当这条循环足够快、足够可预期,云手机就不只是远程屏幕,而是一台可以被自动化系统持续调用的真实 Android 执行环境。
工程要点
- Agent 接入云手机的核心是观察、动作和结果回传。
- ADB 风格小动作让上层编排更灵活,也更容易定位失败。
- Relay 与 Shell Extension 共同定义了实时控制链路和设备侧执行边界。
查看开发者 CLI
用 phones-cloud-cli 体验截图、点击、输入、Shell 和 APK 安装等远程 Android 控制能力。