让AI操作手机,用这个Skill

自动化操作iOS、Android和TV应用,模拟点击、滑动和输入。

agent-device 是一个让 AI 通过命令行操作应用与设备的 Skill。它支持 Apple 平台、Android 和部分电视环境,可以点击、输入、滚动,也能在支持的环境中读取界面或收集截图证据。

通常先打开目标应用,工具返回当前界面的交互快照。里面的 @refs 是界面元素编号:AI 根据当前编号找到按钮或输入框,操作后看返回的变化,再继续下一步。

它优先使用当前编号,或稳定的元素标识、文字和角色;坐标留作最后选择。界面信息稀少或无法读取时,快照编号不能继续当成有效目标,要查看截图后决定操作,再尝试重新读取。

走完操作还要验证预期,比如确认某段文字出现,而不只是命令没有报错。错误输出里有纠正提示时先按提示处理;特殊手势或命令不清楚,再查对应帮助。你要提供应用和具体目标,环境中也需要可用的设备与工具,截图及快照能力取决于平台。

分类:编程开发

来源仓库:callstack/agent-device

适合用来做什么

  • 如何在iOS应用中自动导航到设置页面并截图?
  • 请在macOS应用中点击按钮并提取UI信息。

安装 agent-device

npx skills add https://www.iskills.cc/skills/callstack/agent-device/agent-device/SKILL.md

在本机终端执行安装命令。安装前请阅读原始说明,确认所需工具、账号和权限。

查看安装步骤 · 查看常见问题

查看 agent-device 的用途与原始说明

浏览全部 Skill 指南