agent-device 是一个让 AI 通过命令行操作应用与设备的 Skill。它支持 Apple 平台、Android 和部分电视环境,可以点击、输入、滚动,也能在支持的环境中读取界面或收集截图证据。
通常先打开目标应用,工具返回当前界面的交互快照。里面的 @refs 是界面元素编号:AI 根据当前编号找到按钮或输入框,操作后看返回的变化,再继续下一步。
它优先使用当前编号,或稳定的元素标识、文字和角色;坐标留作最后选择。界面信息稀少或无法读取时,快照编号不能继续当成有效目标,要查看截图后决定操作,再尝试重新读取。
走完操作还要验证预期,比如确认某段文字出现,而不只是命令没有报错。错误输出里有纠正提示时先按提示处理;特殊手势或命令不清楚,再查对应帮助。你要提供应用和具体目标,环境中也需要可用的设备与工具,截图及快照能力取决于平台。