agent-desktop 1.3.1的完整ref有什么作用,权限问题如何区分?

作者:资源驿站

时间:2026-11-16

浏览:614

agent-desktop 1.3.1的ref与生成它的桌面快照绑定,界面改变后需要重新观察;权限状态与沙箱生命周期则是不同问题。1.3.1的正式补丁包括让已启动沙箱在启动器退出后继续运行,以及rustix 1.1.6依赖更新。

文章目录

agent-desktop桌面自动化工具说明

先确认工具返回什么

这个工具同时提供CLI和C库,不自带推理模型。AI代理负责决定下一步,agent-desktop负责读取操作系统辅助功能树或执行具体桌面动作。命令输出的JSON封装是程序接口,不能把其中的成功状态简单等同于用户最终目标已经实现。

官方快照示例包含snapshot_id、ref_count、complete和tree等字段。tree中的ref属于生成它的那次快照;裸元素编号不够,界面变化后旧ref可能返回STALE_REF或AMBIGUOUS_TARGET。这种情况需要重新观察,不应把同一旧目标无限重试。

在终端核对1.3.1与当前平台

以下操作面向已有Node.js/npm的环境,使用当前用户有权写入的全局安装位置。先固定安装1.3.1,再读取版本与状态;不要用其他版本输出验证这个补丁。

npm install -g agent-desktop@1.3.1
agent-desktop version
agent-desktop status

预期version确认实际运行的CLI,status返回平台、权限和支持表面。某个可执行文件仍指向旧安装时,应先解决安装路径选择。macOS、Windows和Linux依赖的辅助功能接口不同,同一份自动化计划不能假定三者权限表现完全一致。

对操作结果重新取快照

macOS上可用Finder读取交互元素。下面的命令只观察,不包含点击、输入或删除动作;需要本机具备对应的辅助功能权限,并有可观察的Finder界面。

agent-desktop snapshot --app Finder -i

预期得到包含该次快照标识和可操作元素ref的JSON。后续动作须使用实际返回的完整ref;若窗口、弹窗或界面发生变化,应重新读取快照再选择目标。这里没有预填任何机器上的元素编号,也不把官方示例编号当作你当前桌面上的真实目标。

多个窗口可能需要明确窗口身份。输出中的错误码和细节比“命令没成功”更有区分力:权限不足、目标歧义与旧ref分别指向不同排查方向。若要重试失败动作,应遵守错误结果中disposition.retry的安全判断。

1.3.1修复的是另一层生命周期

如果任务还使用sandbox,1.3.1的修复让已启动沙箱在启动器退出后继续运行,避免其存活依赖启动器。它与ref有效性不同:前者关心运行环境是否仍然存在,后者关心界面目标是否仍对应当前快照。Release还将rustix更新到1.1.6以处理RUSTSEC-2026-0486,不应把这项依赖变更泛化为新的桌面功能。

agent-desktop 1.3.1正式补丁的两项变更

内置指南与日志边界

读取所安装版本附带的桌面与平台指南,可避免把其他发行版说明中的行为混入当前使用环境。

agent-desktop skills get desktop
agent-desktop skills get platform

预期分别输出桌面观察、操作与核验规则,以及当前操作系统差异。快照、剪贴板、截图和调试资料可能包含桌面私密内容,排错材料应只保留必要信息,不应把整份桌面输出直接上传到公开日志。对应用自动化而言,命令返回、当前快照和目标应用状态应相互印证;一次JSON成功响应不自动证明完整业务目标已经达到。

实用工具推荐

电子包浆

绿化、压缩、噪点和虚拟水印,自由调节做旧程度。

使用 ›
图片压缩

选择画质和输出格式,预览压缩前后的大小。

使用 ›