今日概览
- 桌面Agent的接口设计能同时改善成功率与成本:在8款应用、368项任务中,相较原生SDK,原子接口让两种模型的成功率分别提高3.8和3.5个百分点,在线token消耗约降73%。
- 证据加工也是可迁移的Agent技能,ViewCraft在8个基准上相较直接执行平均提升6.1分,控制相同token预算后仍有优势,收益并非单纯来自堆叠输入。
- 固定模型预标完整轨迹语料可能造成监督滞后。RSI-Nav边生成、执行筛选边更新,在R2R-CE和RxR-CE上的成功率分别达到68.6%和72.4%,但证据仍集中于导航基准。
重点关注
01 Agent原子接口相较原生SDK让在线token约少73%
软件版本演进为观察接口变化如何影响桌面Agent表现提供了一组自然对照。研究者在任务、Agent和验证器不变的情况下测试6款桌面应用的255项任务,结果显示,在两种模型和六款应用中,最新版本持续优于最旧版本。轨迹分析识别出三个相关接口属性:Agent能否找到可用操作,操作是否足够原子化,以及执行后能否清楚判断状态变化。基于这些准则构建的ANIS会从已安装应用中合成Agent原生接口;在扩展到8款应用、368项任务后,原子接口相较直接使用原生SDK让两种模型的成功率分别提高3.8和3.5个百分点,同时把在线token消耗降低约73%。进一步提供目标级命令后,两种模型的成功率又达到74.5%和67.4%,说明高层意图与底层原子能力可以形成互补。对做桌面Agent的团队来说,可发现性、操作粒度和结果可观察性可以直接用于桌面软件接口审计;不过不同类型软件能否稳定复现这些收益,仍需看全文和更广泛验证。
原文:A Decade in a Day: Synthesizing Agent-Native Interfaces from Human-Oriented Software Evolution
02 多模态 把「看什么」和「怎么读」一起优化
多模态Agent的能力上限,可能在模型开始推理前就已被部分决定。ViewCraft把证据界面与阅读流程作为一项技能共同演化:前者筛选、转换并组织原始观察,后者负责解释加工后的视图,失败轨迹则用于指导两者迭代。在8个基准上,它相较直接执行平均提升6.1分且全部取得增益;即使控制相同的输入token预算,优势依然存在。五个多源任务中,学习出的界面还比初始技能少用8%—15%的输入token,但这更像证据质量改善带来的结果,而不是单纯的上下文压缩。技能在不同执行模型之间迁移后仍优于直接执行,说明做多模态Agent时,值得把「如何构造证据」与推理策略放在同等位置。
原文:VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It
03 机器人 固定模型预标完整轨迹语料可能造成监督滞后
多数既有方法先用固定模型标注完整轨迹语料再更新,这可能使生成的监督落后于演进中的策略。RSI-Nav把未标注轨迹拆成小批次,由当前模型生成指令、实际执行并按到达目标与路径效率筛选,随后立即更新模型,再处理下一批数据。导航与指令生成由同一个模型承担,使语言监督和行动能力能同步演进,并辅以空间理解数据增强推理基础。摘要报告其在R2R-CE和RxR-CE上的成功率分别达到68.6%和72.4%,同时提升了指令生成效用,但没有提供足够信息判断相对提升幅度。现有证据仍集中在导航基准,这套分片更新机制能否迁移到更开放的机器人任务,还需要进一步验证。
