原子接口相较原生SDK让桌面Agent在线token约少73%

今日概览

  • 桌面Agent的接口设计能同时改善成功率与成本:在8款应用、368项任务中,相较原生SDK,原子接口让两种模型的成功率分别提高3.8和3.5个百分点,在线token消耗约降73%。
  • 证据加工也是可迁移的Agent技能,ViewCraft在8个基准上相较直接执行平均提升6.1分,控制相同token预算后仍有优势,收益并非单纯来自堆叠输入。
  • 固定模型预标完整轨迹语料可能造成监督滞后。RSI-Nav边生成、执行筛选边更新,在R2R-CE和RxR-CE上的成功率分别达到68.6%和72.4%,但证据仍集中于导航基准。

重点关注

01 Agent原子接口相较原生SDK让在线token约少73%

软件版本演进为观察接口变化如何影响桌面Agent表现提供了一组自然对照。研究者在任务、Agent和验证器不变的情况下测试6款桌面应用的255项任务,结果显示,在两种模型和六款应用中,最新版本持续优于最旧版本。轨迹分析识别出三个相关接口属性:Agent能否找到可用操作,操作是否足够原子化,以及执行后能否清楚判断状态变化。基于这些准则构建的ANIS会从已安装应用中合成Agent原生接口;在扩展到8款应用、368项任务后,原子接口相较直接使用原生SDK让两种模型的成功率分别提高3.8和3.5个百分点,同时把在线token消耗降低约73%。进一步提供目标级命令后,两种模型的成功率又达到74.5%和67.4%,说明高层意图与底层原子能力可以形成互补。对做桌面Agent的团队来说,可发现性、操作粒度和结果可观察性可以直接用于桌面软件接口审计;不过不同类型软件能否稳定复现这些收益,仍需看全文和更广泛验证。

接口审计可围绕可发现性、操作粒度和结果可观察性展开在8款应用、368项任务中,原子接口相较原生SDK让两种模型的成功率分别提高3.8和3.5个百分点,并减少约73%的在线token在原子接口之外加入目标级命令后,两种模型的成功率进一步达到74.5%和67.4%

02 多模态 把「看什么」和「怎么读」一起优化

多模态Agent的能力上限,可能在模型开始推理前就已被部分决定。ViewCraft把证据界面与阅读流程作为一项技能共同演化:前者筛选、转换并组织原始观察,后者负责解释加工后的视图,失败轨迹则用于指导两者迭代。在8个基准上,它相较直接执行平均提升6.1分且全部取得增益;即使控制相同的输入token预算,优势依然存在。五个多源任务中,学习出的界面还比初始技能少用8%—15%的输入token,但这更像证据质量改善带来的结果,而不是单纯的上下文压缩。技能在不同执行模型之间迁移后仍优于直接执行,说明做多模态Agent时,值得把「如何构造证据」与推理策略放在同等位置。

优化多模态Agent时,应同时评估证据加工与阅读流程相同token预算下仍有增益,说明效果并非来自堆叠输入可跨模型迁移的证据界面,可能比绑定单一模型的提示词更值得沉淀

03 机器人 固定模型预标完整轨迹语料可能造成监督滞后

多数既有方法先用固定模型标注完整轨迹语料再更新,这可能使生成的监督落后于演进中的策略。RSI-Nav把未标注轨迹拆成小批次,由当前模型生成指令、实际执行并按到达目标与路径效率筛选,随后立即更新模型,再处理下一批数据。导航与指令生成由同一个模型承担,使语言监督和行动能力能同步演进,并辅以空间理解数据增强推理基础。摘要报告其在R2R-CE和RxR-CE上的成功率分别达到68.6%和72.4%,同时提升了指令生成效用,但没有提供足够信息判断相对提升幅度。现有证据仍集中在导航基准,这套分片更新机制能否迁移到更开放的机器人任务,还需要进一步验证。

构建合成数据流水线时,应检查是否用固定模型一次性标注完整轨迹语料小批生成、执行筛选和即时更新可使新监督与演进中的策略保持一致当前证据集中于导航基准,是否适用于真实机器人环境仍需谨慎判断
原子接口相较原生SDK让桌面Agent在线token约少73%

也值得关注

04
SARATHI把剪枝选择与权重重构解耦 推理加速无数据探测减少校准域偏差,偏移补偿则应对高稀疏度下的激活漂移;六个模型在15%—40%稀疏率下取得有竞争力的结果。链接
05
Apertus 1.5把完全开放模型扩展到图像、音频与262,144token上下文 多模态通用能力继续提升,但专用视觉和音频模型在感知及高资源语言转录上仍然领先。链接
06
不同基础模型的互补信息未必位于相同深度 多模态SALC用稀疏跨层连接替代按层对齐融合,在四种模型组合和三类域外语义分割设置中展现出更强泛化能力。链接
07
工具型标注Agent将短视频治理推向更高自动化阶段 安全对齐从监督分类器、领域预训练模型逐步演进后,该框架在真实业务中最多降低85%的人工成本。链接
08
编码Agent能从执行失败中持续改进外部行为规范 代码智能SpecForge以多前沿搜索处理局部修订引发的连锁回归,在五种基础模型上均取得最佳表现。链接
09
DNA基础模型应先与简单k-mer特征比较增量价值 AI for Science五类模型中只有NTv3表现出稳定优势,在57个数据集中的46个实现改进,平均ΔMCC为+0.072。链接
10
语义ID推荐中的并行多token预测只赢得吞吐 推理加速在该语义ID推荐设置中,传统自回归束搜索在多数产品关键的排序与内容问答指标上更优,Qwen3-8B规模的训练成本约低2.6倍。链接
11
视频分割需要显式发现身份漂移并执行恢复 多模态Dual-Agent在错误进入记忆循环后验证和纠正目标,使SAM3在LVOS-v2和SecVOS上分别提高1.2和2.7J&F。链接
12
草图和文字意图可以直接对齐到可执行参数化CAD代码 多模态HiCAD通过协作式多任务对齐弥合输入差异,再以空间奖励约束几何与拓扑一致性。链接
13
连续空间中的可学习滤波器能够跨分辨率复用 AI for ScienceMesh-Free Convolution学习尺度相关滤波与传输方向项,以改善PDE自回归预测的长期稳定性。链接