DoSA相较SGLang实现最高1.94倍首token加速

今日概览

  • DoSA无损跳过不可能入选Top-K的候选,用可证明上下界减少索引器全量打分,相较SGLang和LiteTopK,首token时间分别实现最高1.94倍和1.50倍加速。
  • 真实行为轨迹能训练通用能力:Vela从10万名用户的匿名化行为记录中生成10万个任务,筛选后保留约7.5万个,微调后用户相关任务最多提升11.5分、通用基准平均提升4分,但复用前仍须解决授权、代表性与行为偏差。
  • 现实生活与职业生产力场景仍是深度研究Agent的薄弱项。LifeSearch以203项由真实用户查询种子衍生的任务和4000多条细粒度规则核验数值、日期与URL,最强参评Agent也只有63.4%。

重点关注

01 推理加速 稀疏注意力背后,还藏着一遍全量扫描

稀疏注意力只读取少量键,但为了找出这少量键,索引器往往仍要给所有候选打分,全量扫描的成本并没有消失。DoSA的思路是先用一组种子候选确定Top-K入选门槛的下界,再通过各注意力头贡献的可证明上界,判断某个候选即使补全计算也不可能越过门槛,从而直接淘汰。这里的「无损」有严格条件:上界必须覆盖尚未计算的正向贡献和负向扣减的可能幅度;只有当候选的最高可能得分仍低于门槛时才能跳过,否则仍会执行完整打分,因此最终选出的键与原方法完全一致。它能省下多少计算,取决于候选得分的几何分布和Top-K边界是否清晰——入选与落选候选越容易拉开,越多完整评分可以被安全省掉。摘要报告完整索引器相较SGLang最高加速2.74倍、相较LiteTopK最高加速1.69倍,并覆盖英文、中文和代码负载。更重要的是,这部分局部优化确实传导到了端到端:在GLM-5.2和DeepSeek-V3.2上,首token时间相较SGLang和LiteTopK分别实现最高1.94倍和1.50倍加速,不过最高值能否代表常见上下文长度与批量配置,仍需看全文确认。对部署长上下文模型的团队而言,值得重新拆解稀疏注意力的索引成本;真正有价值的优化,可能不是再少读几个键,而是让大量候选连完整评分都不必经历。

稀疏读取不等于稀疏检索,索引器的全量扫描可能才是隐藏瓶颈只有可证明的得分上界低于Top-K门槛时才跳过计算,因此加速不以改变选键结果为代价评估此类方案时应同时查看索引器加速与首token延迟,最高局部数字并不自动等于稳定的端到端收益

02 训练优化 产品日志不只用于个性化,还能训练通用能力?

Vela把数周到数年的真实行为序列转成可训练的任务与轨迹:从10万名用户的匿名化行为记录中生成10万个任务,覆盖91种真实任务模板,筛选后保留约7.5万个。用这些数据微调Qwen3.6-35B-A3B后,用户相关任务最多提升11.5分,通用基准平均也提升4分,说明行为日志可能提供静态文本和合成数据缺少的监督信号。先微调再做强化学习,相比直接从基础模型强化学习最多再高7.7分,也表明高质量行为轨迹可以成为后续训练的底座。不过,匿名化不等于获得授权,更无法自动消除用户代表性不足、平台机制诱导和历史行为偏差。对拥有产品日志的团队,优先级应是建立同意机制、用途边界和离线验证,再判断哪些轨迹值得复用,而不是把用户行为视作免费的训练数据。

产品日志可从个性化上下文升级为模型监督信号行为轨迹可能同时改善用户理解与通用能力复用真实轨迹前应先解决授权、代表性和偏差验证

03 评测 203项现实任务,把细粒度核验摆上台面

LifeSearch显示,在203项现实生活与职业生产力任务上,表现最好的参评Agent聚合得分也只有63.4%。LifeSearch为203项由真实用户查询种子衍生的中英文任务构建4000多条细粒度规则,不只检查内容是否全面准确,还逐项核对数值、单位、日期和URL。12个参评Agent中,表现最好的也只拿到63.4%,说明当前系统的短板不只是「研究得不够深」,更在于能否稳定交付可直接行动、可逐项验证的结果。其评分与人工排序高度一致(Spearman相关系数0.89),但具体失败模式及各领域差异仍需看全文确认。对深度研究产品来说,比继续优化报告观感更重要的,是给关键事实建立结构化核验与来源追踪机制。

不要用学术问答成绩代替真实决策可靠性评测Agent时应逐项核对数值、日期、单位和来源链接产品优化应优先补齐事实核验与证据追踪,而非只改善报告表达
DoSA相较SGLang实现最高1.94倍首token加速

也值得关注

04
把工具噪声、失败恢复和用户纠正纳入同一反思训练流程 AgentAgent-Reflex在五项长程工具使用基准上的总分达到58.6,并超过强环境扩展与反思基线,显示其对噪声交互的恢复能力有所提升。链接
05
环境、任务与验证器必须协同修补 AgentWorkRover用依赖闭包回放寻找最小兼容修复,再将工作区进展转化为逐轮信用信号。链接
06
GUI Agent该回忆文字还是截图,取决于当前交互步骤 多模态SwitchMem逐步路由文本与视觉记忆,在三个GUI基准上超过固定记忆表示。链接
07
拥有标准答案的自蒸馏教师也会过早锁定捷径 训练优化仅用系统提示约束教师使用特权信息,就在12组设置中的11组提升Pass@1,平均提高3.9个百分点。链接
08
没有真值验证器,也能在线改造执行harness AgentHarness²从单次任务的修改中提炼经验,形成面向后续任务的持续改进机制。链接
09
先生成多尺度概念编码,再并行细化文本 模型架构Next-Concept Modeling在不同任务上达到10至31倍加速,为扩散语言模型之外提供非自回归路径。链接
10
268组实验揭示多模态配比并不对称 多模态音频更偏好扩模型,视觉数据会显著干扰音频学习,视觉或音频数据重复超过两遍则收益有限。链接
11
企业检索测试集不能只追求人类自然度 检索CoverSynth以覆盖为目标生成查询,在RepLiQA上,将12套系统都能回答的低区分度样本比例从人类查询的91%降至12%。链接
12
在向Pythia和OLMo 2注入来自潜在分类体系的合成事实后,模型会从下一词预测中形成可恢复的分类体系树 可解释性固定数据预算下,归纳随模型规模增大而减弱,提示更大的模型可能更倾向记忆个别事实。链接
13
礼貌表达的刻板印象也会诱发无关任务上的失准 安全对齐实验观察到安全性与诚实性下降,而现有防御虽改善安全表现,却大体保留了偏见本身。链接
14
以Qwen3.5 35B-A3B为起始模型时,后续交接未在BFCL或MultiWOZ上证明优于初始选择 模型架构;改造监督目标则在TwinRouterBench上相较逐步标签将轨迹通过分数提高7.8个百分点。链接
15
路线长度可以直接充当强化学习信号 AI for ScienceResizeCO再把k-opt改造成GPU树搜索,使扩散式组合优化器无需大规模最优标签即可外推到一万节点。链接