今日概览
- DoSA无损跳过不可能入选Top-K的候选,用可证明上下界减少索引器全量打分,相较SGLang和LiteTopK,首token时间分别实现最高1.94倍和1.50倍加速。
- 真实行为轨迹能训练通用能力:Vela从10万名用户的匿名化行为记录中生成10万个任务,筛选后保留约7.5万个,微调后用户相关任务最多提升11.5分、通用基准平均提升4分,但复用前仍须解决授权、代表性与行为偏差。
- 现实生活与职业生产力场景仍是深度研究Agent的薄弱项。LifeSearch以203项由真实用户查询种子衍生的任务和4000多条细粒度规则核验数值、日期与URL,最强参评Agent也只有63.4%。
重点关注
01 推理加速 稀疏注意力背后,还藏着一遍全量扫描
稀疏注意力只读取少量键,但为了找出这少量键,索引器往往仍要给所有候选打分,全量扫描的成本并没有消失。DoSA的思路是先用一组种子候选确定Top-K入选门槛的下界,再通过各注意力头贡献的可证明上界,判断某个候选即使补全计算也不可能越过门槛,从而直接淘汰。这里的「无损」有严格条件:上界必须覆盖尚未计算的正向贡献和负向扣减的可能幅度;只有当候选的最高可能得分仍低于门槛时才能跳过,否则仍会执行完整打分,因此最终选出的键与原方法完全一致。它能省下多少计算,取决于候选得分的几何分布和Top-K边界是否清晰——入选与落选候选越容易拉开,越多完整评分可以被安全省掉。摘要报告完整索引器相较SGLang最高加速2.74倍、相较LiteTopK最高加速1.69倍,并覆盖英文、中文和代码负载。更重要的是,这部分局部优化确实传导到了端到端:在GLM-5.2和DeepSeek-V3.2上,首token时间相较SGLang和LiteTopK分别实现最高1.94倍和1.50倍加速,不过最高值能否代表常见上下文长度与批量配置,仍需看全文确认。对部署长上下文模型的团队而言,值得重新拆解稀疏注意力的索引成本;真正有价值的优化,可能不是再少读几个键,而是让大量候选连完整评分都不必经历。
原文:DoSA: Dots Sparse Attention
02 训练优化 产品日志不只用于个性化,还能训练通用能力?
Vela把数周到数年的真实行为序列转成可训练的任务与轨迹:从10万名用户的匿名化行为记录中生成10万个任务,覆盖91种真实任务模板,筛选后保留约7.5万个。用这些数据微调Qwen3.6-35B-A3B后,用户相关任务最多提升11.5分,通用基准平均也提升4分,说明行为日志可能提供静态文本和合成数据缺少的监督信号。先微调再做强化学习,相比直接从基础模型强化学习最多再高7.7分,也表明高质量行为轨迹可以成为后续训练的底座。不过,匿名化不等于获得授权,更无法自动消除用户代表性不足、平台机制诱导和历史行为偏差。对拥有产品日志的团队,优先级应是建立同意机制、用途边界和离线验证,再判断哪些轨迹值得复用,而不是把用户行为视作免费的训练数据。
原文:Vela: User Behavior as Supervision Sparks LLM Intelligence
03 评测 203项现实任务,把细粒度核验摆上台面
LifeSearch显示,在203项现实生活与职业生产力任务上,表现最好的参评Agent聚合得分也只有63.4%。LifeSearch为203项由真实用户查询种子衍生的中英文任务构建4000多条细粒度规则,不只检查内容是否全面准确,还逐项核对数值、单位、日期和URL。12个参评Agent中,表现最好的也只拿到63.4%,说明当前系统的短板不只是「研究得不够深」,更在于能否稳定交付可直接行动、可逐项验证的结果。其评分与人工排序高度一致(Spearman相关系数0.89),但具体失败模式及各领域差异仍需看全文确认。对深度研究产品来说,比继续优化报告观感更重要的,是给关键事实建立结构化核验与来源追踪机制。
原文:LifeSearch: Benchmarking Deep Research Agents for Real-World Life and Productivity
