今日概览
- Token级路由先破坏现有批处理假设：TokenRouter将单请求路由逻辑与分模型异步执行分开，在不同路由算法、负载和模型组合下实现2.01—64.15倍解码吞吐提升。
- Agent能力上限可能先由练习世界决定，AgentGarten用统一接口连接可验证的程序化状态与共享神经渲染器，但「4轮对数百万轮」因学习范式不同，不能直接视为样本效率倍数。
- 混合模态检索会跌入V形性能低谷。文本表示可能获得天然分数优势，使无关文本比同量无关图片更具破坏性，上线前应按真实模态比例和噪声结构压测。
重点关注
01 推理加速 Token级路由一上生产，批处理为什么失灵？
Token级路由会让同一请求在不同LLM之间切换，原本默认「所有请求由单一模型同步解码」的服务系统因此被打乱：各模型推进速度不同，解码步逐渐错位，请求也更难及时进入批次。TokenRouter把这个问题拆成两层——开发者仍从单个请求的视角描述路由逻辑，运行时则为每个LLM启动独立子服务，并异步分发请求。这样既隔离了模型之间的执行节奏，也避免开发者亲自处理复杂的跨模型调度。每个子服务还使用延迟批处理调度器，等待合适时机凑批，其参数由系统吞吐模型推导，而非完全依赖人工调参。论文摘要报告，在不同路由算法、负载和模型组合下，解码吞吐提升为2.01—64.15倍；跨度如此之大，说明收益高度依赖具体工作负载，不能只拿最高值代表普遍效果。对准备部署Token级路由的团队，更重要的判断是这套架构能否在自身流量下同时守住延迟和服务等级目标，相关细节仍需结合全文与实际压测确认。
原文：TokenRouter: Efficient Serving System for Token-Level LLM Routing
02 Agent 能力的上限，可能先卡在练习世界
训练Agent不只缺算法，也缺既可信又逼真的练习场：规则必须前后一致，视觉反馈还得接近真实世界。AgentGarten把这两个问题拆开——模拟器维护可验证的状态与程序化规则，共享神经渲染器则把结构化条件转成实时视觉观察，让新世界可以通过代码持续增加并提高难度。Agent在其中交互后，会把经验整理成可继承、可迭代的行动手册，从而让后续学习复用已有积累。论文报告只需4轮便取得显著学习效果，而传统强化学习基线需要数百万轮，但两者采用的学习范式不同，不能直接解读为样本效率提升了几十万倍。更值得关注的是这套环境基础设施能否跨世界稳定扩展；如果成立，Agent团队下一阶段的瓶颈可能不是模型本身，而是有没有足够好的训练世界。
原文：AgentGarten: Code Worlds for Evolving Agents
03 检索 多模态检索最怕的，竟然是文字太多？
把语义对应的图片逐步替换成文本，检索性能并不会平滑变化，而是在图文混合时跌入明显的V形低谷。更反直觉的是，同等数量的无关文本比无关图片破坏更大：系统会给文本表示更高的相似度，让错误文字压过真正相关的图片。Trident把同一文档构造成文本、图片和图文融合三种等价正视图，再通过多正例对比学习同时训练相关性判断与视图间的分数平衡；摘要称，这种方法在CLIP和视觉语言模型架构上都降低了对模态配比及文本干扰项的敏感度。对准备上线多模态搜索的团队，关键不是分别测好纯文本和纯图片，而是按真实语料的模态比例与噪声结构压测——具体改善幅度仍需看全文确认。
原文：Chaos in the Text: Revealing the Modality Preference in Mixed-Modality Retrievers
也值得关注
今日观察
今天值得带回工程流程的检查项是「混合之后再测一次」。TokenRouter表明，多模型细粒度交替会破坏单模型同步解码和批处理假设；混合模态语料会让原本在纯文本、纯图片测试中正常的检索器跌入性能低谷；AgentGarten则必须通过统一接口协调程序化状态与神经视觉。组件各自通过基准，不代表组合后仍然成立。上线评测应主动覆盖真实的模型切换频率、语料模态比例和跨后端状态交接，而不是只测纯净的单组件路径；下一轮发布前，把这三类混合场景及其吞吐、延迟、准确率和状态一致性指标加入验收清单。