Multics从4人训练外推到10人推理

今日概览

  • 分层通信让多人世界模型不必全连接,Multics通过玩家、群组和全局三层交换信息,从4人训练直接外推至10人推理;但系统评测主要仍在4至6人设置。
  • DiT注意力可随去噪阶段由全局收缩到局部:AReA无需增加参数或重新训练,旨在同时缓解高分辨率结构失真和二次方计算成本,具体提速幅度仍待全文确认。
  • 客户隔离应覆盖KV cache。 OLMo-3-7B-Instruct在20个受控双客户目标冲突市场场景中,22%的合格决策偏离当前客户目标;探针和定点消融提供了因果证据,真实部署风险仍需更多模型验证。

重点关注

01 视频生成 多人世界模型不必让所有玩家彼此直连

多人世界模型的扩展瓶颈,不只是算力不够,而是所有玩家都互通消息既昂贵又容易互相干扰。全连接通信的注意力成本会随玩家数量平方增长,集中式表示又可能把无关事件混在一起;Multics因此把通信拆成玩家、群组和全局三层,让局部相关的信息先在组内汇总,再跨组交换。它还根据近期镜头轨迹动态分组,并用通信预算限制不必要的信息流:相关玩家在局部层级聚合,层级拓扑限制无关局部事件的直接混合,同时全局token仍支持跨组通信。群组参数在不同组之间共享,因此增加玩家时不必同步增加组专属参数。摘要称,该方法在4人和6人设置下改善了跨玩家一致性、动作与镜头控制,以及对无关事件干扰的抵抗力。更值得关注的是,模型从4人训练直接外推到6人、8人和10人推理且无需重新训练;不过系统性结果仍主要来自4至6人场景,摘要未报告10人规模下的详细性能结果。

多人世界模型的通信拓扑可能比单纯扩大模型更值得优化动态分组能同时降低计算量和无关事件干扰,适合关注大规模交互模拟的团队从4人外推到10人展示了扩展潜力,但不应等同于10人场景已经得到充分验证

02 图像生成 让注意力看得更少,反而能让高分辨率图像更完整?

AReA把高分辨率生成的结构失真与二次方计算成本追溯到同一设计:在整个去噪过程中维持全局注意力。AReA抓住了一个反直觉的变化——去噪早期需要全局视野来搭结构,后期却只需聚焦局部来补细节,于是先用降采样后的键和值捕捉整体,再逐步缩小注意力窗口。这样既减少了全注意力的二次方计算,也避免模型在后期面对大量训练时没见过的token数量和相对距离。更实用的是,它不增加参数、无需重新训练,并在不同模型和目标分辨率上优于已有免训练基线;不过具体提速幅度和画质改善仍需看全文确认。

高分辨率生成的失真与高成本可能有共同根源按去噪阶段收缩感受野,比全程保持全局注意力更合理已有DiT可尝试免训练接入,但部署价值仍要结合具体速度和画质数据判断

03 Agent 隔离客户数据还不够,推理状态也要隔离

长驻Agent连续服务多个客户时,上一位客户的目标可能不只留在聊天记录里,还会通过共享的KV cache干扰下一次决策。实验中,OLMo-3-7B-Instruct在双客户目标冲突的受控市场场景里,有22%的合格决策偏离了当前客户目标。研究者用线性探针定位到中间层的特定注意力头,再定点消融竞争客户的目标表征;相比随机消融或删除非目标token,这种干预更明显地把决策拉回当前客户,提供了因果证据。这些结果凸显了将缓存等推理状态纳入关系级隔离边界的重要性。只是22%来自单一7B模型和20个受控场景,真实系统中的风险规模仍需更多模型与任务验证。

多租户Agent应对KV cache实施关系级隔离共享推理状态可能直接改变决策,不应仅按隐私泄露问题处理22%偏离率说明风险值得测试,但不能直接外推到生产环境
Multics从4人训练外推到10人推理

也值得关注

04
masked图像模型的RL会陷入「视觉探索陷阱」 图像生成MaskSense在采样和优化阶段应对视觉探索陷阱,GenEval准确率从54%升至86%,HPS从28.89升至36.39。链接
05
找全跨页、跨文档证据时,单页检索能力还不够 检索VL-DocIR显示跨文档检索明显更难,而文档上下文评分对同文档多页查询尤其有帮助。链接
06
PDE训练数据不必全押高保真模拟 AI for Science按数值误差规律混合不同保真度,在六个PDE问题、四种代理架构的实验设置中,最高以少6.3倍的数据生成算力达到相同精度。链接
07
合法相关矩阵只是脑连接组生成的起点 AI for ScienceMAGNET用流形约束保证有效性,同时尝试保留粗粒度疾病标签内部的临床异质性;在三个队列中,相较既有流形感知方法,类别条件保真度提高7%至21%。链接

今日观察

三篇主文都在修正「交互越充分越好」的默认设计。Multics限制无关玩家直接通信,AReA让高分辨率DiT随去噪进程从全局注意转向局部,多客户Agent则必须阻断KV cache跨关系影响;它们对应的代价也不同:全连接通信推高二次方算力,过宽注意让模型暴露于训练外的token数量和相对距离,共享缓存则会污染当前决策。共同的工程要求不是继续堆上下文或通信容量,而是在扩展前明确「谁在何时能看见什么」。下一轮架构评审可先画一张按主体、阶段和客户划分的信息可见性矩阵,再分别压测算力、分布外暴露和状态污染。