MoE安全集中在少数专家、独占批提速42%

重点关注

01 评测 实验室里跑得好的VLM，搬到机器人上为什么会崩

把视觉语言模型（VLM）塞进机器人和具身系统已经是常规操作，但用来验收它的benchmark大多还在拿干净图或人工加的孤立噪声来测——这和真实部署环境是两套东西。RoboStressBench换了个视角：从逆向图形学（inverse graphics）出发，照着物理渲染方程把视觉退化拆成材质、视角、光照、几何四个有物理依据的维度，模拟的是「场景本身形成过程中」产生的压力，而不是事后P上去的扰动。它最有用的发现不是又多设了几类干扰，而是：不同物理因素拖垮的是不同的具身能力——光照可能毁掉识别，几何可能毁掉规划，但这些差异在「总体准确率」这个聚合数字里全被抹平了。换句话说，你看到的那个漂亮均分，正在掩盖模型在某个具体环节的系统性失灵。作者还顺手给了个stress-aware的agentic方案：先检测画面里有哪种视觉压力，调用对应的图像编辑技能处理掉，再让模型推理，在高压力场景下能把鲁棒性拉回来一些。

原文：RoboStressBench: Benchmarking VLM Robustness to Physical Visual Stress in Embodied Scenes

02 安全对齐 MoE省下的算力，可能是从安全护栏里抠出来的

直觉上，MoE(混合专家)架构只是把大模型拆成多个专家、按需路由来省算力，安全性应该和稠密模型没区别。但这篇ICML论文发现了一个反直觉的漏洞——「Safety Sparsity」：安全能力其实高度集中在少数几个专家身上，攻击者只要让输入绕开这几个专家，护栏就基本失效了。更麻烦的是，传统对齐方法对所有参数一视同仁地微调，反而会拖累正常能力。MESA的解法是借用最优传输(OT)理论，把安全职责主动「摊薄」到更多性价比高的专家上，再约束路由器去激活这些分散的模块，论文称能在多种攻击benchmark上保持防御力的同时不牺牲有用性——具体提升幅度需要看全文确认。对任何在跑或部署MoE模型的人，这是个值得记住的认知：扩容换来的不只是能力，还多了一个稀疏路由本身带来的脆弱面。

原文：MESA: Improving MoE Safety Alignment via Decentralized Expertise

03 训练优化 直接改权重给模型「打知识补丁」，到底靠不靠谱？

参数级知识编辑（直接改几处权重来更新模型记住的事实）一直很有吸引力——不用重新训练，定点修改，听起来又快又省。但这篇ICML工作给它泼了盆冷水：先从理论上提出「维度坍缩假说」，解释为什么局部的权重改动会沿着表示空间里脆弱的方向扩散、引发全局干扰，最终拖垮推理能力；再系统地变化知识复杂度、编辑次数、评测维度做实证，结论是这类方法在贴近真实使用的条件下会稳定地损伤模型的核心能力。更扎心的对照是：一个简单的检索式基线（把知识放外部，用时再查）在所有测试条件下都比全部参数编辑方法表现更好。当然这只是摘要给出的结论，具体坍缩机制和实验细节需要看全文确认，但方向上的信号已经够清楚。

原文：Revisiting Parameter-Based Knowledge Editing in Large Language Models: Theoretical Limits and Empirical Evidence

04 推理加速 混合批处理不总是最优，分界线藏在显存带宽里

混合批处理藏着一个被普遍忽略的代价。当前LLM推理调度默认把prefill（预填充）和decode（解码）混在一个batch里跑，图的是同时把算力和显存吃满；但这篇ICML工作用受控实验把这个代价拆了出来：prefill和decode会互相干扰，让混合批处理的每步边际成本反而高于纯解码。关键在于这个临界点跟硬件强相关：在高带宽的H200（4.8TB/s）上，只有当decode token超过batch的80%才会发生；而到了带宽受限的RTX PRO 6000（1.792TB/s），阈值骤降到20%——也就是说在便宜卡上，干扰几乎一直存在。作者推导了混合批与独占批（exclusive batching）的性能交叉点闭式条件，据此优化的独占批在带宽受限GPU上吞吐最高提升41.9%，而大模型配高带宽卡时混合批仍占优。他们的混合调度器EB+把这个条件做成在线判断、自动切换，在流量分布漂移的场景下吞吐比纯混合批最高高出36.4%。

原文：Threshold-Based Exclusive Batching for LLM Inference

05 可解释性 模型认出「自己写的」，靠的是一个固定参照系

post-trained语言模型能从一两句话里认出哪些是自己写的，这件事本身已经有点反直觉。Anthropic这篇接着前作往下挖：模型判断「这段是不是我写的」，依赖的是assistant模式生成时那个尖锐的熵下降——一种可观测的内省信号，而非什么玄学。更意外的是跨persona的部分：当模型评判海盗、龙、莎士比亚这些角色写的文本时，它并不拿对方persona当参照，而是统一拿assistant这个「默认人格」当固定参照系来比较。作者把它解释成一次隐式的贝叶斯似然比检验——assistant恰好是激活空间里唯一对所有persona都可访问的锚点，所以成了那个universal的对照假设。说清楚一点：这不是模型有了自我意识，而是post-training在表征几何里刻下的一个固定结构，刚好可以被拿来做自我识别。

原文：The Assistant as a Privileged Persona: A canonical reference in cross-persona self-recognition