去掉CLIP的VLM更强，prefill加速28倍

重点关注

01 多模态 视觉编码器不需要「看过图」也能理解图像？

几乎所有主流VLM都默认用CLIP或SigLIP做视觉编码器——毕竟这些模型见过海量图文对，理应最懂图像。但腾讯的研究团队发现了一个根本性的目标不匹配：对比学习优化的是粗粒度的类别区分能力（「这是猫还是狗」），而VLM真正需要的是细粒度的视觉理解（「图里第三行写了什么」）。为了追求检索相似度，CLIP反而主动压制了空间细节和局部特征。Penguin-VL的做法出人意料——直接用纯文本LLM初始化视觉编码器，完全跳过对比预训练。结果在2B和8B参数规模上，文档理解、视觉知识、多视角视频理解等任务全面超过了用SigLIP的同级模型，数学推理也打平了Qwen3-VL。这说明在紧凑模型上，更好的视觉表示比堆参数更关键。不过这个结论目前只在小模型上验证过，更大规模下CLIP的对比预训练是否仍然是次优选择，还是个开放问题。

原文：Penguin-VL: Exploring the Efficiency Limits of VLM with LLM-based Vision Encoders

02 推理加速 稀疏注意力的搜索开销，可能比注意力本身还贵

稀疏注意力加速prefill的思路不新鲜，但多数方案有个尴尬的共性：找出哪些token重要这件事本身就很耗时，省下的注意力计算被搜索开销吃回去了。FlashPrefill换了个思路——它发现注意力的稀疏模式（vertical、slash、block-sparse三种）可以通过快速块搜索近乎零成本地识别，不需要排序或累加注意力分数。配合动态阈值机制砍掉长尾分布来提升稀疏度，256K序列上实现27.78倍加速。更值得注意的是短上下文场景也没退化，4K长度仍有1.71倍加速——这意味着它不是只在极端长度下才有用的trick，日常推理也能受益。

原文：FlashPrefill: Instantaneous Pattern Discovery and Thresholding for Ultra-Fast Long-Context Prefilling

03 训练优化 模型合并丢知识的根因，可能藏在奇异值方向里

模型合并（model merging）效果不稳定是个老问题，但之前缺乏清晰的诊断框架来解释「为什么这次合并失败了」。DC-Merge提出了一个可操作的指标：合并后的多任务向量与各单任务向量在奇异空间中的方向一致性——方向偏离越大，知识丢失越严重。论文发现两个具体病因：一是奇异值能量分布不均，少数主导成分淹没了语义上重要但较弱的信号；二是任务向量在参数空间中的几何结构不一致，直接合并会扭曲方向。对应的修复是先平滑奇异值分布，再投影到共享正交子空间对齐几何结构，在视觉和视觉语言基准上全量微调和LoRA两种设定都达到了当前最优，被CVPR接收。

原文：DC-Merge: Improving Model Merging with Directional Consistency

04 图像生成 扩散模型学会按信息密度分配计算了

Diffusion Transformer的patchify操作把图像切成固定大小的token序列——背景天空和复杂纹理拿到同样多的计算资源。DC-DiT在DiT骨干上加了一组encoder-router-decoder模块，端到端学习按区域信息密度分配token：低信息区域压缩成更少token，高细节区域保留更多，且这种视觉分割是无监督涌现的。分配策略也随去噪阶段变化——早期噪声阶段用更少token处理粗结构，后期才增加token数量来捕捉精细细节。在ImageNet 256×256上，无论参数量匹配还是计算量匹配的对比，DC-DiT的FID和IS都优于DiT基线。实用性上，它可以从预训练DiT检查点热启动，最多只需八分之一的训练步数，也能和其他动态计算方法组合进一步降低推理开销。

原文：Dynamic Chunking Diffusion Transformer