12B超GPT-4，蒸馏后学生反超教师

重点关注

01 检索 生成式推荐的泛化优势，拆开看可能只是token级的记忆

生成式推荐（GR）取代传统ID推荐的核心论据之一是「泛化能力更强」——能预测训练时没见过的item组合。这篇工作设计了一套拆解框架，把每个预测实例按所需能力分为记忆类和泛化类，然后分别评估两种范式的表现。表面结论符合预期：GR在需要泛化的实例上更强，传统ID模型在记忆类实例上更强。但关键发现藏在下一层——把分析从item级别下沉到token级别后，GR所展现的「泛化」很大程度上是token级别的记忆重组，模型并没有学会真正的组合性推理，只是把item拆成token后记忆粒度变细了。这对正在用GR替换传统推荐的团队是个需要认真对待的结论：你观察到的泛化提升，未必意味着模型理解了用户偏好的组合结构。论文同时证明两种范式互补，提出了一个基于记忆强度的指标来逐实例自适应融合，整体效果优于单一范式——务实的工程结论比「谁更强」更有价值。

原文：How Well Does Generative Recommendation Generalize?

02 安全对齐 安全审计为什么可能是AI Agent的最佳切入点？

安全合规评估是个有意思的AI应用场景：评估标准极其明确（NIST CSF框架），合格的人类专家（CISSP持证者）又极其稀缺。微软用6个Agent分别负责组织画像、资产映射、威胁分析、控制评估、风险评分和建议生成，在一家15人的医疗合规公司上测试，与3位CISSP专家的独立评估对比，严重等级分类一致率85%，风险覆盖率92%。值得注意的是，领域微调模型能识别出通用模型完全遗漏的风险——比如医疗场景的PHI暴露、制造业的OT/IIoT漏洞，这说明在安全领域通用能力不够，行业知识才是关键。但多Agent流水线在T4的4096-token上下文窗口下全部失败，说明上下文容量而非模型能力才是当前的实际瓶颈。

原文：An Agentic Multi-Agent Architecture for Cybersecurity Risk Management

03 Agent 网页Agent反复迷路，中间检查点才是缺失环节

LLM Agent在长序列网页任务中频繁「跑偏」，一个被低估的原因是：它们只盯着最终目标，缺少中间检查点来校正方向。MiRA框架的做法是把长任务拆成子目标，每完成一个子目标就给一次奖励信号，而不是等到任务结束才知道成败。这个思路并不新，但验证结果值得注意——Gemma3-12B经过MiRA训练后，WebArena-Lite成功率从6.4%跳到43.0%，超过了GPT-4-Turbo的17.6%和GPT-4o的13.9%。更实际的发现是，即使在推理阶段单独加上子目标规划（不做RL训练），Gemini也能提升约10个百分点，说明问题确实出在规划层而非模型能力本身。

原文：A Subgoal-driven Framework for Improving Long-Horizon LLM Agents

04 推理加速 离散扩散模型终于也能蒸馏了？

离散扩散模型有个尴尬处境：生成质量在追上来，但采样速度一直被拖后腿——蒸馏这条最直接的加速路走不通，之前的方案全都会让生成质量崩掉。D-MMD的关键突破是把矩匹配（moment matching）的思路重新适配到离散token空间，绕过逐token的匹配，直接在分布层面对齐教师和学生模型。效果出乎意料：文本和图像两个域都保住了质量和多样性，蒸馏后的学生模型甚至反超了教师。这意味着离散扩散方案——包括文本生成中越来越多采用的这类架构——终于有了实用的推理加速路径。

原文：Beyond Single Tokens: Distilling Discrete Diffusion Models via Discrete MMD