0.6B追平32B,显存省50倍

今日概览

  • 模糊函数不必再养一根API调用:Program-as-Weights把自然语言规格直接编译成本地权重件,0.6B解释器追平32B直接prompt、显存只要1/50,还开源了1000万样本的FuzzyBench。
  • 免训练出图提速10倍,画质只掉1%——MrFlow靠分阶段采样修掉多分辨率加速的伪影老毛病,不用改kernel、能叠现成蒸馏模型,落地门槛极低。
  • agent的记忆该是一份可审计的合约:AgenticSTS用typed retrieval给每个决策拼一条干净上下文,让任意记忆组件都能单独拆开做消融。
  • 更dense的自蒸馏,反而更容易崩。SDPO泼冷水:自蒸馏信号越密集漂移越大,条件差时比GRPO遗忘更严重,别再无脑当持续训练的默认稳定器。

重点关注

01 代码智能 一句话规格编译成本地权重,模糊函数不必再养一根API调用

编译这个动作,被搬到了「说得清但写不出规则」的任务上——报警重要日志、修复坏掉的JSON、按意图给搜索结果排序,这类活过去要么手写一堆脆弱的正则,要么直接外包给大模型API。Program-as-Weights(PAW)的做法是:一个4B的「编译器」读你的自然语言规格,直接吐出一份参数高效的适配器(adapter),挂到一个冻结的轻量解释器上跑。效果是真扎实:0.6B的Qwen3解释器执行编译出来的程序,性能追平直接prompt一个32B模型,推理显存只要约1/50,在MacBook M3上跑到30tokens/s。作者还放出了训练用的FuzzyBench数据集(1000万样本),意味着别人可以复现甚至训自己的编译器。真正有意思的不是「又一个小模型」,而是它把大模型从「每个输入都要求解一次的求解器」重新定义成了「工具的制造者」——调一次生成一个可复用的权重件,之后每次函数调用都便宜、离线、可版本管理。这等于在「什么该实时调大模型、什么该编译成本地组件」之间重新划了条线。

模糊函数从「每次调API」降级成「编译一次的本地权重件」,天然获得可复现和成本可控0.6B解释器追平32B直接prompt、显存1/50,对成本敏感的生产系统是实打实的新选项FuzzyBench(1000万样本)已开源,可复现门槛不高,值得做生产pipeline的团队实测。

02 推理加速 免训练把出图提速10倍,画质只掉1%

多分辨率生成的思路早就有了——大部分采样步骤在低分辨率跑,只在最后一步放大精修,去年就能做到5倍免训练加速。问题是老做法在潜空间(latent space)里上采样、还只改局部区域,放大后经常糊或者出伪影,提速换来的是能看出来的画质塌陷。MrFlow换了个更笨但更稳的路径:先低分辨率快速定结构,再用一个轻量GAN在像素空间做超分,然后注入低强度噪声让高频细节重采样,最后高分辨率精修一遍。在FLUX.1-dev和Qwen-Image上做到端到端10倍加速,画质指标(OneIG)只掉1%以内;如果叠加已有的步数蒸馏,能进一步冲到25倍。整套方法不需要训练、不需要自定义kernel、也不用运行时动态判断改哪块,这几点决定了它落地门槛很低。

免训练、无自定义kernel、能直接叠在现成蒸馏模型上,这三点意味着现有推理管线几乎不用改就能接多分辨率加速的老毛病是放大后的伪影,这篇的价值在于把画质掉损压到1%以内,而不是刷加速倍数对自建FLUX/Qwen-Image出图服务、想砍推理成本又不敢牺牲画质的团队,现在可以直接试。

03 Agent 长程agent的记忆,该是一份可审计的合约

搭长程agent时,最省事的记忆方案是把所有观察、工具调用、反思一股脑append进prompt——啥都查得到,代价是搅成一锅粥,你没法知道单个记忆组件到底起了多大作用。AgenticSTS提出另一种「有界合约」:每个决策都从一条重新拼装的干净user message出发,内容由typed retrieval(按类型检索)挑选,不带原始历史。这样prompt长度不随run变长,而且任何一层记忆都能单独拿掉做消融测试。他们用《杀戮尖塔2》这种需要上百次决策的卡牌游戏做实验,开启触发式策略技能层后从3/10胜率提到6/10——但作者自己标注了这是directional的结果,样本量下Fisher检验p≈0.37,还谈不上统计显著。真正的价值不在这个数字,而在它把「记忆该让每个决策看到什么」变成一个可以拆开审计的设计变量。

记忆不是加得越多越好,append式全量上下文让你无法隔离单个组件的作用把记忆设计成「每个决策看到什么」的显式契约,才能做受控消融胜率数字仅directional(p≈0.37),这篇的贡献是方法论和可复现testbed,不是SOTA成绩。

04 训练优化 更dense的自蒸馏信号,在持续训练里反而更容易崩

按直觉,on-policy自蒸馏(模型用自己的输出当老师、逐token监督自己)信号越密集,学得越稳,最近它被当成持续后训练里对抗遗忘的默认解。但这篇的实验给出了相反的结果:他们提出的SDPO在teacher信号稳定、对齐良好时确实能加速领域内特化,可一旦分布外,就表现出比GRPO更严重的遗忘,甚至直接崩掉。更反直觉的是原因——越dense的自蒸馏,在参数空间和输出空间里的漂移越大,还会在师生自我强化的循环里把高频格式套路(比如某种固定措辞)不断放大。换句话说,密集的自监督不是免费的稳定器,它在把模型往一个方向使劲拽,条件好时是加速,条件差时就是加速跑偏。相比之下,普通on-policy RL(如GRPO)适应得更保守,反而更好地保住了老能力。

on-policy数据本身不足以支撑持续学习,自蒸馏不能当默认稳定器无脑上dense自蒸馏适合teacher信号稳定的领域内特化,分布外场景要格外警惕遗忘和崩溃正在用自蒸馏做持续后训练的团队,值得对比一下GRPO这类更保守的基线。
0.6B追平32B,显存省50倍

也值得关注

05
跑一次SWE-Bench/GAIA要几千美元、耗好几天,PACE想用又快又便宜的非agentic能力测试预测出agentic基准的成绩 评测把昂贵的端到端评测换成可代理的单项能力探针。链接
06
自主策略进化总被最终分数或软件工程进展混在一起,EvoPolicyGym在固定交互预算下把「策略反复自我编辑」单独隔离出来评 评测让「agent会不会自己改进」变成可单独量化的维度。链接
07
技能库里重叠的skill让可靠调用变难,最终verifier成败又太粗,SkillCoach改用自我进化的rubric给skill-use的过程逐步打分 Agent评估从「最后对不对」下沉到「每一步怎么调」。链接
08
把语义运动编排和像素渲染解耦、用LLM协调3D轨迹与相机,做出带持久对象记忆和自由视角的可控世界模型 视频生成WorldDirector让世界模型里的物体「记得住、绕得开」。链接
09
现有视频grounding评测都在日常通用场景做零样本,AnyGroundBench专测VLM遇到罕见概念和复杂时空动态时的表现 多模态把评测从「常见东西认得出」逼到长尾场景。链接
10
为自然图像设计的数据增强会破坏静脉识别赖以区分身份的细粒度拓扑和纹理,AGVBench做了一次可靠性体检 评测30种增强策略在五个数据集上的系统评估。链接
11
扩散语言模型不显式条件于timestep,那它内部到底有没有偷偷表征去噪进度这个「时钟」 可解释性探针发现DLM隐层里藏着一个潜在时间表征。链接

今日观察

今天扎堆的几篇,表面看是又多了几个基准,往下挖会发现它们在合力拆同一样东西:agent评估里「跑完给个总分」这套范式。它此刻正被从两个不相干的方向同时撬——一头嫌它太贵,一头嫌它太粗。太贵是因为agent越自主,一次端到端评测就越像跑一遍真实任务:PACE干脆不跑了,改用便宜的单项能力探针去预测那个昂贵分数。太粗则是因为一个最终分把中间发生的事全抹平了:EvoPolicyGym要把「策略自己反复改进」从软件工程进展里剥出来单独看,SkillCoach用rubric给技能调用的每一步打分,连被选为featured的AgenticSTS也是同一动机——它instrument记忆合约,就为了能隔离单个组件的作用。为什么是现在?因为agent变长、变自主之后,最终结果和「哪一步、哪个组件起了作用」之间的因果链被拉得太长,总分既贵又不再可归因。要么预测它的成本,要么instrument它的过程,成了绕不开的两条路。落到手上:如果你还在拿一个端到端胜率/通过率给agent定优劣,先问一句这个数字能不能归因到具体组件——不能的话,挑一个关键环节先instrument起来,哪怕只是给每步加一条typed日志,也比再刷一遍总分更值。