RL训到图像生成,Gemma 4开源

今日概览

  • 选优化器第一次有了可查的地图:OmniOpt把一百多个方法拆成五阶段meta-pipeline横向对照,发现大多数「新优化器」只改动其中一两步,机制差异被系统性高估。
  • Gemma 4来抢自托管默认底座:2.3B到31B、dense与MoE并存、全系列原生多模态,值得按部署位置分档评估——端侧、多模态、激活成本各看一档。
  • 游戏世界改由模型一帧帧现场生成,AlayaWorld用视频世界模型自回归合成可玩世界,瞄准替换的是内容生产管线本身,全栈开源。
  • RL训练首次贯穿到图像生成步骤:BRAID把交错文图推理建模成MDP,policy gradient不再只走文本步,生成被纳入可被reward塑形的对象。

重点关注

01 训练优化 选优化器这件事,第一次有了一张可查的地图

过去选优化器基本靠两条路径:跟着最新论文追号称SOTA的新方法,或者干脆默认AdamW。OmniOpt没有再造一个「更好的优化器」,而是把选择这件事重新定义成受compute、显存、调参预算和任务多样性联合约束的系统级决策。它的核心手法是把每一次参数更新拆成一个五阶段的meta-pipeline(结构化变换流程),结果发现一百多个方法里大多数只动了其中一两个阶段——换句话说,很多「新优化器」在机制上的差异比论文标题看起来要小。在此基础上,它用范数约束的线性极小化视角把不同方法放到同一套几何坐标里,再配一个横跨语言模型预训练到图像分类的跨域benchmark,把各个方法家族在不同训练目标下的取舍摊开对照。要说清楚局限:survey加benchmark本身不产出新方法,它的价值不在「更快更强」,而在于把一个碎片化、靠口耳相传的领域收拢成一张能查的地图。

大多数优化器只改动更新流程的一两个阶段,所谓创新的机制差异常被高估第一次有了跨方法、跨模型规模的横向对照,选型不用再各信各家论文的SOTA说法这是地图不是新方法——想提速的团队别指望它,但要判断「我的场景该用哪个」它给了可迁移的坐标系。

02 模型架构 换掉你手里的自托管底座,够格了吗

开源权重的选型问题从来不是「跑分谁高」,而是「哪个能当默认值放进生产」。Gemma 4这次给了一整条线:2.3B到31B,dense和MoE(专家混合,只激活部分参数)两种架构并存,全系列原生多模态还带了个可开关的thinking模式(回答前先生成推理链)。真正值得从业者盯的是三个尺寸区间——最小的2.3B是不是能塞进本地和边缘设备、当端侧默认权重;中间的12B用了无编码器的统一架构、直接吃原始音频和图像patch,省掉一层预处理值不值;而MoE版本的性价比要看激活参数对推理成本的实际影响,不能只看总参数。它对标的是你现在自托管栈里那个「默认底座」的位置,能不能替换掉,得拿自己的场景和延迟预算实测,光看human-rated对齐前沿开源模型这一句还不够。

别读参数表,按部署位置分档评估——2.3B看端侧、12B看多模态省不省预处理、MoE看激活成本thinking模式可开关,意味着同一权重能覆盖「要推理」和「要便宜」两种线上档位它冲的是你自托管默认底座的位置,替不替换要用自己的延迟和成本实测,不是看发布跑分。

03 视频生成 游戏世界不再靠人搭,改由模型现场一帧帧生成

游戏世界一直是靠美术、关卡、物理逐块手工搭出来的生产管线,AlayaWorld直接把这套换掉:用视频世界模型自回归合成下一帧观测,条件挂在当前世界状态和用户操作上,于是战斗、施法、召唤怪物都能在线实时生成出来。真正有意思的不是「又生成了一段更长的视频」,而是它瞄准替换的是内容生产这条管线本身——世界不再被作者预先写死,而是随着你的动作一帧帧长出来。这是个全栈开源框架,从数据准备、模型训练到推理加速和部署全都放出来了,还带可复现管线和评测工具。判断它的价值别只看单帧画质,得看两个真门槛:长时程一致性(走远了回头场景还在不在)和交互延迟(按下键到画面响应有多快)。这两条守住了,可玩的生成世界才算立得住,而它选择开源全套,等于把这条赛道的地基公开摆出来了。

视频世界模型要替换的是游戏内容生产管线,不只是拉长视频时长评估这类工作看长时程一致性和交互延迟,而非单帧画质全栈开源+可复现管线,做世界模型或具身交互的团队值得直接上手验证

04 多模态 RL终于训到了图像生成这一步

交错文图推理里藏着一个不对称:只有文本步走policy gradient,图像生成被降级成监督替身,梯度根本传不过整条跨模态轨迹——所谓「用RL训推理」,其实一直没真正训到生成那一步。BRAID把多轮「文本-图像-文本」推理整体建模成一个马尔可夫决策过程,用一个统一的RL目标同时优化文字和图像——算一个轨迹级的advantage,再按各自模态原生的方式分别回传到文本token和图像去噪路径。为了解决长链条的信用分配,它还加了个VLM裁判给每张中间图像的「推理有用性」打分,提供密集的逐轮反馈。空间推理和视觉感知benchmark上稳定超过基线,具体分数意义有限,真正值得记的是:生成这件事第一次被认真纳入了可被reward塑形的对象。

这是「RL训推理」范式第一次贯穿到图像生成步骤,信号意义大于单点分数把生成纳入reward塑形,意味着图像不再只是被监督模仿的输出,而是能被优化的决策做统一多模态生成的团队值得关注,但跨模态credit assignment的稳定性还需看全文和更多任务验证。
RL训到图像生成,Gemma 4开源

也值得关注

05
概念擦除加了个流形约束 安全对齐假设表征集中在低维流形上,就把干预限制在流形内,少伤到与目标相关联的其他概念。MANCE
06
把flow matching的监督搬出VAE潜空间 图像生成改到预训练感知特征空间做速度回归,采样步数从35-50压到4-8步。Perceptual Flow Matching
07
长程行为预测别一味压缩上下文 AgentPraMem用「实践中积累的经验记忆」替代硬压缩的记忆管理来推断下一步动作。PraMem
08
密集视频描述逐token生成太慢 推理加速用并行化自回归解码,把长视频、高事件密度下的推理效率提上去。Parallelized Autoregressive Decoding
09
GRPO在难题上会卡在学生自身采样支撑之外 训练优化TREK用蒸馏做探索扩展而非模仿,再用RL精修。TREK
10
双向扩散一致但慢、自回归快但局部 视频生成Flex-Forcing想把两种视频扩散范式统进一个框架。Flex-Forcing
11
3D胸部CT合成接上了RL后训练 AI for Sciencerectified-flow transformer在潜空间生成,再用RL对齐结构化放射学条件。CONFLUX
12
代谢工程的异构图基础模型 AI for Science想让菌株设计既能学实验数据、又不只靠化学计量约束模型。Canopy
13
有了DINOv2教师,半监督分割换了瓶颈 多模态从「信哪个伪标签」转向嵌入空间怎么按类结构化。PixCon
14
用生成式随机化造反事实背景 可解释性配跨变体自监督,打断模型对背景与标签的伪相关。Breaking Spurious Correlations

今日观察

RL后训练这两年被当成LLM推理的专属工具——优化的是「想得对不对」的那条文本链。今天有三篇同时出现,但它们不在同一个位置:TREK还是经典路数,蒸馏扩探索、RL精修那条文本推理链;真正值得连起来看的是另外两篇。BRAID(2607.03748)让policy gradient第一次贯穿完整的交错文图轨迹,把图像生成步也纳入reward塑形;CONFLUX(2607.02998)在3D医学扩散上做RL后训练,直接对齐结构化的临床条件。把这两篇放一起,信号就清楚了:RL正从「优化文本推理」往「优化生成本身」外溢——被优化的对象从一条思维链,变成扩散/生成管线里那些原本只被监督模仿的步骤。这是个容易被分开归档、其实指向同一扩张方向的点。

如果你手里有生成类管线(图像、视频、3D、结构化合成),别再默认RL只属于文本推理那边。挑一个你现在纯靠监督或人工规则打分的生成环节,试着定义一个轨迹级reward、把它接进后训练——这条路今天刚被两篇不同领域的论文同时验证可行。