Artisan在逾10个代表模型中碰撞率最低

今日概览

  • Artisan把3D资产带进物理验收,在逾10个代表模型的评测中取得最低碰撞率和最高稳定率,但这一结论仅适用于所评测的方法和指定基准协议。
  • 蒸馏的有效信号可能是策略残差:参考策略从专家信号中过滤共有行为后,任务训练留下的差异比单纯的模型规模差异更值得迁移。
  • 评测目标可压缩271至611倍,但并非无损替代。保留正例、分层抽取负例并加权可降低成本,精确率和F1仍是比率估计。

重点关注

01 图像生成 逾10个代表模型中碰撞率最低、稳定率最高:3D资产开始接受物理体检

在超过10个代表模型的评测中,Artisan拿到了最低碰撞率和最高稳定率,这意味着3D生成终于不只比谁更像,而开始检验资产能否真的进入仿真环境。它把物理模拟反馈接入多Agent生成闭环,以实现无碰撞运动、重力稳定性以及准确的质量和材质属性,而不是只生成几何与外观。配套基准进一步从空间还原、物理合理性、下游任务表现和整体质量四个维度验收资产,覆盖100个参考资产、50条稳定性提示以及50个带参考质量的ABO对象。这个方向很有意思:一旦物理反馈成为生成过程的一部分,3D资产的优化目标就会从视觉相似度扩展到功能可用性。不过,这些优势来自超过10个代表模型及指定基准协议下的比较,不应直接解读为协议范围之外的普遍结果。对做机器人、游戏或数字孪生的团队来说,接下来判断3D生成模型时,碰撞和稳定性可能会比单纯的视觉效果更值得优先关注。

评估3D生成资产时,应把碰撞率和重力稳定性纳入视觉质量之外的核心门槛物理模拟反馈进入多Agent闭环,可能让资产从「可展示」走向「可执行」当前优势限于所评测的方法和指定基准协议,选型时仍需在自身场景中复测

02 训练优化 蒸馏该教什么,竟由「参考模型」决定?

蒸馏里真正可迁移的,可能不是教师的完整答案分布,而是教师相对参考策略多出来的那部分行为。论文把两者的对数概率比解释为一种隐式奖励:参考策略滤掉双方共有的能力,留下任务训练带来的策略残差,再用它指导目标模型更新。摘要中的实验显示,由强化学习或监督微调形成的残差能稳定迁移,单纯由模型规模产生的差异却往往监督较弱——参数变大带来的变化未必对应目标任务所需的能力。更意外的是,参考策略选得合适时,原本失败的迁移也可能被挽救;但同一残差并不适用于所有目标模型,还要看更新方向是否真的靠近专家,以及能否泛化到采样轨迹之外。对做模型适配的团队来说,教师选择之外,如何构造「专家减参考」的残差信号,可能才是蒸馏配方中更值得调试的一环。

优先迁移任务训练形成的策略残差,而非默认规模差异就是有效监督把参考策略当作能力过滤器,其选择可能直接决定蒸馏成败迁移前需验证残差是否让特定目标模型朝正确方向更新,不能把同一信号通用于所有模型

03 评测 压缩数百倍,不等于无损评测

AMLworld-Compact保留全部稀有的非法交易,再按监督模型得分分层抽取正常交易,但这种设计只能在统计意义上逼近完整测试集。通过Horvitz-Thompson重要性权重,它能对固定预测下的混淆矩阵计数给出无偏估计,召回率可以精确计算,而精确率和F1仍是比率估计。该协议将HI-Small和LI-Small的评测目标数分别压缩271倍和611倍,省下的是逐样本构造图提示的成本。留出实验中,其F1均方根误差为0.00至2.58个百分点,优于同样使用Horvitz-Thompson权重的均匀抽样所取得的4.44至7.41个百分点,但保守置信区间依然较宽。它更适合低成本筛选和诊断,而不是在模型差距很小时替代完整评测。

稀有正例全部保留、常见负例分层抽样,适合类别极不平衡的昂贵评测重要性权重能还原混淆矩阵计数,但不能让精确率和F1变成精确值模型差距接近误差区间时,仍应回到更大样本或完整测试集确认
Artisan在逾10个代表模型中碰撞率最低

也值得关注

04
固定编码Agent(coder)时,代码修复成功率从使用静态验证器的26.3%升至世界模型适配后的31.2%。 Agent这是特定条件下的预测选择与适配收益,不能直接视为通用的自我进化证明。链接
05
ProgramGym从代码仓库构造出1648个可验证的长程程序复现环境。 代码智能环境修复、黑盒测试质量、失败恢复和模型微调都对程序复现表现有所贡献。链接
06
具身Agent能从基础任务经验中受益,却无法随样本增加持续提取更多有效信息。 机器人更多经历尚未自然转化为可组合技能。链接
07
理解任务上更好的表示未必更适合生成。 图像生成在ImageNet 256×256上,RG-L/16以4.59亿参数显著优于更大的像素扩散Transformer,关键是让内部表示直接参与像素预测。链接
08
替换为误导图表后,13种视觉语言Web Agent的平均任务成功率下降超过34个百分点。 安全对齐基准包含280个任务实例,并按正常图表与误导图表组成匹配对照,失败还会被定向引向误导分支。链接
09
OGPO让VLA学习抵达语义关键状态,而非逐步复刻示范动作。 机器人离线训练由此也能为执行偏离后的恢复能力提供监督。链接
10
ChemDiffAgent把推理与工具调用轨迹改写为掩码扩散过程。 AI for Science在匹配预算的六项化学任务上,其总体表现相对自回归Agent提升约20%。链接
11
动态词表压缩的质量损失并非全由压缩率决定。 模型架构在四个模型的通用文本评测中,拆分输入输出嵌入、修正RoPE位置并选择性禁止高风险合并,可在相近压缩率下弥合zip2zip与未压缩基线之间约一半的质量差距。链接
12
X-AVDD将端到端数据合成成本降低约8倍GPU小时。 多模态在VGGSound的SPC=10设置下,top-1测试准确率从8.2%提升至24.0%,显示了显式建模跨模态对应关系的价值。链接
13
秘密触发器可解锁嵌入模型权重的加密神经网络。 安全对齐这种任意隐藏能力构造在密码学假设下难以通过权重访问和常见诱导手段发现。链接