今日概览
- ECHO让模型成为自己的drafter，骨干模型用同一套参数预测下一个及更远token，并通过动态深度采样将多token预测的训练开销压至逐层训练所有深度的约一半。
- 统一音视频不必共享去噪节奏：UniAVC把配对数据集中用于跨模态耦合，让音频与视频独立推进，还能只重做失败的一个分支。
- 同一批数据换用不同多样性指标，评分可能显著不同。21种度量的基准显示Graph Entropy总体领先，但选型仍应区分种类、均衡与差异程度。
重点关注
01 训练优化 模型自己给自己打草稿，训练和推理终于闭环了
ECHO让模型成为自己的drafter（草稿模型）：骨干网络的最终层不仅预测下一个token，还直接学习多个更远位置。这样，「预测未来」不再由外挂模块负责，监督信号会落到真正承担生成的同一套参数上。为控制额外开销，它用动态深度采样减少较远预测层级的训练频率，相比逐层训练所有深度，将多token预测的训练开销压到约一半。这个设计真正有意思的地方在推理端：模型无需事后再配一个独立drafter，就能利用预训练所得能力为自己起草后续token，甚至尝试超过训练深度的草稿。独立drafter在开放式、高熵生成中容易与目标模型偏离，而自递归共享参数与训练目标，理论上更容易维持草稿—目标对齐；论文摘要称，这一优势在翻倍token预算、重复预训练和监督微调后仍然存在。对训练基础模型的团队来说，这可能是一条同时改善下游能力和推理效率的路径，但所给摘要尚未建立该方法在更大模型和真实服务负载下的表现。
原文：ECHO: Efficient Causal Self-Recursion Beyond Auxiliary Multi-Token Prediction
02 视频生成 统一音视频，不等于所有环节都要同步
统一音视频模型的难点，不只是把声音和画面塞进同一套权重，而是别把稀缺的配对数据浪费在各分支本可独立学会的能力上。UniAVC先用丰富的单模态数据训练音频和视频的生成与编辑，再把配对数据集中用于学习跨模态对应关系。生成阶段也不强求步调一致：视频需要更久的高噪声阶段来组织空间与运动结构，信息更稀疏的音频则可以更早稳定下来。更实用的是，这种非对称训练允许保留已经满意的音频或视频，只让它约束并重做失败的另一支，而不必整段推倒重来。这个设计很适合反复修改的创作产品，但摘要没有给出质量、速度或重生成成功率的量化对比，实际收益仍需看全文和代码验证。
原文：UniAVC: Unified Audio-Video Creation via Progressive Training and Asymmetric Scheduling
03 评测 同一批语料，为什么换个指标就会得到不同评分？
团队常用embedding平均两两距离衡量数据多样性，但这项基准发现，在种类、均衡和差异程度三个组成部分上，多种替代指标的表现超过了它。问题在于「多样」至少包含三个不同目标：种类够不够多、各类是否均衡、类别之间差异有多大；使用不同度量，可能使同一数据得到显著不同的多样性评分。研究者将21种度量归为四类，并在模拟与真实文本上测试后发现，Graph Entropy总体表现最佳，而常用的平均两两距离被多种替代方案超过。这个结果更适合作为选型起点，而不是新的万能默认值：先明确语料目标，再看指标对应的是种类、均衡还是差异程度。对做数据清洗和测试集设计的团队来说，最实用的动作是用多个候选指标复核排序稳定性，避免把度量偏好误当成语料事实。
原文：Measuring Data Diversity with Embeddings: A Taxonomy and Benchmark for Diversity Measures
