AI科学家院内复现GWAS

今日概览

  • agentic科研的瓶颈从「模型够不够聪明」挪到「数据能不能治理」:NVIDIA的NAIS把权限、审计、workflow编排套上机构级骨架,在某医院28.6万人数据的防火墙内复现出高血压GWAS的已知位点——且第一版结论是人类审阅揪出表型偏差后才修对的。
  • 让同一个MLLM先当actor再当critic,自洽循环替掉外部奖励模型:CycleGRPO用「区域→文字→区域」的对偶性做天然reward,只需区域输入、不要文字标注真值,区域描述/问答/grounded对话/指代分割一起涨。
  • τ=K_t·I在快速变向下失效,MIT的NeuralActuator用Transformer直接建模舵机动力学,从500美元的OpenManipulator-X到3万美元的Franka Panda跨三个舵机家族验证,还顺带做无传感器外力感知和电机健康监测。
  • 同义词一换,CLIP的grounding就偏:SynCLIP回到预训练阶段用空间注意力对齐加同义词增强语料直接修,而不是在下游打补丁,让开放词表检测/分割对语言变体更鲁棒。

重点关注

01 Agent AI Scientist能跑完科研闭环不算新鲜,跑在医院防火墙里才是难点

现在的「AI科学家」系统大多在比拼一件事:能不能端到端自动跑完提出假设、写代码、做统计、出结论的科研闭环。NVIDIA这套NAIS的重点不在这里——它把研究规划、数据访问、workflow编排全套上了机构级的权限控制和审计追踪(governance,可理解为「谁能碰什么数据、每一步都留痕」)。落地案例是一个真实的高血压GWAS(全基因组关联分析),用了某医院28.6万人的基因型加电子病历数据,且全程遵守「只出汇总结果、原始数据不出机构」的策略。值得注意的是人机协作的那一环:agent第一版跑出来后,人类审阅发现表型定义有偏差,来回修正高血压的判定标准后,才复现出FGF5、ATP2B1、FTO等公认的已知位点,最强信号FGF5达到-log10(p)约70。换句话说,这篇真正想证明的不是模型够不够聪明,而是agentic研究要进医疗这类受监管环境,缺的是一套能治理的骨架,而不是更强的推理能力。

受监管领域的agentic研究,瓶颈从「模型能力」转向「数据治理与审计」,做医疗/金融AI的团队值得把治理层当成一等公民设计人机协作不是摆设——正是人类审阅揪出了表型偏差,全自动跑出来的第一版结论是错的这是单一案例、单机构内部部署,跨病种、跨机构的泛化还没被验证,别急着当成通用范式。

02 训练优化 让模型自己给自己打分,能省掉多少标注?

CycleGRPO最巧的地方,是让同一个多模态模型(MLLM)轮流扮演两个角色:先当actor给一块区域写文字描述,再立刻切换成critic,试着根据这段文字把区域重新定位回去。定位准不准,就成了描述好不好的天然奖励——理解为定位提供监督,定位反过来校验理解,形成「区域→文字→区域」的自洽闭环。妙就妙在整套训练只需要mask或bounding box这类区域输入,完全不需要文字标注真值,也不需要单独训一个奖励模型。区域描述、区域问答、grounded对话、指代分割这几类任务不做针对性微调就一起涨了,说明这个循环确实同时把两个能力「引导」起来了。

真正值得盯的不是它在哪个benchmark涨了几个点,而是「用任务间的对偶性构造自洽循环、替代外部reward」这个思路——如果一个任务的两个方向天然互为验证,也许都能照着这个套路省掉奖励模型和人工标注。

双向任务的自洽循环可以充当天然reward,省掉单独的奖励模型只需区域输入、不需文字标注真值,标注成本大幅下降做MLLM后训练的人真正该关注的是这套「对偶自洽」范式能否迁移到自己的任务上

03 机器人 500美元的舵机,仿真里为什么总对不上

低成本机器人做sim-to-real时有个常被忽略的坑:τ=K_t·I这条「电流正比于力矩」的线性假设,在快速变向的指令跟踪下就失效了——摩擦、迟滞、齿轮间隙、发热都会让它偏。MIT的NeuralActuator干脆不再用这条公式,而是用Transformer直接建模舵机动力学,输出一个「仿真等效力矩」供轨迹推演使用;训练时通过可微仿真从位姿轨迹反推,不需要真实力矩标签。更实用的是它顺带做了两件事:用接触概率门控反推外力(无力传感器的力感知),以及给关节打一个电机健康分。作者在500美元的OpenManipulator-X、SO-101到3万美元的Franka Panda上都验证了,跨了三个舵机家族。对做低成本机械臂的团队来说,这是个可以直接嵌进流水线的模块,而不是又一个仿真demo——论文还显示把它当预训练模块能提升行为克隆的表现。

低成本平台上τ=K_t·I在动态指令下不可靠,神经actuator建模是绕过这个误差源的实用路径同一个模型顺带给了无传感器外力感知和电机健康监测,一鱼三吃可当预训练模块提升行为克隆,做低成本机械臂的团队值得试装进现有流水线。

04 多模态 同一个物体换个说法,CLIP就找不准了

用CLIP做开放词表检测或分割的人可能没注意到一个隐性问题:把「沙发」换成「长椅」、把「dog」换成「puppy」,这些语义等价的说法本该指向图里同一个物体,但CLIP的空间注意力却给出不一致的grounding——同义词一换,模型看的地方就偏了。SynCLIP没有在下游模型上打补丁,而是回到预训练阶段直接修:用一个空间注意力对齐模块(SSA),强制同义表达和原表达的注意力图尽量一致,再配一套同义词增强的语料(SEViC)给每个类别补上多个同义词和定义。这类「一致性修复」的价值不在于刷新某个benchmark数字,而在于让grounding对语言变体更鲁棒——现实场景里用户不会永远用训练时那个词。论文进了CVPR,代码已开源,具体在自己数据上的迁移效果需要跑一遍才能确认。

同义表达导致grounding不一致是CLIP系开放词表感知的隐性可靠性bug,值得自查SynCLIP在预训练阶段对齐注意力,是可迁移的修复思路而非下游补丁靠CLIP做检测/分割的团队可以关注其开源代码和同义词语料构造方法
AI科学家院内复现GWAS

也值得关注

05
VLM的logit在跨域候选类之间本就不该直接比大小 多模态MED-DSLC用域监督加logit校准把可比性补回来。链接
06
把骨架kinematics从硬编码里拿出来 机器人EquiFusion用等变潜扩散,让人体动作预测第一次能跨数据集训练、免retargeting。链接
07
静态prompt集评不出T2I的细微失败 评测DynEval改用在野动态评测,更贴近真实使用。链接
08
Apple给视觉工具调用agent做了个有状态benchmark 评测MM-ToolSandBox覆盖500+工具、16个域、多图多轮。链接
09
助手该在什么时候主动开口 AgentVinci2从连续第一视角视频学proactive辅助,而非被问才答。链接
10
免训练的无人机视觉-对话导航 机器人靠CoT加结构化空间记忆,补上方向grounding的短板。链接
11
把单目的相对几何和度量几何接起来 多模态FoundationGeo用DINOv3初始化两阶段搭桥。链接
12
长视频自回归扩散的漂移问题 视频生成Cycle-World用反向预测的cycle一致性去约束误差累积。链接
13
在DiT里通过attention head控制motion transfer 视频生成让生成既follow参考动作又对齐目标prompt。链接
14
360度球面视频插帧 视频生成SVI360专门处理常规方法搞不定的严重畸变。链接

今日观察

把今天的SynCLIP和MED-DSLC摞在一起看,会发现它们攻的是同一个被默认为理所当然的前提:CLIP那套共享embedding空间里,logit在任意候选之间「全局可比」。SynCLIP揭露的是横向裂缝——同义表达本该等价,grounding却不一致;MED-DSLC揭露的是纵向裂缝——跨域时logit根本不在一个尺度上直接可比。两个团队各自打补丁,一个在预训练让同义coherent,一个在下游做logit校准,指向的却是同一个结论:CLIP的「一个空间量遍天下」其实一直在悄悄失效,只是过去被benchmark平均掉了。

这不是说CLIP该被换掉——它依然是开放词表感知最省事的底座;而是提醒一件被benchmark平均值遮住的事:当你的候选类跨了域、或者同一个概念有多种说法时,直接拿logit比大小可能已经不成立了。落到手上:如果你在用CLIP做检测/分割/分类,挑几组同义表达和几个明显跨域的候选类,把它们的原始logit拉出来单独看一眼分布,先确认「可比」这个前提在你的场景里还站得住,再决定要不要上校准或换语料。