导航|地址|刷新
NEWTON:等物理涌现到请牛顿进工具箱，Agent 驱动视频生成新范式_手机网…

网易网易号



0

NEWTON:等物理涌现到请牛顿进工具箱，Agent 驱动视频生成新范式

机器之心Pro
2026-06-11 20:50·天津·《机器之心》官方网易号

0

打开网易新闻查看精彩图片

近年来，视频生成模型发展迅猛。从 Sora、Veo、Kling 到一系列开源视频生成模型，文生视频已经逼近真实影像的观感 —— 画面清晰、镜头流畅、风格可控，一句话就能生成一段观感不错的视频。

然而，当我们把目光从 “像不像” 转向 “对不对” 时，一个深刻的问题开始浮出水面：当前视频生成模型虽然擅长制造视觉真实感，却并不真正理解物理世界。

一个球可能在没有接触的情况下突然改变速度；一个下落物体可能无视重力；碰撞、流体、切削、堆积、弹跳等动态过程，经常看起来合理，却经不起基本物理常识的检验。在 VideoPhy-2 这类面向物理常识的视频评测中，即便是表现最好的模型，联合准确率也只有 32.6%。这说明，视频生成距离真正的 “世界模拟器”，仍然存在一条关键鸿沟。

于是，浙江大学、香港理工大学、树根科技与三一集团联合提出的 NEWTON（Neural Agentic World-Aware Tool-Orchestrated Navigation）—— 把 Agent 范式搬进视频生成里：与其继续把物理硬塞进生成器的权重里，不如让一个会规划、会调用物理工具、会自查自纠的 Agent，把生成器 “降级” 成它工具箱里的一件兵器。

打开网易新闻查看精彩图片

论文标题：NEWTON: Agentic Planning for Physically Grounded Video Generation

论文地址：https://arxiv.org/abs/2605.18396

项目主页：https://newton026.github.io/newton/

打开网易新闻查看更多视频
从「等物理涌现」到「请牛顿进工具箱」

视频生成为什么总是 “物理不稳”？

打开网易新闻查看精彩图片

过去我们习惯认为，只要模型足够大、数据足够多，它终将学会真实世界的物理规律。但 NEWTON 指出，问题的根源并不在模型本身 —— 而是输入本身就不足以唯一确定一段物理自洽的视频，再大的模型也补不回输入端缺失的信息。

文本提示词本质上是对物理世界的高度压缩。比如一句 “啤酒被倒进杯子直到装满”，看似已经描述清楚了事件，但实际上省略了大量决定动态过程的参数：容器形状、泡沫生成、液面上升速度等。模型拿到的只是一句自然语言，却被期待生成一个完整、连续、符合物理规律的视频。换句话说，模型是在信息严重不足的前提下，被要求交出一个物理自洽的完整答案。

关键信息一旦缺失，模型就只能在不完整条件下做幻觉式补全：单帧也许漂亮，时间维度上却处处露馅 —— 液面不升高、刀划过木头却没有凹槽、颗粒倒下却不堆积、物体碰撞却毫无反应。

所以，物理可靠的视频生成不能押在一句 prompt 上。它至少要同时满足三件事：信息要够，能补齐影响动态的物理变量；过程要活，能针对不同场景调用不同的物理工具；结果要能查，生成之后能发现问题、回头修正。

而现有方法往往只能顾上其中一两条。端到端模型把物理知识隐式压进参数，输入端的条件本身就不完整；ControlNet 一类方法依赖预设的单一模态信号，难以随场景切换，缺乏动态性；单轮生成则没有反馈回路，结果不对也无从修起。

NEWTON 的破局思路：把生成变成一个可规划、可验证的过程

打开网易新闻查看精彩图片

NEWTON 的核心变化，是重新定义视频生成系统的工作方式

传统范式很短：用户输入 prompt，生成器直接输出视频。这意味着所有物理细节都得由生成器自己一次性猜出来。NEWTON 把这一步改造成了一个多轮 Agent 循环 ——Planner 先分析当前任务缺哪些物理信息、该调哪些工具，Executor 执行工具调用和视频生成，Verifier 给结果打一个物理合理性分数，再把反馈写回下一轮规划。视频生成器在这个循环里不再是唯一主角，只是工具箱里的一个动作；真正负责组织过程的，是可训练的 Planner。

工具库覆盖的是互补的物理维度：

关键帧生成工具给视频补充时间边界条件，比如规定抛物线运动在中间帧到达最高点，或要求倒酒时杯内液面随时间逐步升高；

科学计算工具在沙盒 Python 环境里算轨迹、动量守恒、旋转动力学等数值结果，把人类熟悉的物理推理显式写进生成上下文；

提示词优化工具则负责把材料属性、动作阶段、因果关系重新组织成生成器更容易 "听懂" 的条件

更关键的是，NEWTON不需要改动底层的视频生成模型。无论用的是 LTX-Video 还是 Veo-3.1，生成器始终保持冻结。整套系统里真正需要训练的只有 Planner—— 它通过 Flow-GRPO 在真实的多轮工具调用流程中做 on-policy 优化，逐步学会：什么时候该算物理、什么时候该生成关键帧、什么时候该重写场景描述、什么时候该真正触发视频生成。

这样的设计，使得 "物理能力" 不再被困在某一个生成模型内部，而是被抽出来，变成一种可组合、可检查、可迁移的 Agent 行为。

实验表现：不改生成器，也能显著提升物理一致性

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

在 VideoPhy-2 基准上，NEWTON 展现出了稳定提升。接入 LTX-Video 后，联合准确率从 21.4% 提升到 29.7%；接入 Veo-3.1 后，在选取的测试集中从 30.7% 提升到 37.4%。这些提升并非来自重训视频生成器，而是来自 Planner 对物理工具、关键帧条件和反馈循环的组织能力。这意味着，即使底层生成器保持不变，只要把 “生成前的物理规格补齐” 和 “生成后的验证修正” 纳入系统流程，视频生成的物理可靠性就能被显著改善。

在具体案例中：倒啤酒时，NEWTON 让杯子随注入逐渐被填满，基线却出现 "杯子早就满了"" 怎么倒都倒不进去 ""泡沫在长液面不动" 这类荒诞画面；刀刻木头时，只有 NEWTON 同时刻出凹槽和木屑；吹泡泡和 LEGO 橄榄球交接的镜头也呈现同样的规律 —— 基线模型常常是 "动作发生了，但世界状态没变"，而 NEWTON 能把液面上升、材料移除、颗粒堆积、受力反弹这些有因果的动态完整地呈现出来。

总结

NEWTON 的意义不只在于提升了某个评测指标，更在于它提出了一种视频生成的新范式：未来的视频模型也许不应只是一个端到端的视觉合成器，而应成为 Agent 系统中的一个可调用模块。

当任务涉及真实世界的动态规律时，系统需要的不只是更强的渲染能力，还需要知道缺了什么信息、该调用什么工具、如何验证结果，以及失败后如何重新规划。

从这个角度看，NEWTON 给 “世界模拟器” 提供了一条更务实的路径：不是等待物理规律从黑箱中自然涌现，而是把牛顿请进工具箱，让 Agent 带着物理知识，一步步把视频生成得更真实、更可信。

特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。

打开网易新闻体验更佳

热搜

老师午休散步猝死家属工亡诉求被驳

 微软股价涨幅扩大至15%

龚宝冬遇难西南政法大学官网变黑白

 吴宜泽6比5墨菲晋级半决赛

 中央强调及时谋划出台增量政策

 宇树科技：8月10日打新

热门跟贴

打开APP发贴

0条跟贴

相关推荐

GPT-5.6自己优化自己实锤了，新的左脚踩右脚已经出现

量子位1跟贴



零样本迁移，降本80%！自适应时序预测Agent加持真实工业

新智元



陶哲轩亲调AI人设,权游小恶魔、贱女孩蕾吉娜版物理教学,你接受不

机器之心Pro

模型变强没有用，创作仍然碎片化！面向长程多模态创作的开放式Harness

新智元



从苹果落地到牛顿定律，Apple-π 把视频模型的物理推理过程摆上考场

机器之心Pro

邓煜，诗人，数学家，老二次元

南风窗3跟贴



非牛顿流体，为什么能改变自身硬度？看完涨知识了

战争黑匣子



腾讯WorkBuddy上线人机双写：终于不用复制粘贴了

智东西



推荐系统只会「猜你喜欢」，却未必「听你的」？我们用多智能体给黑盒推荐做了一次外部可控性体检

机器之心Pro

你真正了解四维空间吗？看完这个视频绝对让你受益匪浅

宇宙科学探索578跟贴



为什么说科学的尽头是神学？爱因斯坦、牛顿晚年都在研究？

六六冷知识11跟贴



一年连融三轮数亿元！字节+清华姚班，重构企业软件工程

量子位



这就是传说中的“物理外挂”吗？两根红线走天下比原装喇叭还带劲！网友：这“土味黑科技”绝了

河南都市频道48跟贴



视频生成模型会「推理」吗？303道题全面揭示世界模型的推理短板

机器之心Pro

我把昨晚的梦输入AI，它居然直接把我拉进去玩儿了一把？！

量子位



“沟槽效应”：用31条人命换来的物理定律

冯哥科普4跟贴



最适合机器人的视频基座模型，被中国团队开源了

机器之心Pro

GaussianDWM：用3D高斯表示统一自动驾驶场景理解与多模态生成

机器之心Pro

给世界模型加上因果，她要让机器人真正理解“为什么”

DeepTech深科技3跟贴



神秘黑马-莫刻机器人冲榜WorldArena，仅32张真武810E封神

机器之心Pro

回到顶部回到首页

------
导航页打开网址