导航|地址|刷新
最适合机器人的视频基座模型，被中国团队开源了_手机网易网




















网易网易号



0







最适合机器人的视频基座模型，被中国团队开源了


机器之心Pro
2026-07-09 18:17·北京·《机器之心》官方网易号

0


如果你经常刷 AI 生成的视频，大概率会遇到很多不符合物理规律的画面。

比如水从杯口倒出来，却像透明果冻一样悬在半空；手还没有真正碰到抽屉，抽屉已经自己滑开…… 对普通观众来说，这些问题最多算是穿帮。

但对机器人来说，事情就没这么简单了。

假如我们把「隔空打开抽屉」的视频喂给一个正在学习动作的大模型，性质就完全变了。它会把一次生成失误，误读成动作和结果之间的规律：没有接触，抽屉也能自己滑开。

这就是视频生成行业现在有点尴尬的地方。

过去两年，从 Sora 到 Veo，几乎所有头部玩家争的都是同一件事：画质更清晰、时长更长、镜头更有美感、prompt 跟得更准。但用这些模型作为机器人大脑时，缺点就会暴露，一段 4K 高清、光影考究的视频，可能连东西不会凭空消失这种最基本的常识都守不住。

因而视频生成的下一阶段，可能不再只有一条主线：一边继续服务内容创作，追求更强的视觉表达；另一边开始进入机器人训练，变成理解和预测物理世界的工具。

蚂蚁灵波选择了后一条路：开源 LingBot-Video。这是一个面向具身智能的视频生成基座模型，也是一套专为机器人场景设计的 DiT 视频预训练范式。

通用视频模型更多学习画面变化、镜头运动和视觉风格；LingBot-Video 则把重点放在动作、任务、交互和物理环境变化上，面向世界预测、动作理解和机器人训练构建视频生成基座。

围绕这一目标，蚂蚁灵波在架构、数据和训练三个层面做了系统性设计。


首先，引入 MoE 视频框架，支持动态稀疏激活计算，在扩展模型容量、建模复杂时空动态的同时，提升推理效率。

其次，构建了一个机器人增强的预训练语料库，将互联网规模的视频与机器人操作、导航和第一人称视角数据集整合在一起，从而向模型注入明确的具身先验和交互先验。

第三，开发出一套多维度奖励系统，在审美目标之外，进一步纳入物理合理性和面向任务的成功信号，鼓励模型学习与具身环境一致的动态过程和交互规律。


这三个部分共同作用，使得模型在物理层面更扎实，同时在计算上也更高效，从而形成一个更适合具身智能的视频基础模型。



打开网易新闻 查看精彩图片


项目链接：technology.robbyant.com/lingbot-video

GitHub：github.com/robbyant/lingbot-video

Hugging Face：huggingface.co/robbyant/lingbot-video

ModelScope：https://www.modelscope.cn/collections/Robbyant/LingBot-Video


我们先看几个 demo：

如下是一段典型的第一人称高动态视频，从场景交互的角度看，包含了动作、空间、物理和因果关系，比如桨的动作会影响皮划艇方向，水流会推动艇身变化，岩石和河道会限制运动路线。



打开网易新闻 查看精彩图片

视频详见：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

接下来这个示例更接近真实的具身交互场景。手指掰开曲奇这个过程同时包含接触、受力、断裂、重力和遮挡关系。对机器人来说，这类数据正是理解真实物理交互的重要基础。



打开网易新闻 查看精彩图片

视频详见：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

这项研究在 Reddit 上引发了很高讨论度。相比电影感画质，社区更关注的是另一个问题：LingBot-Video 生成的视频，物理规律到底站不站得住。

有网友直言，在画面美感上，它距离闭源模型仍有差距，但这并不是最值得关注的地方。真正关键的是，模型能否处理更难的物理现象，比如流体运动、颗粒状沙子的变化，以及反射关系是否稳定。



打开网易新闻 查看精彩图片

来源：
https://www.reddit.com/r/StableDiffusion/s/6gIxTHB0Mq

对于面向具身智能的视频模型来说，这个评价标准显然更接近它真正要解决的问题。

为什么机器人需要面向具身智能的视频基模

机器人训练长期面临一个现实难题：数据不够。

大模型能一路做大，一个重要前提是互联网上已经积累了足够多文本。机器人没有这样的先天条件。真实动作数据必须在物理环境里一点点采，机械臂要伸出去，物体要真的被抓起，场景也要发生变化。即便是行业里规模最大的开源数据集之一 Open X-Embodiment，联合了几十家机构的力量，体量距离互联网文本或视频语料的零头都还有很大差距。

仿真环境理论上可以无限生成数据，但它始终绕不开 sim-to-real gap，机器人在虚拟世界里练出的技能，搬到真实世界里经常会失灵，因为仿真器再精细，也很难穷尽真实物理世界的所有细节和意外。

具身智能真正缺的，是介于真实采集和仿真之间的一层能力：它要有视频模型的生成规模，又不能完全脱离真实物理世界的约束。它生成的内容不能只是像视频，还要尽可能像一次真实动作之后的结果。

这就是面向具身智能的视频基模的价值。

它不像传统仿真器那样先写好一套碰撞、摩擦、约束规则，再让物体在规则里运动。LingBot-Video 是在大量视频和具身数据中学习「动作之后会发生什么」：门被推开后空间如何变化，物体被抓起后状态如何变化，机器人移动后第一视角如何变化。



打开网易新闻 查看精彩图片

视频详见：https://mp.weixin.qq.com/s/anqD2KlcW05NTVZ8DgJObw

一旦这种能力足够可靠，它就可以进入机器人训练流程，承担数据生成、策略评估和动作规划等角色。机器人在真实行动之前，可以先通过视频模型推演可能发生的世界变化。

也就是说，视频模型开始从内容生成工具，进入机器人大脑的基础能力层。LingBot-Video 的意义，正在于把这种能力系统化地做出来。

从「生成好看」到「生成有用」：LingBot-Video 的三重设计

在架构层面，LingBot-Video 的核心思路是用一套统一、高效、可扩展的视频预训练框架，承接不同类型的生成任务。它采用级联式设计，整体由基础生成器和精修器（refiner）两部分组成。基础生成器负责在较低分辨率下建模视频的整体运动、空间布局和场景动态；精修器则在第二阶段提升分辨率，把视频从 480p 进一步上采样到 1080p。

基础生成器采用 Single-Stream Diffusion Transformer。与将不同模态分开处理的 dual-stream 架构相比，single-stream 会把视觉 token 和条件 token 放进同一个序列中，由同一组 Transformer blocks 统一处理。这样做的好处是参数复用更充分，跨模态交互也更直接。

在这一基础上，LingBot-Video 的关键设计，是将稀疏 MoE 引入视频扩散模型。

LingBot-Video 用 MoE 重做视频生成架构

视频生成要模拟连续变化的物理世界，里面有空间纹理、时间运动、流体变化、三维一致性、材质细节等复杂因素。如果用传统 dense 模型，所有 token 都走同一套 FFN 参数路径，容易出现不同任务之间互相干扰：比如图像细节重建、视频运动建模、T2I/T2V/TI2V 多任务条件都会挤在同一组参数里学习。

LingBot-Video 的做法是引入稀疏 MoE。它不是让每个 token 都激活全部参数，而是通过路由机制，让 token 选择部分专家参与计算。这样可以做到两件事：一方面扩大模型总参数容量，让模型能容纳更多物理世界先验；另一方面控制每个 token 实际激活的计算量，避免推理成本随参数规模线性暴涨。

这对长视频和高分辨率视频尤其重要，因为视频很容易变成百万级 token 的时空序列。如果继续用 dense 扩展，计算成本会非常高；而稀疏 MoE 可以在保留大容量的同时，把每一步去噪中的实际前馈计算控制下来。

具体架构上，LingBot-Video 没有推翻原来的 single-stream DiT，而是在每个 Transformer block 里保留 FFN 残差分支，只把 dense FFN 换成 token-choice sparse MoE 层。同时，它借鉴了 DeepSeekMoE 的思路，引入细粒度专家划分和共享专家隔离：共享专家负责通用先验，路由专家负责更专门化的模式，从而减少任务干扰，让专家更容易形成分工。



打开网易新闻 查看精彩图片

稀疏 MoE 架构。

LingBot-Video 的 MoE 架构不是只把参数做大，而是真的能在模型容量和推理效率之间取得更好的平衡。

实验结果也验证了这一点。

团队先比较了 MoE 13B-A1.4B 和 Dense 1.3B。前者总参数是 13B，但每个 token 实际激活约 1.4B 参数；后者是标准 1.3B dense 模型。在整个训练过程中，稀疏模型在训练损失和验证损失上都表现出显著优势。



打开网易新闻 查看精彩图片

这一点在视频预训练中非常关键，因为建模复杂的时空特征和连续物理交互，需要较高的表征容量。在等价计算约束下，稀疏 MoE 模型的总参数容量提升了 10 倍，为物理世界先验提供了明显更大的模型容量。这与稀疏专家路由实现的容量 - 计算解耦是一致的。它有效缓解了 dense 基线的特征容量瓶颈，使稀疏模型能够在不增加计算预算的情况下取得更好表现。

此外，稀疏架构相较 dense 基线展现出显著的跨计算规模优势。如图 5a 所示，MoE 13B-A1.4B 和 MoE 30B-A3B 都能持续优于激活参数规模约为其两倍的 dense 模型。具体来看，MoE 30B-A3B 的表现已经接近 Dense 14B。这证明，容量 - 计算解耦从根本上提升了视频扩散模型的 scaling 效率，释放出更强的表征能力。



打开网易新闻 查看精彩图片

团队继续将 MoE 架构扩大，发现模型能力还能稳定提升。他们把模型总参数从 13B 一路扩到 120B，对应几种规模：MoE 13B-A1.4B、MoE 30B-A3B、MoE 60B-A6B、MoE 120B-A11B。模型总容量越来越大，每个 token 实际激活的参数量也按比例增加。

实验结果（图 5b）显示，在训练步数相同的情况下，模型越大，训练 loss 越低。也就是说，LingBot-Video 的稀疏 MoE 架构具备比较稳定的 scaling 趋势，继续扩大模型规模，性能仍然有提升空间。

最后团队还验证了另一个关键问题：LingBot-Video 虽然用 MoE 把总参数容量做大了，但因为每个 token 只激活一部分专家，推理成本是否仍然可控。团队做法是，把 dense DiT 和 MoE DiT 放在不同序列长度下测试，从 16K token 一直到 1M token。

结果显示，MoE 30B-A3B 先和激活参数量相近的 Dense 3B 对比。在 1M token 长序列下，MoE 延迟几乎和 Dense 3B 持平。这说明 MoE 路由本身没有带来很重的额外开销。接着，团队把 MoE 30B-A3B 和更大的 dense 模型比较，优势就明显出来了。在 1M token 下：相比 Dense 6B，速度比达到 1.50×；相比 Dense 14B，速度比达到 2.59×；相比 Dense 30B，速度比达到 3.18×。



打开网易新闻 查看精彩图片

最后，针对高分辨率视频生成的计算压力，LingBot-Video 采用了级联式精修设计。直接生成 1080p 视频会带来巨量时空 token，计算成本很高。因此，模型先由基础生成器在 480p 下生成整体运动和场景布局，再由第二阶段 refiner 提升到 1080p。



打开网易新闻 查看精彩图片

对于长视频和高分辨率视频生成来说，这种先在低分辨率建模整体动态、再在高分辨率补足视觉细节的级联架构，进一步降低了计算压力，也让生成质量更加稳定。

从互联网视频到具身数据：LingBot-Video 的数据工程

在数据层面，LingBot-Video 的思路并非单纯继续扩大视频语料规模。

视频生成模型的能力与训练数据的规模、质量和多样性高度相关，但如果只是粗放式收集更多数据，很容易遇到边际收益递减，同时受到采集成本和计算开销的限制。

为了解决这个问题，蚂蚁灵波构建了一套集成化、可扩展的数据基础设施，由多个相互协同的模块构成。

首先是 Data Profiling Engine，它把原始图像、视频、多模态样本转成统一的结构化记录。这一步的意义是，数据不再是一堆不可控的视频文件，而是变成了可以检索、筛选、重采样的结构化资产。



打开网易新闻 查看精彩图片

Data Profiling Engine 概览

在此基础上，World-Knowledge Topological Graph 会将视觉概念和动作概念组织成层级化语义结构，从而支持分布感知采样，并提升长尾内容覆盖能力。

简单说，它会把样本按出现了什么和发生了什么组织起来：图像和视频共享语义树，视频额外接入动作树。语义树覆盖物体、场景、风格、世界知识实体等；动作树覆盖操作、人类动作、运动、日常活动等。



打开网易新闻 查看精彩图片

World knowledge graph

Dense Structured Captioning 模块会生成层级化文本描述，为模型提供细粒度语义监督；它会描述画面整体内容、镜头属性、主体元素、相对位置、动作时间戳等。对于 VLA 机器人视频，还会把机械臂、夹爪、物体和动作阶段明确写出来；对于第一人称视频，则会标注头部 / 身体运动、手部与物体的交互过程。

与之配套的 Caption Rewriter 则会在推理阶段，将用户输入的简短 prompt 映射到同样的结构化格式中，从而弥合训练与部署之间的 prompt 分布差异。

最后，所有筛选后的数据会被组织成五阶段 Data Curriculum。


第一阶段，只用 192p 图像，先学习基础视觉先验。

第二阶段，在 192p 下引入视频，同时加入超过 7 万小时具身导向视频，包括机器人操作、导航、第一人称视角等。其中机器人操作数据覆盖真实机器人、仿真、开源数据、第三人称视角，并涉及人形和四足平台。

第三阶段，把图像和视频提升到 480p，并重新筛选，保留更多高运动量视频，增强动态内容覆盖。

第四阶段，继续在 480p 下做 source-aware rebalancing。普通视频严格过滤，具身数据因为稀缺且价值高，只做较小程度过滤，以最大化覆盖操作、导航、第一视角和 benchmark 数据。

第五阶段，使用一个很小但质量很高的 1080p 精修子集，用于训练 refiner，提升高分辨率细节。


这套数据策略的核心价值在于：团队有意识地把机器人操作、物理交互、第一视角和长尾动作注入训练过程，让视频模型从一开始就获得更强的具身先验和世界动态理解能力。

奖励机制：把模型拉回物理世界

模型预训练之后，团队并没有只用常规的人类偏好分数去做对齐，而是设计了一套更适合视频和具身场景的多维奖励 + GRPO 强化学习方案。

传统视觉生成模型做 RL 后训练时，常常用一个整体奖励模型给视频打一个总分，比如好不好看、是否符合 prompt。但这种单一分数对视频生成不够用。

因此，LingBot-Video 把奖励拆成了六类：视觉质量、文本 - 视频对齐、动态程度、运动连贯性、人体运动一致性和物理合理性。


视觉质量：主要保证视频看起来清晰、自然、有较高保真度，惩罚模糊、伪影和低分辨率输出，同时也关注 caption 级别的对齐。

文本 - 视频对齐：不是简单判断视频和 prompt 是否整体相似，而是把 caption 拆成结构化实体、动作和时间窗口，再用时间维度 VQA 检查动作是否在正确时间发生。这样可以惩罚动作缺失和时间幻觉，也能鼓励模型正确生成多阶段动作。

动态程度用来避免模型生成像图片一样几乎不动的视频。它会让 VLM 评估视频中的运动强度，并把 1 到 5 的离散运动分数映射成奖励。

运动连贯性关注运动节奏是否自然。很多文生视频模型虽然按 24 fps 播放，但动作看起来像慢动作。这个奖励就是为了让生成视频在标准播放帧率下呈现更接近真实世界的运动速度。

人体运动一致性专门处理人类相关视频中的常见问题，比如面部畸变、手部变形、肢体数量错误、身体半透明、不可能的拓扑结构等。它不仅给分，还通过结构化理由和离散分数帮助模型学习人体动作的空间正确性和时间一致性。

物理合理性是最贴近具身智能的一类奖励。它会评估生成视频是否保持一个连贯的物理世界，包括运动因果、物体恒常性、非穿透关系，以及材料和刚体运动是否合理。例如，物体不能无故出现或消失，不能发生不合理重叠，机器人关节和物体运动也要符合基本物理规律。


有了六类奖励之后，团队使用 GRPO（Group Relative Policy Optimization） 来最大化这些多维奖励。

因此，LingBot-Video 的后训练不是简单让模型生成得更好看，而是把视频质量、动作对齐、动态强度、运动节奏、人体结构和物理合理性拆成多种奖励，再用 GRPO 进行强化学习对齐。它的目标是让视频模型在视觉上更稳定，在动作上更完整，在物理上更可信，从而更适合作为具身智能的世界模型。

从视频生成基座到机器人大脑能力

当视频模型具备一定物理预测能力，它在机器人系统中的位置也会发生变化。

过去，视频生成模型更多出现在内容生产链路里，承担的是生成结果的角色；而在机器人系统中，它可以进一步前置到训练、评估和规划环节，成为机器人行动前的一层世界预测工具。

也就是说，LingBot-Video 生成的并不只是视频片段，而是机器人可以用来学习、比较和决策的未来情境。

具体来看，它可以承担三类角色：

第一种是补数据（Data Engine），它可以帮助机器人生成更多训练样本。真实机器人数据采集成本高、速度慢、覆盖有限，而视频生成模型可以扩展任务、场景和动作组合，为训练提供补充数据。

第二种是做预演（Policy Evaluator），它可以作为真实物理环境的代理，用于策略在真机部署前的可行性预演与安全评估。比如机械臂准备拉开抽屉，评估器会提前模拟不同动作轨迹的运动后果。通过在视觉代理中提前识别并过滤失败策略，降低真机验证的试错成本，保证了所部署策略的有效性。

第三种是辅助规划（Action Planner），它可以用于参与并生成具体的动作轨迹。面对复杂任务，它不单单是预测后果，而是像 “GPS 导航” 一样，根据目标自动计算出机械臂应该以什么轨迹移动、分几步走、每一步的姿态如何，从而直接输出一套最优的连续动作序列。

这正是 LingBot-Video 对机器人控制的价值：它让机器人在真实行动之前，先拥有一层可生成、可评估、可迭代的世界预测能力。

视频模型也由此从内容生产工具，走向机器人大脑理解物理世界的基础能力。

从 TI2V 到 A2V，LingBot-Video 的物理世界模拟能力接受检验

为了验证 LingBot-Video 作为物理世界模型的能力，团队人员在内部 benchmark 上进行了全面评估，评估维度分为两类：一是通用质量（General Quality），用于衡量模型的基础生成能力；二是具身领域（Embodied Domain），用于考察与具身 AI 和真实世界交互相关的专业、高难度场景。为了更全面地评估生成能力，该内部 benchmark 覆盖了两种核心生成设置：文生视频（Text-to-Video，T2V）和图文生视频（Text-and-Image-to-Video，TI2V）。

实验中，团队将 LingBot-Video 与五个开源模型进行了比较，包括 NVIDIA Cosmos 3、Wan 2.2 A14B、LongCat-Video、Hunyuan Video 1.5 和 LTX-2.3。

如图 15c 和图 15d 所示，在 TI2V 任务上，LingBot-Video 在所有开源竞品中取得了最先进的表现，并在通用质量和具身领域得分上均排名第一。这表明 LingBot-Video 在模拟精确物理轨迹方面具备更强能力，例如机械臂操作和避障等场景。

在 T2V 任务上，如图 15a 和图 15b 所示，虽然 LingBot-Video 在通用质量上排名第二，但在具身领域得分上仍然持续优于 Cosmos 等有竞争力的基线模型。即便没有初始图像作为条件输入，LingBot-Video 依然展现出这一优势，说明它具备稳健且内生的物理先验，而这对具身 AI 应用至关重要。



打开网易新闻 查看精彩图片

图 16 给出了 LingBot-Video-A2V（是在 LingBot-Video 之上做 Action-to-Video 后训练得到的动作条件版本） 在 EgoDex Eval 和 DreamDojo-HV Eval 上的结果，用于检验经过后训练的模型是否能够泛化到训练所用 GR-1 轨迹之外。

这两个评估数据集都包含 GR-1 后训练数据集中没有出现过的新物体和新动作，因此适合用于测试模型的分布外动作跟随能力，而不是测试它是否记住了训练中的 rollout 轨迹。



打开网易新闻 查看精彩图片

结语

蚂蚁灵波这次选择开源 LingBot-Video，这在当前竞争激烈的视频生成赛道里并不是一个轻松的决定。开源意味着把 MoE 架构和面向具身智能的训练范式全部交给社区去检验、复现和迭代，也意味着要接受更公开的审视。

但从行业角度看，这正是眼下最需要的东西，一个可复现、能够持续演进的视频生成基座模型，能够实实在在地降低具身智能视频模型的研究门槛。

LingBot-Video 的 MoE 架构、具身多模态数据训练方式、多维奖励强化学习机制，为行业提供了可参考的技术样本，也展示了蚂蚁灵波在大规模视频生成基座模型训练上的系统能力。

同时也需要坦诚承认，这条路还远没有走到终点。长时序场景下的一致性维持、柔性物体和液体这类复杂物理交互的建模、视频预测能力如何真正闭环到真实机器人的控制策略上，以及具身视频模型本身评测标准的建立，这些问题目前都还处在演进阶段，没有一个是靠一次模型发布就能彻底解决的。

视频生成模型的价值正在外溢，它过去主要回答内容生产问题，接下来也会越来越多地进入真实世界任务：预测、评估、规划，乃至参与机器人的训练闭环。LingBot-Video 选择了后一条路，也选择把这条路上的答案摊开来交给整个研究社区一起走。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

今年军校报考热度与生源质量均创历史新高

微软股价涨幅扩大至15%

视频丨国防部：菲方非法图谋不可能得逞

男孩被奶奶责怪负气离家5天后被找到

龚宝冬遇难 西南政法大学官网变黑白

中央强调及时谋划出台增量政策





热门跟贴




打开APP发贴

0条跟贴








相关推荐




索尼研发乒乓球机器人打败日本顶尖选手

每日经济新闻1212跟贴









智元全模态大模型，登顶全球第一！力压谷歌英伟达，跑赢大厂

智东西25跟贴









中国黑马甩出5个模型、17项全球第一！自进化体系杀进具身智能核心圈

新智元









机器人大厨做扬州炒饭，你想品尝一下吗？

装甲铲史官









World Labs收购SceniX后，李飞飞与李昀烛揭秘具身智能终局：空间智能

钛媒体APP









人形机器人半马跑姿大赏 ，有的比人快多了！有的“状况百出”

每日经济新闻









100多万人围观！没头没腿，神似充电宝的机器人全网走红？

机器之心Pro









万帧照片级仿真2

机器之心Pro









动易科技PhyAgents无遥控 无预设双足人形自主对打羽毛球

量子位









机器人进家还差几步？京东：商业化场景是快车道，未来会有更多消费级产品出现

每日经济新闻









520，人类如何回应AI的告白

虎嗅APP









持续领跑世界模型驱动物理AGI，极佳视界再获10亿元B2轮融资

36氪









搬货、烤面包、摆桌牌……每一个动作，都是从零开始的“第一课”

每日经济新闻









朗极智能面向构建智能机器人系统发力2

36氪









亦庄机器人马拉松现场名场面合集

量子位









阿里达摩院开源具身大脑基础模型

机器之心Pro









少即是多，这次轮到大模型来证明

机器之心Pro









讯飞首发实时生成技术！像真人主播一样临场应变，表情动作实时刷新

智东西









聊聊字节的AI调整：两个关键人物和一个新方向

钛媒体APP









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报











回到顶部回到首页



------
导航页 打开网址