导航|地址|刷新
杨立昆发布史上最“轻”世界模型，单GPU可训，规划速度提升48倍_手机网易网




















网易网易号



0







杨立昆发布史上最“轻”世界模型，单GPU可训，规划速度提升48倍


DeepTech深科技
2026-03-24 17:52·北京·《DeepTech深科技》官方网易号

0


在通往通用智能（AGI）的道路上，世界模型（World Model）正被视为最关键的下一步。

通俗来说，世界模型就像是给 AI 装上了一个“大脑模拟器”。它让机器人不再仅仅是机械地执行指令，而是具备了在想象空间中预演未来的能力。当一个机械臂试图抓取杯子时，世界模型允许它在真正动手前，先在脑海中模拟不同动作可能导致的结果。

为了构建这种模型，图灵奖得主杨立昆提出了联合嵌入预测架构（JEPA）。该方法不直接让 AI 预测复杂的画面变化，而是先把画面“压缩”成一串简单的核心特征，再让 AI 学怎么预测这些核心特征的变化。这样一来，AI 不用关注画面的细枝末节，只抓关键规律，效率会高很多。

然而，传统 JEPA 技术打造的 “模拟器”，始终存在核心痛点，成为其落地应用的阻碍。

其一，训练易 “表示崩溃”，稳定性差。为了轻松完成特征预测任务，AI 会出现“偷懒”行为：将所有不同的视觉输入映射为几乎相同的潜特征，看似预测精准，实则这些特征毫无实际价值，这一问题被称为“表示崩溃”；其二，超参数繁琐，调参成本极高。主流端到端 JEPA 方法如 PLDM 拥有 6 个可调超参数，参数的细微变化都会导致模型性能天差地别，调参不仅需要大量的时间和计算资源，且参数无法跨任务复用，换一个任务就需要重新调试，门槛极高。

其三，计算成本高，规划运行缓慢。部分方法为避免“表示崩溃”，会依赖提前训练好的超大视觉预训练模型作为基础，虽能提升稳定性，却让模型体积臃肿、编码效率低下，AI 完成一次决策规划需要耗费大量时间。

近日，杨立昆团队发表的论文，提出了一款名为 LeWorldModel（简称 LeWM）的全新世界模型，核心解决了传统 JEPA 训练不稳定、易崩溃、超参数多、计算成本高的问题，是首个能从原始像素数据端到端稳定训练的世界模型。整个模型就 2 个核心组件、2 个损失项，15M 参数，单 GPU 几小时就能训完，只有 1 个有效可调超参数。



打开网易新闻 查看精彩图片
（来源：上述论文）
LeWM 的组成特别精简，包括两部分。一个是编码器，用轻量的视觉模型，把摄像头拍的彩色画面，变成一串简短的核心特征，抓住画面里的关键信息；另一个是预测器，根据 “当前的核心特征以及要做的动作”，精准预测下一步的核心特征，比如 “推一下方块，它的位置特征会变成什么样”，学懂环境的运行规律。

LeWM 最核心的突破，在于用两个简单且有科学支撑的训练目标，从根本上解决了传统 JEPA 的“表示崩溃”问题，彻底摒弃了经验性技巧。其一为预测损失，是让 AI 精准预测未来的核心特征，保证学的规律有用；其二是 SIGReg 正则化，逼着 AI 把核心特征分布得均匀多样，不让它把所有画面都映射成一样的特征。

同时，LeWM 把调参的难度降到了最低，过去要调 6 个参数，现在只需要调 1 个，而且调参的方法特别简单，不用反复试错，普通人也能上手。

在实际性能测试中，研究团队在二维导航、机械臂控制、推方块等经典连续控制任务上测试了 LeWM，并与当前主流的 JEPA 方法（DINO-WM、PLDM）、行为克隆（GCBC）、离线强化学习（GCIVL、GCIQL）等方法展开对比。

在二维导航任务中，智能体需要从一个房间穿过唯一的门，导航至另一个房间的指定目标位置，考验 AI 的路径规划和环境感知能力。LeWM 在该任务中虽略逊于传统方法，但其潜特征仍能精准捕捉智能体的位置信息，后续研究证实，这一表现差异并非源于特征学习不足，而是简单环境的内在维度与 SIGReg 的正则化要求存在适配性问题，并非模型本身的性能缺陷。



打开网易新闻 查看精彩图片
图 | LeWM 在不同任务测试中的表现（来源：上述论文）
在推方块任务中，LeWM 实现了性能突破，成功率比主流端到端方法 PLDM 高出 18%，更关键的是，仅依靠纯像素输入的 LeWM，性能竟超越了额外融合机器人本体感受信息（关节状态、运动数据）的 DINO-WM，充分证明其能从纯视觉画面中，精准捕捉到任务所需的全部关键规律，无需额外信息辅助。

除此之外，LeWM 的规划效率更是实现了质的飞跃。因为模型轻、特征简单，LeWM 做决策规划的速度，最高是传统大模型方法的 48 倍，单次规划不到 1 秒，不同任务、不同环境下速度都很稳定。

同时，LeWM 的训练稳定性远超传统方法：传统 PLDM 的训练曲线波动剧烈，像“坐过山车”，而 LeWM 的训练曲线平滑单调收敛，预测损失稳步下降，SIGReg 损失在训练初期快速下降后趋于平稳，且不同随机种子下的训练结果方差极小，可复现性大幅提升，彻底解决了传统方法“一次成功、次次翻车”的问题。



打开网易新闻 查看精彩图片
图 | LeWM 训练路径（来源：上述论文）
最厉害的是，LeWM 造的 “模拟器”，不是单纯靠死记硬背数据，而是真的学懂了物理世界的规律。

实验中，研究人员能从 LeWM 的核心特征里，精准提取出物体位置、角度、速度这些物理量，精度比传统方法高很多；更有趣的是，给 LeWM 看三种视频：物体正常运动、物体颜色突然变了、物体突然瞬移（违反物理规律），LeWM 对瞬移会表现出明显的惊讶（预测误差骤增），对颜色变化却几乎没反应。这说明它能分清“只是外观变了”和“物理规律被打破了”，真正理解了世界的运行逻辑，而不是只记得画面的表面特征。

当然，目前 LeWM 还有一些小短板：比如现在只能做短期的决策规划，规划太久会积累误差；在特别简单的环境里，部分训练规则的效果会打折扣；训练时还需要明确的“动作标签”，比如“推方块”要标注出推的方向和力度。

针对这些问题，研究团队也指出了未来的改进方向，比如把长任务拆成短任务实现长期规划、让模型从海量自然视频里学通用物理规律、让模型自己从画面里学动作，不用额外标注。

1.https://arxiv.org/pdf/2603.19312

运营/排版：何晨龙








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

梅亦任南昌市代市长

韩股涨熔断了

731这天日本“特高课”还魂

中国军队国际形象网宣片《当红》正式发布

日本自卫队在太平洋首次试射“战斧”导弹

解放军喊话菲军机不要抵近否则遭拦截





热门跟贴




打开APP发贴

0条跟贴








相关推荐




大模型的能力从哪些训练数据来？北大&智源提出「机理数据归因」

机器之心Pro









Nvidia都在点赞的LoopWM世界模型

机器之心Pro









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









翁荔刚回OpenAI，Thinking Machines反手甩出新模型

新智元









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









AI 3D七大前沿模型同场竞技，竟被一个4B模型拿下8项第一

机器之心Pro









华大智造首席AI官杨梦：AI for Bio的下一场竞争，是把实验闭环验证真正做出来

经济观察报









OpenAI一夜大降价！GPT-5.6 Luna暴降80%

机器之心Pro









学习强国做了个AI社区，两周铺进68座城市

量子位









Agent2World来了，把世界模型做成可运行的符号环境

机器之心Pro9跟贴









世界模型正在重新定义“游戏”的价值

DeepTech深科技1跟贴









英伟达x清华Gamma World迅速登顶抱抱脸多智能体世界模型γ-World

量子位









爸爸让儿子早点睡假装出去，下一秒与来开灯的儿子来了个对视

南阳日报97跟贴









没两辆劳斯莱斯幻影，别想部署开源大模型

字母榜








等等党，这次真的不能再等了！游戏大作扎堆井喷，现在就是游戏本最佳时刻





奇偶工作室1跟贴






Arm神经技术降低手游GPU负载50%，Unity中国与Arm达成战略合作

山月不知2









伊朗外长遭遇政治生涯"最狼狈的时刻" 被骂卖国贼

中国新闻周刊3902跟贴









有的时候看得更明白一些，事情也会更顺#强者思维逻辑 #认知提升

叫我金主编









波兰确认境内坠入一枚俄制导弹

环球网资讯2770跟贴









好莱坞幕后制作团队，通过模型拍摄海啸侵袭城市场景

车马点兵V8跟贴











回到顶部回到首页



------
导航页 打开网址