导航|地址|刷新
世界模型新比赛！北大、清华、北航、上交、中科大联合发布首个三视角具身世界模型榜单…




















网易网易号



0







世界模型新比赛！北大、清华、北航、上交、中科大联合发布首个三视角具身世界模型榜单，新评测标准来了


机器之心Pro
2026-07-28 13:32·天津·《机器之心》官方网易号

0


机器之心发布

当机器人拥有多个摄像头，它看到的世界是否仍然保持一致？

头部摄像头看到机器人正在抓取一个物体，腕部摄像头却显示机械臂还没有移动；一个视角中物体已经被放置完成，另一个视角中物体仍停留在原位 —— 这些看似细微的偏差，意味着模型生成的可能不是同一个真实世界。

一个新的问题也随之出现：

如何判断一个世界模型，是否真正理解了机器人所处的世界？

近日，北京大学、清华大学、北京航空航天大学、上海交通大学、中国科学技术大学联合发起TriWorldBench Challenge，正式推出首个面向机器人三视角世界模型的评测榜单。



打开网易新闻 查看精彩图片

报名方式 / 网址：https://www.triworldbench.com/

该榜单聚焦机器人操作场景中的head view（头部视角）、left-wrist view（左腕视角）、right-wrist view（右腕视角）多视角视频生成与理解能力，希望建立更加全面的世界模型评价标准，推动具身世界模型从 “视觉生成” 迈向 “世界理解”。

从 “生成视频” 到 “理解世界”：具身世界模型需要新的评价标准

过去，视频生成模型的评价更多关注：


画面是否清晰；

内容是否符合描述；

视频是否连续流畅。


但对于具身世界模型而言，仅仅生成一段 “看起来真实” 的视频远远不够。

机器人需要面对的是一个动态、连续、具有物理规律的世界。

在真实机器人系统中，一个任务通常由多个摄像头共同观察：

头部摄像头负责提供整体环境信息，帮助机器人理解任务状态；

腕部摄像头贴近操作区域，可以捕捉抓取、接触等细节。

不同视角之间并不是简单的信息重复，而是共同构成机器人对世界的完整认知。

因此，一个真正可靠的具身世界模型，不仅需要生成单个视角下合理的视频，还需要保证：

多个摄像头看到的是同一个世界。

这也成为当前世界模型评测体系中亟待解决的新问题。

TriWorldBench：面向具身世界模型的三视角评测体系

针对多视角一致性这一核心挑战，TriWorldBench Challenge 提出了一套面向机器人操作场景的综合评测体系。

相比传统单视角视频评价方式，TriWorldBench 更加关注模型是否具备真实世界理解能力。



打开网易新闻 查看精彩图片

01 多视角一致性：三个摄像头是否描述同一个世界？

TriWorldBench 首先关注三路视角之间能否相互对应。

模型生成的头部、左腕和右腕视频，不仅要各自合理，还需要保证：


活动机械臂和动作阶段相互对应；

抓取、接触及动作进度保持一致；

目标物体的类别、外观和状态不存在冲突。


换句话说，三路视频不能只是分别 “看起来合理”，还需要共同描述一次完整、连贯的机器人操作过程。

02 任务执行能力：机器人是否真的完成了任务？

对于机器人而言，视频生成不是最终目标，完成任务才是核心。

TriWorldBench 进一步评估模型对于机器人操作过程的理解能力，包括：


指令是否正确执行；

机械臂运动是否符合预期；

抓取、移动、释放等操作是否合理。


其中，头部视角主要用于判断任务指令、机械臂轨迹和最终结果；腕部视角则进一步检查抓取是否稳定、是否发生滑移，以及夹爪与物体之间的局部交互是否正常。

这意味着，画面看起来足够清晰、流畅，并不代表机器人真正完成了任务。TriWorldBench 希望让世界模型评价从 “看起来像” 进一步走向 “真正可用”。

03 物理世界理解：模型是否真正理解三维空间？

机器人面对的是三维物理世界。

因此，世界模型不仅需要生成视觉内容，还需要理解：


物体之间的位置关系；

动作变化过程；

不同视角下的空间对应关系。


TriWorldBench 希望通过多视角评测，进一步探索世界模型对于真实环境的理解能力。

不只是排名：TriWorldBench 更希望成为帮助研究团队优化模型的诊断工具

对一个榜单来说，排出名次只是第一步。更重要的是，它能否解释模型为什么得分高或低，并把清晰的改进方向反馈给研究者。TriWorldBench 因此没有把三路视频压成一个简单平均分，而是建立了从同步数据、动作状态到多层结果的完整评测链路。

01 从数据到指标：TriWorldBench 如何全面评估模型能力

基准包含 500 个三视角同步 episode，覆盖 50 个机器人操作任务。系统围绕三视角一致性、任务对齐、物理与 3D 一致性、运动质量、时序一致性和视觉质量六个维度，汇总 19 项评测信号，并以 TWB-Score 作为榜单总分。

02 三个视角如何共同判断机器人任务状态

三视角一致性被放在整个体系的中央。每个生成视角先与对应的真值相机进行对照，再通过 head-wrist 语义判断和联合三视角问答，检查机械臂状态、动作阶段、接触关系以及目标物体是否相互兼容。评测并不要求视角差异巨大的头部画面与腕部画面在像素上相同，而是判断它们能否共同解释同一次操作。

与此同时，指标会被分配到证据最可靠的相机。头部视角更适合判断任务指令、全局进度、机械臂轨迹和最终结果；腕部视角更适合观察接触、抓取稳定性、滑移和局部几何。这样既不会让腕部遮挡影响全局任务判断，也不会让清晰的头部画面掩盖夹爪附近的失败。

03 STATE 让评测知道何时该动、何时该稳

TriWorldBench 从参考机器人轨迹中构建 STATE 标注，识别当前动作阶段、活动机械臂，以及每个视角预期处于运动还是静止。该动的腕部如果长时间冻结会被扣分，不该动的相机出现多余运动同样会被识别。由此，稳定不再等同于 “全程不动”，运动丰富也不再天然代表模型理解了任务。

04 总分用于排名，细粒度结果用于诊断

画质和美学分数也不会脱离任务单独决定胜负。当头部轨迹错误，或三路视频在机器人和物体状态上发生冲突时，系统会对视觉质量进行任务约束后的修正，避免一段精致但错误的视频凭借 “好看” 获得不合理优势。

在 VLM 语义评测中，评测协议还会先与人类专家的打分和排序进行对齐，再冻结规则用于正式测试。榜单除了报告 TWB-Score，还保留六大维度、单项指标、逐视角、head-wrist 配对和联合三视角结果。研究团队因此不仅能看到排名，还能判断问题究竟出在任务、运动、画质，还是三个摄像头之间的世界状态没有对上。

这让 TriWorldBench 更像一套面向研发的 “体检报告”：它不只回答谁更强，也帮助解释模型下一步应该改进哪里。

面向全球团队开放报名，共同探索具身世界模型下一阶段

TriWorldBench Challenge 面向全球相关研究团队开放报名。

参与对象包括但不限于：


具身世界模型研究团队；

具身智能团队；

视频生成模型团队；

多视角生成与理解方向团队。


无论是专注视频生成能力，还是探索机器人交互与空间智能方向的模型，都可以通过统一的数据和评测体系参与挑战。

通过公开榜单，TriWorldBench 希望为不同技术路线提供公平比较的平台，同时推动具身世界模型领域形成更加统一、科学的评价标准。

未来的机器人，不仅需要看到世界，更需要理解世界、预测世界，并在真实环境中完成复杂任务。

TriWorldBench Challenge 希望推动行业共同回答一个关键问题：

一个真正具备智能的世界模型，应该如何被评价？

期待更多研究团队加入 TriWorldBench，共同探索具身世界模型发展的下一阶段。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

中央强调及时谋划出台增量政策

微软股价涨幅扩大至15%

龚宝冬遇难 西南政法大学官网变黑白

超强台风“白海豚”最新路径来了

男孩被奶奶责怪负气离家5天后被找到

宇树科技：8月10日打新





热门跟贴




打开APP发贴

0条跟贴








相关推荐




索尼研发乒乓球机器人打败日本顶尖选手

每日经济新闻1212跟贴









李飞飞的世界模型，终于开始训练机器人了

量子位









神秘黑马-莫刻机器人冲榜WorldArena，仅32张真武810E封神

机器之心Pro









机器人大厨做扬州炒饭，你想品尝一下吗？

装甲铲史官









灵巧手的第一份高难度考卷，中科院自动化所发布DexJoCo

机器之心Pro









人形机器人半马跑姿大赏 ，有的比人快多了！有的“状况百出”

每日经济新闻









万帧照片级仿真2

机器之心Pro









100多万人围观！没头没腿，神似充电宝的机器人全网走红？

机器之心Pro









动易科技PhyAgents无遥控 无预设双足人形自主对打羽毛球

量子位









机器人进家还差几步？京东：商业化场景是快车道，未来会有更多消费级产品出现

每日经济新闻









520，人类如何回应AI的告白

虎嗅APP









搬货、烤面包、摆桌牌……每一个动作，都是从零开始的“第一课”

每日经济新闻









阿里达摩院开源具身大脑基础模型

机器之心Pro









持续领跑世界模型驱动物理AGI，极佳视界再获10亿元B2轮融资

36氪









朗极智能面向构建智能机器人系统发力2

36氪









亦庄机器人马拉松现场名场面合集

量子位









300万对样本、200万对实拍：深度估计的数据荒，终于被打破

机器之心Pro









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报









中国造记录机器人，手写体笔记加精准绘图

装甲铲史官









飞渡科技：一家空间智能“隐形冠军”的显性时刻

钛媒体APP











回到顶部回到首页



------
导航页 打开网址