导航|地址|刷新
灵巧手的第一份高难度考卷，中科院自动化所发布DexJoCo_手机网易网




















网易网易号



0







灵巧手的第一份高难度考卷，中科院自动化所发布DexJoCo


机器之心Pro
2026-06-08 12:44·北京·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

近年来，随着机器人基础模型和灵巧手硬件的快速发展，机器人操作能力正在从简单抓取走向更复杂的功能性交互。但一个关键问题随之出现：我们该如何系统衡量灵巧手是否真的具备复杂操作能力？现有操作基准大多仍围绕机械臂夹爪以及抓取与放置等基础任务展开，难以系统评估灵巧手在工具使用、双手协作、长程执行和精细交互中的真实能力。

针对这一问题，中科院自动化所等机构提出了 DexJoCo，一个面向任务导向灵巧操作的基准与工具链。



打开网易新闻 查看精彩图片


论文标题：DexJoCo: A Benchmark and Toolkit for Task-Oriented Dexterous Manipulation on MuJoCo

论文地址：https://arxiv.org/abs/2605.16257

项目地址：https://dexjoco.github.io/


DexJoCo 基于 MuJoCo 构建，旨在推动机器人从 “会抓取” 走向 “会真正操作”。该基准包含 11 个功能性灵巧操作任务、1.1K 条人类遥操作示范轨迹，覆盖工具使用、双手协作、长程执行和推理等能力维度，并支持现代机器人学习模型的训练与评测。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA



打开网易新闻 查看精彩图片

图 1 DexJoCo 总览

为什么需要新的灵巧手基准？

过去很多机器人操作基准主要围绕机械臂和夹爪展开，任务通常是把物体从一个位置移动到另一个位置。这类任务对机器人学习非常重要，但很难充分体现灵巧手相较于普通夹爪的核心优势。

灵巧手的价值不只是 “抓得更像人”，而是能够完成更精细、更接触丰富、更具功能性的操作。例如：


拿起水壶并按压把手完成浇花；

双手拿起相机并对准目标拍照；

根据指令输入密码解锁平板电脑；

双手配合完成插入、装配任务。


这些任务不再只是移动物体，而是要求机器人理解任务目标、操作交互部件，并改变环境状态。换言之，DexJoCo 关注的不是机器人能否 “抓住物体”，而是机器人能否真正 “完成一件事”。

DexJoCo 做了什么？

DexJoCo 设计了 11 个灵巧操作任务，覆盖四类核心能力：

工具使用：如浇花、敲钉子、收纳眼镜、使用鼠标。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA

双手协作：如双手装配、双手解锁平板电脑、双手拍照。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA

长程执行：如打开微波炉、放入食物、关门并启动。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA

推理任务：如根据指令完成汉诺塔后续步骤或根据语言指令输入对应密码。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA

与传统 pick-and-place 任务不同，DexJoCo 的任务设计强调功能性交互、手指级精细控制、任务顺序理解和双手协调能力。通过这些任务，研究者可以更系统地评估灵巧手在真实复杂操作场景中的能力边界。

不只是任务集，而是一套完整工具链

DexJoCo 提供了一条灵巧手操作评测的完整流程：

任务构建 → 人类遥操作 → 轨迹采集 → 数据格式转换 → 模型训练 → 策略评测



打开网易新闻 查看精彩图片

图 2 DexJoCo 流程图

在数据采集方面，DexJoCo 使用 Rokoko Smartgloves 捕捉手部动作，使用 HTC Vive Tracker 和 Base Station 追踪腕部运动，并通过重定向模块将人类手部动作映射到 Allegro Hand 上。整套硬件系统成本约 2300 美元，旨在降低复杂灵巧操作示范数据的采集门槛。



打开网易新闻 查看精彩图片

图 3 DexJoCo 数据采集系统

同时，DexJoCo 支持将数据转换为 LeRobot 和 Diffusion Policy Zarr 等常用格式，方便研究者直接训练和评测 ACT、Diffusion Policy、π0.5、GR00T-N1.5 等模型。

强模型也会在灵巧任务中 “翻车”

研究团队在 DexJoCo 基准上评测了多种现代机器人学习模型，包括 ACT、Diffusion Policy、π0.5 和 GR00T N1.5。实验结果显示，即使是当前较先进的机器人策略模型，在复杂灵巧操作任务中仍然面临显著挑战。



打开网易新闻 查看精彩图片

图 4 dexjoco 基准上现代机器人策略模型性能



打开网易新闻 查看精彩图片

图 5 π_0.5 模型操作失败情况汇总

具体来看，在相机视角、光照条件、桌面纹理等视觉因素发生变化后，模型成功率普遍下降；在双手协作、插入装配、按钮点击等任务中，模型也经常失败。许多模型能够找到目标物体并完成初步抓取，但在最关键的精细交互环节仍然不稳定，例如按不准按钮、插不准孔位、无法正确捏合工具，或在长程任务中丢失后续步骤。



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA



打开网易新闻 查看精彩图片

视频链接：https://mp.weixin.qq.com/s/u1c3gFhFyhGeQO6zWq-7wA

这表明，当前机器人模型距离稳定、可靠的人类级灵巧操作仍有明显差距。视觉、语言、触觉和高维手部动作之间，仍然缺少更有效的统一建模方式。

走向人类级灵巧操作，DexJoCo 提供了一套基础设施

DexJoCo 的目标不是简单提供一个排行榜，而是希望构建一个标准化、可复现、可扩展的平台，让研究者能够系统回答几个关键问题：


灵巧手相比夹爪到底强在哪里？

当前 VLA 模型能否适应高维灵巧手动作空间？

什么样的数据采集方式更适合灵巧操作？

怎样的任务设计才能真正推动人类级机器人操作？


当机器人不再只是把物体拿起来，而是能够使用工具、双手协作、理解任务并改变环境状态时，我们才真正接近人类级灵巧操作。

DexJoCo 希望为这条道路提供一套标准化基础设施。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

吴宜泽vs墨菲

中方敦促日方彻底清除日遗化武毒害

外交部提醒避免危险抵近中方舰艇

台风“白海豚”或冲击今年风王

男孩被奶奶责怪负气离家5天后被找到

新西兰外长竟要华裔议员“滚回国”





热门跟贴




打开APP发贴

0条跟贴








相关推荐




索尼研发乒乓球机器人打败日本顶尖选手

每日经济新闻1212跟贴









不同灵巧手，终于可以共用「一套大脑」了

机器之心Pro









超越人手！中国第一家脑机接口独角兽，要把仿生手带给机器人

量子位10跟贴








全球最高自由度！他们把人类身体「像素级」复刻了





新智元8跟贴






机器人大厨做扬州炒饭，你想品尝一下吗？

装甲铲史官









李飞飞出手！用世界模型训练机器人，五种真机跑一小时不出错

智东西









全球看中国，灵初智能用10万小时人类数据写下具身智能的中国答案

机器之心Pro









神秘黑马-莫刻机器人冲榜WorldArena，仅32张真武810E封神

机器之心Pro









世界模型新比赛！北大、清华、北航、上交、中科大联合发布首个三视角具身世界模型榜单，新评测标准来了

机器之心Pro









人形机器人半马跑姿大赏 ，有的比人快多了！有的“状况百出”

每日经济新闻









100多万人围观！没头没腿，神似充电宝的机器人全网走红？

机器之心Pro









万帧照片级仿真2

机器之心Pro









动易科技PhyAgents无遥控 无预设双足人形自主对打羽毛球

量子位









机器人进家还差几步？京东：商业化场景是快车道，未来会有更多消费级产品出现

每日经济新闻









520，人类如何回应AI的告白

虎嗅APP









持续领跑世界模型驱动物理AGI，极佳视界再获10亿元B2轮融资

36氪









搬货、烤面包、摆桌牌……每一个动作，都是从零开始的“第一课”

每日经济新闻









朗极智能面向构建智能机器人系统发力2

36氪









亦庄机器人马拉松现场名场面合集

量子位









阿里达摩院开源具身大脑基础模型

机器之心Pro











回到顶部回到首页



------
导航页 打开网址