导航|地址|刷新
VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景_手机网易网




















网易网易号



0







VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景


机器之心Pro
2026-02-02 17:10·河北·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

本工作由上海人工智能实验室、中国科学技术大学、浙江大学、香港大学 的研究者们共同完成。



打开网易新闻 查看精彩图片
https://mp.weixin.qq.com/s/Sbac5L2fUbnF2TBBW8O1xg?click_id=48


打开网易新闻 查看精彩图片


论文标题：VL-LN Bench: Towards Long-horizon Goal-oriented Navigation with Active Dialogs

项目主页：https://0309hws.github.io/VL-LN.github.io/

ArXiv 论文：https://arxiv.org/abs/2512.22342

Hugging Face 数据集： https://huggingface.co/datasets/InternRobotics/VL-LN-Bench

Hugging Face 模型：https://huggingface.co/InternRobotics/VL-LN-Bench-basemodel

GitHub 代码库：https://github.com/InternRobotics/VL-LN


交互式实例导航任务

（Interactive Instance Goal Navigation, IIGN）

如果将一台在视觉语言导航（VLN）任务中表现优异的机器人直接搬进家庭场景，往往会遇到不少实际问题。

首先是使用门槛偏高：传统 VLN 需要用户给出又长又精确的路线式指令，例如 “从门口直走三步，看到门右转，再往前……”，这会显著增加沟通成本，降低日常使用体验。

相比之下，人们更期待一种更自然的交互方式，比如只用随口一句 “找到我的背包” 即可。这样的设定更接近目标物体导航（ObjectNav）任务，但它也存在明显不足：机器人只会找到场景内任意一个背包交差，而无法定位用户真正需要的书包，这显然无法满足需求。

正因为真实场景里用户的表达常常简短且含糊，而机器人又必须把目标精确落实到某一个具体实例上，交互式实例导航才显得格外关键。机器人既不能指望用户一开始就把所有信息交代清楚，也不能用 “找到同类就算完成” 的方式草草应付；相反，它应在探索过程中主动提问、逐步澄清歧义，像人一样把 “到底是哪一个” 问明白，再高效准确地完成用户的需求。



打开网易新闻 查看精彩图片

交互式实例导航示例：用户要求机器人找到场景中某一张凳子（绿框），但存在大量相似干扰项（红框），因此机器人需在探索中结合观察主动提问，逐步缩小候选范围，直到锁定目标。

构建 VL-LN 基准：

面向 IIGN 任务的自动化数据收集及评测

语言交互是人们日常交互最常见的形式之一，具身智能体要更好地融入人类生活也需要具有进行这种高效的信息交流形式的能力。不同于传统 VLN 仅仅聚焦 “导航动作（Navigation）执行得好不好”，VL-LN 还关注机器人能否在导航过程中与人类进行高效的语言交互（Language+Navigation）来提升任务的成功率与效率。

为此，VL-LN 面向交互式实例导航任务构建了一套自动化数据收集管线，并依托 InternVLA-N1 标准化模型训练与评测。

自动化数据收集管线



打开网易新闻 查看精彩图片

交互式实例导航数据收集流程

数据收集包含三个步骤，作者首先整理了场景元数据，进而生成能用于在线采样的序列（episode）数据，最后在规则驱动的交互机制下批量采集交互导航训练轨迹（trajectory），具体内容包括：

场景元数据处理：基于 MMScan 对 MP3D 场景的标注信息，将按房间分散的物体信息整合成全屋级的元数据，主要包括两个字典：目标实例字典（instance dictionary，存储每个物体的空间关系、属性等基本信息）和区域字典（region dictionary，存储房间的位置、物体等信息）

序列生成：每个有效序列由起始位姿、导航指令、目标实例的可停止视点三个主要信息组成。针对每一个目标实例作者均提供两个版本的导航指令。一种导航指令只有目标实例的类别（Partial instruction，用于交互式实例导航任务，必须靠对话消歧），另一种导航指令是能在场景内唯一锁定目标实例的完整描述（Full instruction，可用于评测训练非交互的任务）。可停止视点（view point）指机器人在导航过程中可以合法停止并判定 “已找到目标” 的一组视点位置。

交互导航轨迹采集：该阶段主要采用一个集成了基于边界点的探索算法（Frontier-Based Exploration）与目标实例分割器的智能体。在数据采集过程中，智能体除探索未知区域外，还会按规则主动提出三类问题：属性（目标实例长什么样？）、路线（如何到达目标？）和目标消歧（是否为眼前的实例？），从而生成相应的交互式导航轨迹。

通过该流程，作者构建了大规模交互式实例导航数据以支撑模型训练。下图给出了数据的总体统计。作为首个大规模交互式实例导航数据集，其主要优势在于：


规模：40k导航序列，相比现有交互导航数据集（约7k）提升一个量级

多样性：覆盖150+物体类别与3类问答（属性 / 位置 / 消歧），自由组合形成丰富训练样本；

难度覆盖：包含长时程轨迹（steps > 300）与多轮对话样本（dialog turns > 5），覆盖复杂困难场景。




打开网易新闻 查看精彩图片

第一行分别展示了每条轨迹的路径步数、对话轮数和每轮对话长度的频率直方图；第二行展示了问题类型与目标类型的统计结果，以及对话中高频词的词云图。

NPC 支撑的自动化在线评测基准

为了评测智能体完成交互式实例导航（IIGN）的能力，并与非交互式实例导航（IGN）进行对比，VL-LN 基准提供了可用于测试两类任务的测试集。针对交互式实例导航的自动化评测，VL-LN 还实现了一个由 GPT-4o 驱动的 NPC，它能够回答智能体在导航过程中提出的问题。此外，为了评估智能体提问效率，VL-LN 定义新的指标 MSP（Mean Success Progress），用于衡量主动对话带来的增益。

从结果到原因：

交互式实例导航的能力与挑战

通过使用不同的数据对 Qwen2.5-VL-7B-Instruct 进行微调，作者训练了三个模型。具体训练所使用的数据如下：


VLLN-O (object)：VLN + ObjectNav 轨迹数据

VLLN-I (instance)：VLN + ObjectNav + IGN 轨迹数据

VLLN-D (dialog)：VLN + ObjectNav + IIGN 轨迹数据（论文的核心模型）


评测同时覆盖两类任务：


IIGN（交互式实例导航）：允许提问（对话轮数限制在 5 轮）

IGN（实例导航）：不允许对话，但提供足以唯一锁定目标实例的全量指令


实验结果如下表所示



打开网易新闻 查看精彩图片

为了进一步确定模型在交互式实例导航任务上的性能和瓶颈，研究团队对实验结果进行系统性复盘，并将实验结论总结如下：



打开网易新闻 查看精彩图片

VL-LN Bench 错误类型分布



打开网易新闻 查看精彩图片

不同对话轮次上限下的 IIGN 性能

对话消歧在任务存在歧义时显著提升成功率：在 IIGN 与 IGN 上，具备提问能力的 VLLN-D 成功率均高于仅会探索的 VLLN-I，成功率分别提升6.0%与2.6%。在对话轮次上限消融中，随着上限由0增至5，VLLN-D 的 SR 由15.4%提升至20.2%。

物体 — 图像对齐是核心瓶颈：无论在 IIGN 还是 IGN 任务中，约 70% 的失败都源于目标未被成功检测，说明性能瓶颈主要不在导航策略，而在于目标实例与图像观测之间的对齐能力。

相较于全量信息设置，问答机制带来的信息增益仍然有限：VLLN-D 在 IIGN 上的成功率为 20.2%，低于其在无法提问、但具备全量信息的 IGN 上的 21.8%，说明对当前模型而言，对话带来的增益仍弱于信息补全带来的增益。

与人类仍有显著差距：论文设置人类 IIGN 测试（一人负责提问与探索，另一人负责回答），结果显示人类平均仅需2轮对话即可达到93%成功率，表明当前模型与人类水平仍存在巨大差距。

结语

VL-LN Bench 是一个面向长时程交互式实例导航（IIGN）任务的高质量、高挑战且体系完备的评测基准，可系统评估智能体在 3D 环境中的长程探索、实例级目标识别与对话消歧能力。

与此同时，基准配套自动化数据采集管线与 NPC 评测机制，为交互式导航能力的训练与评估提供了一条可规模化、可复现的标准化路径。评测结果清晰表明：引入主动对话能够显著提升智能体在 IIGN 与 IGN 任务中的整体表现，但同时也揭示了当前方法在实例级感知对齐与高信息增益提问策略等关键环节上仍存在明显短板，为未来面向空间智能体的 “会走” 到 “会边走边问” 的技术演进提供了研究方向与启发。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

台风“白海豚”或冲击今年风王

今年军校报考热度与生源质量均创历史新高

中央：提升资本市场韧性和信心

祖辈所种古树被扣押后转赠 官方介入

美方拟购约1700亿美元导弹和核潜艇

《九门》口碑





热门跟贴




打开APP发贴

0条跟贴








相关推荐




具身智能的数据困境，不只在数量

智东西









吓到奥特曼，暂停训练GPT-6？Hugging Face公开首个AI攻击全过程

新智元82跟贴









大模型解剖图火了，30多个开源模型架构差异一目了然，还可接入AI

DeepTech深科技31跟贴









OpenAI公布GPT-5.6自进化秘籍！翁荔被曝回归

智东西









世界模型新比赛！北大、清华、北航、上交、中科大联合发布首个三视角具身世界模型榜单，新评测标准来了

机器之心Pro









300万对样本、200万对实拍：深度估计的数据荒，终于被打破

机器之心Pro









贾扬清再创业，造了一支AI军团，让GLM-5.2提速534%

智东西









想做能终身学习的 AI？先得教会它如何忘记

雷科技









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









800万人围观！虾爹给Agent套上循环，让它自己跑起来！

机器之心Pro









“接力跑”盘活全国算力，PD分离终于破局：延迟砍半、成本直降近40%！

量子位









灵巧手的第一份高难度考卷，中科院自动化所发布DexJoCo

机器之心Pro









少即是多，这次轮到大模型来证明

机器之心Pro









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报









黄仁勋力挺开源同一天，蚂蚁百灵扔出124B“执行模型”

智东西1跟贴









亦庄机器人马拉松现场名场面合集

量子位









自从有了半自动机器人，地里活不用担心，真是省心又省力！

欢趣匣子1跟贴









高市早苗策略失败，中俄朝迅速行动，美军撤退，形成3对1格局

春露秋霜









长安CS55导航被4S店修坏了 主持人：厂家该端正售后态度

拜托了老司机









把Agent丢入1000+文件：人大CoDA-Bench揭示Code Agent瓶颈

机器之心Pro











回到顶部回到首页



------
导航页 打开网址