导航|地址|刷新
ECCV 2026｜当RGB变成不可靠变量：InfraNet用非对称学习重构RG…




















网易网易号



0







ECCV 2026｜当RGB变成不可靠变量：InfraNet用非对称学习重构RGB-IR检测


机器之心Pro
2026-07-19 19:57·天津·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

作者团队来自 Beihang University、Zhongguancun Academy、Communication University of China 和 KAUST，研究方向涵盖红外目标检测、多模态感知与复杂环境视觉。丰子超、朱昊东为共同第一作者，徐昇为通讯作者。

在讨论 RGB-IR 目标检测时，「两种模态互补」几乎是默认前提。RGB 擅长保留纹理和颜色，红外图像在弱光条件下更稳定，于是最直接的路线是搭建双分支网络，让它们在中间层不断交换信息。

InfraNet 的出发点却来自一个不太符合这一直觉的现象。

作者在 M3FD 夜间样例上查看了不同网络的中间特征。纯 IR 分支仍能把响应集中在车辆和行人附近；RGB 分支已经出现大面积背景噪声。更值得注意的是，一些融合模型得到的特征并没有比 IR 更干净，反而带入了额外激活。



打开网易新闻 查看精彩图片

夜间条件下 RGB、IR 与多种融合特征的可视化。RGB 退化后，融合结果可能引入额外噪声。

这组观察把问题从「怎样融合更多信息」改成了另一个问题：当辅助模态开始失真，网络有没有必要继续把它当作可靠输入

论文提出的 InfraNet，不是为两条分支设计一次更充分的对称融合，而是把 RGB-IR 检测中的训练和部署重新拆开讨论。



打开网易新闻 查看精彩图片


论文标题：InfraNet: Quality-Aware RGB Guidance for Efficient Infrared Object Detection

论文链接：https://arxiv.org/abs/2607.03795

作者：Zichao Feng, Haodong Zhu, Jingying Yang, Sheng Xu, Yangyang Ren, Yuguang Yang, Xuhui Liu, Juan Zhang, Tian Wang, Linlin Yang, Baochang Zhang

单位：Beihang University; Zhongguancun Academy; Communication University of China; King Abdullah University of Science and Technology (KAUST)


两个经常被绑在一起的假设

常规双模态检测通常同时接受两项设定：


RGB 与 IR 在每个样本上都能互补；

两种传感器在部署时始终可用。


第一项会在夜间、雾天或强眩光条件下动摇，第二项则直接限制了模型的部署方式。即使 RGB 已经模糊、过曝，或者某些场景只提供红外图像，双流检测器仍要求两路输入共同完成推理。

InfraNet 将这两个假设分离：RGB 可以在训练阶段提供额外结构线索，但是否保留到推理阶段，应由具体部署条件决定。红外分支因此被固定为主路径，RGB 分支则承担受控辅助的角色。

基于这一思路，论文分别训练了两个网络，而不是让同一个模型临时切换模式：


InfraNet-IR在训练时读取成对的 RGB 与 IR 图像，推理时删除 RGB 分支和全部融合模块，最终是一个纯红外检测器；

InfraNet-RGB-IR保留两条路径，面向 RGB 与 IR 均可稳定提供的场景。




打开网易新闻 查看精彩图片

InfraNet-IR 的训练与推理路径。训练阶段引入 RGB 辅助分支，部署时仅保留 IR 主路径和检测头。

这样的区别并非简单的「完整版」和「裁剪版」。InfraNet-IR 从训练目标开始就要求最终预测能力落在 IR 路径上，RGB 只负责帮助这条主路径形成更好的表示。

QualGate 不估计画质，而是控制干预

如果 RGB 只是训练期辅助信号，接下来的问题是：它应该以多大强度进入红外分支？

InfraNet 的核心模块 QualGate 为每个融合位置预测一个标量控制信号 q。这个量由检测任务端到端学习，不需要额外的图像质量标签，也不被解释为通用的清晰度分数。它只回答一件事：当前 RGB 特征对检测训练到底有多大帮助。

QualGate 的控制分成两个同步方向：


当 q 较低时，RGB contribution 被压低，减少退化特征向主路径传播；

同时提高 IR 注入强度，在辅助信息变弱时补足红外表示。




打开网易新闻 查看精彩图片

QualGate 结构。标量控制信号同时作用于 RGB suppression 和 IR amplification。

这两个方向看起来简单，但论文的消融结果显示，它们并不能彼此替代。在 LLVIP 的 YOLOv8 InfraNet-IR 设置下，完整 QualGate 的 mAP 为 68.8；移除 IR amplification 后降至 67.2，取消 RGB suppression 后为 68.4，而把控制量固定为 1 的朴素版本为 67.7。

换言之，收益并不只是来自「给特征乘一个权重」，而是来自一组配套动作：减少不可信辅助信号，同时保证主模态不会跟着变弱。

人为破坏 RGB 后，网络是否真的更稳？

为了排除模型只是在正常数据上碰巧获得收益，论文固定 IR 输入，单独对 RGB 施加雾化和亮度扰动。

在最强雾化等级下，带可靠性控制的模型仍保持 97.1 AP50 / 67.8 mAP；将 q 固定为 1 的朴素融合版本下降到 92.6 AP50 / 61.8 mAP。随着雾化增强，学习得到的控制值也从 0.441 缓慢降到 0.434。

这个结果需要谨慎理解。q 不是一把「RGB 质量尺」，它在亮度扰动下并不一定单调变化；但作为检测任务内部的控制量，它确实限制了严重退化 RGB 对训练过程的干扰。

IR-only 的价值，要看部署账本

论文在 LLVIP、FLIR-Aligned、M3FD 和 DroneVehicle 四个数据集上评估了两种 InfraNet。除了最终精度，M3FD 上的一组对照更能说明 IR-only 设置的目的。



打开网易新闻 查看精彩图片

InfraNet-IR 相比同结构 IR baseline 提升 1.4 AP50 和 1.8 mAP，而参数量、推理时间没有变化。额外的 RGB 分支只存在于训练阶段，并未转化为部署负担。若现场能够稳定获得双模态输入，则可选择精度更高的 InfraNet-RGB-IR。

在其他数据集上，论文报告的代表性结果包括：LLVIP 上 YOLOv8 的 RGB-IR 与 IR-only 版本分别达到 70.5 和 68.8 mAP；FLIR-Aligned 上 YOLOv5 两个版本分别达到 89.5 和 88.1 mAP50；DroneVehicle 上 YOLOv12 InfraNet-IR 达到 84.7 AP50 / 63.9 mAP。

从检测框回到特征响应

M3FD 的定性结果提供了另一层证据。与 SuperFusion、TarDAL、CFT 和 FusionMamba 相比，InfraNet-IR 在多种照明条件下减少了部分重复框和背景误检，定位更接近标注结果。



打开网易新闻 查看精彩图片

M3FD 上不同方法的检测结果。InfraNet-IR 在夜间与复杂照明条件下保持较稳定的定位。

在中间特征中，InfraNet-IR 的高响应区域也更集中于目标本身，而不是道路、灯光或远处建筑。需要强调的是，这些响应来自已经完成 RGB 辅助训练的 IR 模型；真正部署时，输入仍然只有红外图像。



打开网易新闻 查看精彩图片

M3FD 夜间样例的特征诊断。InfraNet-IR 的目标响应更加集中，背景激活相对较少。

这项工作的边界在哪里？

InfraNet 并没有否定 RGB 的价值。白天或成像条件良好时，RGB 仍能补充红外图像缺少的纹理与颜色信息；这也是 InfraNet-RGB-IR 被保留的原因。

它所质疑的是另一种默认做法：只要有两种模态，就在训练和部署中始终对称地依赖它们。对于输入质量会随环境剧烈变化的系统，更现实的设计也许不是追求永久融合，而是先明确主模态，再决定辅助信息何时进入、以多大强度进入，以及它是否需要留到部署阶段。

从这个角度看，InfraNet 的主要贡献并不只是一个门控模块。它给 RGB-IR 检测增加了一条新的设计轴：模态之间不仅有信息互补关系，也有可靠性和部署责任的差异








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

日本“国家情报局”正式设立

“1.5万机票仅退400多”问题出在哪

解放军喊话菲军机不要抵近否则将拦截

欧足联宣布抵制所有国际足联赛事

政治局会议对货币政策有新提法

日本在太平洋首次试射“战斧”导弹





热门跟贴




打开APP发贴

0条跟贴








相关推荐




智元全模态大模型，登顶全球第一！力压谷歌英伟达，跑赢大厂

智东西25跟贴









《零号连队》没有恋爱和剧情分支 类XCOM星战新作!

游民星空5跟贴









《社会团体分支机构、代表机构管理办法》即将施行，民政部：将加强刚性执法

澎湃新闻









锚点｜究竟什么样的信号，是“外星人”发出的？

风云之声









探秘上海3日团

科学史平话云音乐特供


00:00






少即是多，这次轮到大模型来证明

机器之心Pro









模型变强没有用，创作仍然碎片化！面向长程多模态创作的开放式Harness

新智元









山东省枣庄市薛城区发布高温橙色预警信号

北青网-北京青年报









黑龙江省哈尔滨市方正县发布暴雨黄色预警信号

北青网-北京青年报









8月起，这些新规将影响你我生活

大象新闻









爸爸让儿子早点睡假装出去，下一秒与来开灯的儿子来了个对视

南阳日报81跟贴









年销20亿“国民神药”，吃了不能开车

中国新闻周刊3369跟贴









死里逃生的“谈判老将”，被扔石块，被骂卖国贼

中国新闻周刊779跟贴









欧足联抵制所有国际足联赛事！

扬子晚报16跟贴









颜宁：我勉强算个人才，王虹是天才

澎湃新闻1522跟贴









江苏天气要大变！超强台风“白海豚”最新路径发布，将对江苏造成大的风雨影响！

江苏新闻120跟贴









斯诺克上海大师赛｜吴宜泽绝杀墨菲重现世锦赛决赛一幕

北青网-北京青年报5跟贴









一道小学数学题难住3名医学博士：最先算出的答错了

重庆晨报62跟贴









小客车翻坠50米崖下致3死 司机制动失误连续踩油门

大风新闻675跟贴









全能形态适配多元场景，这才是优秀全能本该有的样子

雷科技











回到顶部回到首页



------
导航页 打开网址