导航|地址|刷新
别再把长文切碎了，HiLight让AI直接在原文里划重点_手机网易网




















网易网易号



0







别再把长文切碎了，HiLight让AI直接在原文里划重点


机器之心Pro
2026-05-11 10:39·河北·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

在实际应用中，模型常常会忽略关键线索，这就是 “Lost in the Middle” 现象，即模型对出现在输入中间位置的信息关注度明显下降。现有的优化思路大致分为两类：


硬选择：先检索或裁剪出相关片段，再送入模型，但可能会丢失对推理至关重要的上下文。

软选择：通过摘要或压缩来缩短输入，但有损压缩难免引入失真。


两类方法都在 “动” 原始输入或原始权重。那么，能不能既保留完整的上下文，又能准确地告诉模型 “重点看哪里”？HiLight 提出一条 “输入侧干预” 的新路径：在原文中插入少量高亮标签，引导模型的注意力。

方法概述

在实际部署当中，大模型往往是API 付费调用、规模巨大，甚至权重不开放的黑盒服务，直接对它做 SFT 或 RL 微调往往不现实。因此，HiLight 选择了一条更实用的路径：冻结推理模型，训练一个轻量的 “助手模型” 来帮助它划重点。



打开网易新闻 查看精彩图片


论文标题：Learning Evidence Highlighting for Frozen LLMs

论文地址：https://arxiv.org/abs/2604.22565

作者：Shaoang Li1,∗, Yanhang Shi1,∗, Yufei Li2, Mingfu Liang2, Xiaohan Wei2, Yunchen Pu2, Fei Tian2, Chonglin Sun2, Frank Shyu2, Luke Simon2, Sandeep Pandey2, Xi Liu2,†, Jian Li1,†

机构：1 石溪大学（Stony Brook University），2 Meta AI

说明：∗ 共同第一作者；† 共同通讯作者


流程如下：

1. 轻量模型（Emphasis Actor）阅读完整的上下文，为每个 token 打出重要性分数。

2. 轻量模型在得分最高的片段两边插入高亮标签，如 < start_important > 和 < end_important>。

3. 冻结的推理模型（Solver LLM）接收带标签的文本，完成推理并输出结果。



打开网易新闻 查看精彩图片

该训练过程只用 Solver 的任务奖励作为反馈信号，不需要任何人工标注的证据。在训练方式上，因为没有 token 级别的证据标注，研究者将高亮选择建模为强化学习问题，用下游任务指标（如 HR@10、EM、F1）作为奖励信号，通过分组策略梯度来更新 Actor。

为了防止 Actor “全部高亮” 的偷懒行为，该框架还引入了高亮预算机制：轻量语言模型最多只能标注一定比例的 token，并通过 span 合并策略将零散的 token 级选择合并为语义连贯的片段。



打开网易新闻 查看精彩图片

实验表明，HiLight 对预算取值并不敏感。这意味着，在实际部署时无需精细调参，选取一个合理的中间值即可。

实验结果

研究者在四个任务上进行了评测：Amazon-Beauty（序列推荐）、HotpotQA（多跳问答）、SQuAD 2.0（阅读理解）和 PubMedQA（生物医学分类）。对比方法涵盖了当前主流的 prompt optimization 方法，包括 PRL、BFRS、OPRO、DSPy（MIPROv2）和 APE。



打开网易新闻 查看精彩图片

提升幅度最大的是序列推荐（Amazon-Beauty），在其它任务上，虽然提升相对温和，但依然一致正向。

高亮＞裁剪，保留上下文的优势

消融实验做了一个有趣的对比：把 Actor 选择的高亮片段单独裁剪出来喂给 Solver，会怎么样？



打开网易新闻 查看精彩图片

结果显示，在 Amazon-Beauty 上，裁剪也能取得不错的效果。但在 HotpotQA 上出现了相反的情况。因为多跳问答推理需要保留连接性的上下文，裁剪虽然能选出关键证据，却破坏了语义的完整性。而HiLight 在标注重点的同时保留了完整语境。

一个高亮模型，服务多个大模型

Actor 学习到的高亮策略具有很强的迁移能力。研究者用 Qwen3-14B 作为 Solver 训练 Actor，直接将其应用到五个从未见过的 Solver 上。与之相对比的做法是让目标 Solver 自己先高亮证据再作答。



打开网易新闻 查看精彩图片

结果显示，HiLight 的 Actor 高亮在五个 Solver 上的效果都明显优于自我高亮。原因也很简单，专门训练的轻量模型，比大模型自己猜 “哪里重要” 更靠谱。HiLight 的 Actor 是通过任务奖励显式训练出来的，知道什么样的证据能真正提升下游指标。

没有人工标注，却与人工高度重合

尽管训练过程中没有任何 token 级别的证据标注，但Actor 的高亮区域与 HotpotQA 数据集中人工标注的支持事实高度重合，最高达到 0.78 F1。随着 Actor 规模从 0.6B 增大到 8B，F1 从 0.68 单调上升到 0.78。



打开网易新闻 查看精彩图片

如图所示，Precision、Recall、F1 三项指标都随 Actor 规模单调提升，Precision 甚至达到 0.84，说明Actor 高亮的 token 中，绝大多数都是人工判定的关键证据。



打开网易新闻 查看精彩图片

上图展示了一个 HotpotQA 样本上的 token 级分数分布：蓝色曲线是 Actor 打出的重要性分数，红色阴影区是人工标注的支持事实所在区间。在一个包含 1200 多个 token 的长上下文中，Actor 只在两个狭窄的区域打出高分，而这两个区域正是数据集标注的 ground-truth 证据所在。

低部署成本


Solver 端 token 开销：< 1.01 倍（仅插入少量标签 token）。

Actor 推理延迟：0.6B 模型约 0.05 秒，4B 模型约 0.23 秒（p50），相比 Solver 的 8 至 18 秒可忽略不计。

训练成本：仅需约 12K 次 Solver 调用，而 PRL 需要 120K 次，APE 需要 60K 次。


一个直观案例：序列推荐优化

在 Amazon-Beauty 的一个典型案例中，模型需要通过给定的用户历史购买摘要和一批候选商品，依据用户下一个可能感兴趣的商品，对候选商品进行重排序。Actor 精准地高亮标记了两个关键内容。这两个信号帮助 Solver 将真实目标商品（一款主打 “Grips Makeup To Last” 的底妆产品）的推荐排序从第 14 名提升到第 5 名，是一个显著的排序改进。



打开网易新闻 查看精彩图片

与黑盒注意力机制不同，HiLight 直接告诉用户：模型之所以提升该商品的排名，是因为看到了这两段高亮文本。这大大提升了模型推荐结果的可信度。

结语

HiLight 的思路非常简单，用一个轻量模型划重点，让大模型集中精力推理。这种方式带来了几个好处：


性能提升：推荐任务性能提升可达 27%，问答任务也正向提升。

不用改模型：Solver 冻结，API 友好。

可解释：高亮标签能够直接告诉人类 “模型在看哪里”，以及模型决策的依据。

可迁移：一个 Actor 可以服务于多个不同的大模型。

低成本：训练成本低，额外延迟和推理成本小。


随着越来越多系统通过 API 调用大模型，HiLight 提供了一种不必改动 Solver 也能实现性能提升的办法。

值得一提的是，本文作者名单与 Meta 的 GR2（Generative Reasoning Re-ranker，arXiv:2602.07774）团队有相当程度的重叠，HiLight 这套做法很可能在不远的将来被用进 GR2 这样的生产级 re-ranking 系统里。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

解放军喊话菲军机不要抵近否则将拦截

日本“国家情报局”正式设立

欧足联宣布抵制所有国际足联赛事

“1.5万机票仅退400多”问题出在哪

以一军事基地超百名士兵“抗命”离营

日本自卫队在太平洋首次试射“战斧”导弹





热门跟贴




打开APP发贴

0条跟贴








相关推荐




OpenAI公布GPT-5.6自进化秘籍！翁荔被曝回归

智东西









少即是多，这次轮到大模型来证明

机器之心Pro









GaussianDWM：用3D高斯表示统一自动驾驶场景理解与多模态生成

机器之心Pro









视频生成模型会「推理」吗？303道题全面揭示世界模型的推理短板

机器之心Pro









我把昨晚的梦输入AI，它居然直接把我拉进去玩儿了一把？！

量子位









给世界模型加上因果，她要让机器人真正理解“为什么”

DeepTech深科技3跟贴








OpenAI总裁放出狠话：ChatGPT桌面端要消灭标签页，年底前大变天





智东西






飞渡科技：一家空间智能“隐形冠军”的显性时刻

钛媒体APP









OpenAI突然宣布：GPT-5.6大幅降价，2折起售

智东西









AI公司，批量抢购旧书

钛媒体APP









讯飞首发实时生成技术！像真人主播一样临场应变，表情动作实时刷新

智东西1跟贴









谷歌的机器人赌局：不卖本体，只卖大脑

钛媒体APP









超脑未来与微品致远共同建设工业世界模型的数据、算力与落地基础设施

机器之心Pro









00后小哥复刻Claude最强神话模型OpenMythos

量子位









这个省token的邪修大法直接砍掉Fable 5七成账单

量子位









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









GPT-5.6自己优化自己实锤了，新的左脚踩右脚已经出现

量子位14跟贴









GPT-5.6一夜爆砍80%，1元屠杀最贵Claude！

新智元









广西南宁：这是南宁刑侦史上最为经典的案例！

老驴探案12跟贴









欧足联抵制所有国际足联赛事！

扬子晚报3287跟贴











回到顶部回到首页



------
导航页 打开网址