导航|地址|刷新
DPO「只看总分不看细节」？TI-DPO用Token重要性重塑大模型对齐_手机网…




















网易网易号



0







DPO「只看总分不看细节」？TI-DPO用Token重要性重塑大模型对齐


机器之心Pro
2026-02-11 13:45·河北·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

在当今的大模型后训练（Post-training）阶段，DPO（直接偏好优化） 凭借其无需训练独立 Reward Model 的优雅设计和高效性，成功取代 PPO 成为业界的 「版本之子」，被广泛应用于 Llama-3、Mistral 等顶流开源模型的对齐中。

然而，随着对模型能力要求的日益严苛，DPO 的缺陷逐渐浮出水面。

究竟该如何让 DPO 学会「去伪存真」，精准识别出那些真正决定胜负的 Critical Tokens？

针对这一问题，来自中国科学院自动化研究所、字节跳动、微软亚洲研究院和北京科技大学的研究者们在被选为 ICLR 2026 Oral 的新工作中联合提出了一种全新的 TI-DPO 框架。



打开网易新闻 查看精彩图片


论文：《Token-Importance Guided Direct Preference Optimization》

论文地址：https://arxiv.org/abs/2505.19653

开源地址：https://github.com/gracefulning/TIDPO


研究背景与意义

主流方法正面临两个核心难题，这使得模型难以实现真正精细化的语义控制:


痛点一：序列级的「二元对立」陷阱。传统方法依然停留在序列级别（Sequence-level）的粗粒度优化上，简单粗暴地将数据划分为好与坏。这种二元监督信号极度匮乏，因为它掩盖高质量回复中可能混杂着瑕疵 Token 的事实，导致了模型在连续语义空间中微调效果差，甚至引发采样分布偏移（Distribution Shift）。

痛点二：被偏差绑架的「伪」重要性。即使试图下沉到 Token 级别，现有的重要性评估手段也存在问题。许多方法依赖概率预测或简单加权，这导致它们直接继承了模型架构的固有缺陷 ——「U 型注意力偏差」（Lost in the Middle），模型天生倾向于过度关注首尾 Token 而忽略中间的核心语义。


TI-DPO 的核心机制

TI-DPO 的核心思想是：既然 Token 生而不同，那就给它们「加权」。 通过引入混合加权机制和三元组损失，TI-DPO 能够精准识别并放大「关键 Token」的信号，同时抑制噪声，从而实现比传统 DPO 更准、更稳的对齐效果。它主要包含两大核心机制：

1. 混合加权机制 (Hybrid Weighting)

为了找出谁才是决定回复质量的「胜负手」，TI-DPO 设计了一套数据驱动与先验结构相结合的权重计算法：


梯度归因：计算 Loss 对每个 Token Embedding 的梯度范数。简单来说，谁对最终输出贡献大，谁的权重就高。

高斯先验：针对 LLM 常见的「U 型注意力偏差」（过度关注开头结尾），引入高斯分布强制模型关注中间的语义核心。


最终的 Token 权重 ，是这两者的凸组合：



打开网易新闻 查看精彩图片

新的 Token 级 DPO 加权损失函数如下：



打开网易新闻 查看精彩图片

2. 三元组损失 (Triplet Loss)

TI-DPO 不再满足于非黑即白的二元对比，而是引入了度量学习中的神器Triplet Loss。它在训练过程中构建了三个角色：



打开网易新闻 查看精彩图片



打开网易新闻 查看精彩图片



打开网易新闻 查看精彩图片

TI-DPO 损失函数：TI-DPO 的最终优化目标便是两者的加权和：



打开网易新闻 查看精彩图片

实验结果

为了验证 TI-DPO 的实际战力，研究团队在 Llama-3 (8B/3B) 和 Mistral-7B 等多个主流基座模型上进行了测试，对比了包括 DPO、SimPO 以及最近大火的 GRPO 等 10+ 种对齐算法。

1. 综合能力评估

如图 1，在 Llama-3.1-8B-Instruct 基座上，TI-DPO 的综合平均分达到 62.3，超过 GRPO (62.1) 和 DPO (60.8) 。



打开网易新闻 查看精彩图片

2. 细分领域表现优秀

在 IFEval（指令遵循）、TruthfulQA（真实性）和 HumanEval（代码生成） 这三大最考验细节把握的任务上，TI-DPO 的表现大幅超越了 DPO、SimPO 以及 GRPO。



打开网易新闻 查看精彩图片



打开网易新闻 查看精彩图片

3. 消融实验：核心组件缺一不可

Table 2 的消融实验结果表明，TI-DPO 的所有核心组件（包括混合加权机制、高斯先验和三元组损失）对于模型性能都至关重要，移除任意模块均会导致在通用能力、数学推理及代码生成等各项指标上的显著下降。



打开网易新闻 查看精彩图片

4. 案例展示：一眼看懂「关键 Token」

为了验证 TI-DPO 是否真的学会了「抓重点」，作者展示了一个医疗咨询案例（「头痛该怎么办？」）的权重可视化热力图。


在 Preferred 回复中（左）：模型给「seek medical attention」和「promptly」分配了极高的权重（红色深色区域），抓住了「安全第一」的核心。

在 Non-Preferred 回复中（右）：模型精准「抓包」了「painkillers casually」这种潜在的高风险建议，并赋予高权重加以惩罚。

Intermediate Response是模型当前的自我水平：「建议多休息，如果恶化再看医生」。TI-DPO 引导模型在生成过程中，不断向 Preferred 的价值观靠拢，同时规避 Non-preferred 的陷阱，从而完成从粗放向精细的进化。




打开网易新闻 查看精彩图片

这种有力地证明 TI-DPO 不是在死记硬背，而是真的读懂了人类价值观。

总结与贡献

TI-DPO 的提出，为大模型对齐从粗放的序列级优化向更精细的 Token 级控制转变提供了一个有力的尝试。它不再满足于笼统地判断回答的「好坏」，而是试图厘清每一个 Token 在价值对齐中的真实贡献。

实验结果表明，TI-DPO 在指令遵循、真实性与代码生成等任务上，相比 GRPO 等基线取得了稳定的性能提升，验证了提升数据利用的「颗粒度」是增强模型能力的有效路径。

TI-DPO 以其在去噪和细节控制上的特性，为后续的 RLHF 研究提供了一个值得关注的新方向。我们期待看到更多围绕「细粒度价值对齐」的探索，推动大模型向着更精准、更可控的方向进化。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

吴宜泽vs墨菲

新西兰外长竟要华裔议员“滚回国”

《九门》口碑

微软股价涨幅扩大至15%

宇树科技：8月10日打新

今年军校报考热度与生源质量均创历史新高





热门跟贴




打开APP发贴

0条跟贴








相关推荐




月耗万亿Token：金山办公为什么不自己训练大模型

钛媒体APP22跟贴









GaussianDWM：用3D高斯表示统一自动驾驶场景理解与多模态生成

机器之心Pro









我把昨晚的梦输入AI，它居然直接把我拉进去玩儿了一把？！

量子位









给世界模型加上因果，她要让机器人真正理解“为什么”

DeepTech深科技3跟贴









智元全模态大模型，登顶全球第一！力压谷歌英伟达，跑赢大厂

智东西25跟贴









马斯克发Grok新模型！登智能体测评榜首，比OpenAI家便宜一半

智东西









Agent 的 Token 账单怎么省？

机器之心Pro









视频生成模型会「推理」吗？303道题全面揭示世界模型的推理短板

机器之心Pro









李飞飞出手！用世界模型训练机器人，五种真机跑一小时不出错

智东西









聊聊字节的AI调整：两个关键人物和一个新方向

钛媒体APP









FlashAR：仅用0.05%数据，让预训练好的自回归图像模型飞起来

机器之心Pro









飞渡科技：一家空间智能“隐形冠军”的显性时刻

钛媒体APP









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报









“接力跑”盘活全国算力，PD分离终于破局：延迟砍半、成本直降近40%！

量子位









00后小哥复刻Claude最强神话模型OpenMythos

量子位









这个省token的邪修大法直接砍掉Fable 5七成账单

量子位









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









抢完互联网数据，AI公司开始抢绝版纸质书

DeepTech深科技









零样本迁移，降本80%！自适应时序预测Agent加持真实工业

新智元









黄仁勋、马斯克：看好中国大模型

每日经济新闻











回到顶部回到首页



------
导航页 打开网址