导航|地址|刷新
大模型的能力从哪些训练数据来？北大&智源提出「机理数据归因」_手机网易网




















网易网易号



0







大模型的能力从哪些训练数据来？北大&智源提出「机理数据归因」


机器之心Pro
2026-06-28 16:18·天津·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

近年来，大语言模型展现出了越来越强的能力，从上下文学习（In-Context Learning, ICL）到复杂推理、代码生成，这些能力不断刷新人们对模型能力边界的认知。

然而，对于这些能力究竟从何而来、又是在训练过程中如何形成的，我们仍然知之甚少。

近年来兴起的机理可解释性（Mechanistic Interpretability）研究，开始尝试揭示模型内部的计算机制。例如，「归纳头」（Induction Heads）被广泛认为是大模型涌现上下文学习能力的关键神经机制。这类注意力头能够识别并复制先前出现的模式，从而实现类似「从示例中学习」的行为。相关研究不仅在多个模型中发现了归纳头的存在，也较为清晰地刻画了它们在推理阶段的工作方式。

然而，这类研究大多停留在事后分析（post hoc analysis）层面。我们能够揭示模型内部的计算机制，并把计算机制逆向拆解成可理解的「电路」。我们能描述一个电路在推理时「算什么」，却回答不了它「怎么来」—— 是哪一部分训练数据、以怎样的方式，在预训练过程中把它塑造了出来？例如，我们已经能够观察归纳头在训练完成后的功能，却仍不清楚它们究竟是如何在预训练过程中形成的。

更进一步地，究竟是哪一部分训练数据塑造了这种能力？是结构严谨的教科书文本，还是蕴含大量重复模式与逻辑结构的代码语料？这些问题至今仍缺乏明确答案。

来自北京大学计算机学院和北京智源人工智能研究院的研究者，正是从这个被长期忽视的「数据溯源」维度切入，提出了机理数据归因（Mechanistic Data Attribution, MDA）框架。它第一次把可解释性的提问，从「模型内部有什么机制」，推进到「这些内部机制是被哪些训练数据因果地塑造出来的」—— 并由此打通了一条「训练数据 → 内部机制 → 模型行为」的因果链条。

而沿着这条链条，他们得到了一个相当反直觉的答案：真正催化归纳头形成的，并不是人类眼中「高质量」的优美文本。那些看似杂乱无章、包含大量重复结构的「垃圾数据」（如 XML 标签、乱码般的 Base64 字符串、LaTeX 源代码），才是塑造归纳头的核心动力。

该工作已被机器学习顶级会议ICML 2026 接收为 Oral & Spotlight（168 / 23,918，录用比 Top 0.7%）。



打开网易新闻 查看精彩图片


论文标题：Mechanistic Data Attribution: Tracing the Training Origins of Interpretable LLM Units

论文链接：https://arxiv.org/pdf/2601.21996

代码链接：https://github.com/chenjianhuii/Mechanistic-Data-Attribution


MDA 框架：可解释单元级别的训练数据归因

要理解 MDA 的新意，先要看清它和传统方法的分界。

经典的训练数据归因（Training Data Attribution, TDA）关注的是「某条数据对模型整体 Loss 的影响」。这就像只用一个人的「整体健康状况」，去倒推他某天吃下的一粒维生素起了什么作用。这种方式粒度太粗、计算昂贵，也无法对应到任何一个具体的内部机制。

MDA 的核心转变在于：不再关注全局模型行为，而是通过影响函数（Influence Functions）精确追踪特定「可解释单元」（如归纳头）的形成源头。



打开网易新闻 查看精彩图片

图一：MDA 框架总览。从定位可解释单元，到计算数据影响力，再到因果验证与干预。

具体而言，MDA 是一个三阶段框架：


定位（Localizing）：首先定义可解释单元的监测指标（如针对归纳头的前缀匹配分数），定位那些具备可解释性的关键单元（例如神经元、注意力头等）及其参数子空间；

归因（Computing）：利用 EK-FAC（特征值校正的 Kronecker 因子近似曲率）技术，高效估算海量训练数据对特定参数子空间的影响分数。这使得在大规模预训练语料中进行归因成为可能；

干预（Intervening）：通过「数据删除」与「数据增强」实验，因果性地验证被筛出的高影响样本是否真的塑造了目标机制。


值得一提的是，MDA 的计算开销随模型规模呈亚线性增长，作者还在 OLMo-2 1B / 7B 上做了定性验证，表明这套归因方法在更大模型上依然能稳定捕捉到一致的结构模式。

归纳头形成的关键数据：重复的结构，比语义更重要

在 Pythia 模型家族（14M–160M）上的系统分析，揭示了归纳头形成背后一系列令人意外、却又自洽的规律：

1.高影响力样本特征

对于归纳头的形成，在按影响力排序的训练数据中，排名前列的往往不是人类认为「高质量」的自然语言文本，而是充斥着重复结构的数据：


XML/HTML 代码：充满重复的标签结构；

LaTeX 源码：包含大量的符号和格式指令；

UUID 与日志：看似无意义的字符串重复；

Base64 编码：字符层面的密集重复。




打开网易新闻 查看精彩图片

表一：代表性高影响力样本示例

更关键的是，这些影响分数呈现出清晰的幂律分布 —— 约 10% 的样本，贡献了高达 50% 的累计影响力。也就是说，归纳头机制的形成确实被一小撮「高杠杆」信号显著驱动。

结论： 归纳头的形成并不依赖于高深的语义逻辑，而是被这些高频重复的结构模体（Structural Motifs） 所「催化」的。

这背后的解释相当自洽：归纳头的本职工作就是「识别并复制重复模式」，那么真正能高效「训练」它的习题，自然就是这些充满重复结构的数据。

2.因果验证：删除会抑制，增强会催化

从训练数据到内部机制的因果验证：

训练数据的影响分数只能代表「相关性」，因果验证才是 MDA 的核心。作者在 Pythia 全家族、两类注意力头（归纳头与前序词元头）上做了双向干预：


删除实验（必要性）：剔除 MDA 识别出的高影响样本（≤10%），归纳头的形成被显著抑制或延后；而随机删除等量的其他样本，几乎没有影响；

增强实验（充分性）：反之，仅重复这一小撮关键样本，就能让归纳头提前涌现；同样地，随机增强无此效果。


从内部机制到模型能力的因果验证：

另外，「归纳头是 ICL 的基础」是领域内长期的核心假设，但此前的证据主要是观测性的。借助 MDA 的精准干预，作者得以从训练动态的视角检验这一因果链：在完全相同的删除 / 增强设置下，归纳头强度与 ICL 得分呈现「同升同降」的紧密耦合。抑制归纳头形成会削弱 ICL，强化则会提升。



打开网易新闻 查看精彩图片



打开网易新闻 查看精彩图片

图二：因果验证实验（上）归纳头分数（下）ICL 能力分数。红线显示剔除 MDA 识别的数据后，归纳头形成被延后；绿线显示增强这些数据后，归纳头迅速涌现，而 ICL 能力与归纳头变化完全同步。

通过以上两部分的因果干预试验，MDA 打通了一条「训练数据 → 内部机制 → 模型行为」的完整因果链条。

从「事后解释」到「事前干预」：机理数据增强

如果我们已经知道了驱动某个机制形成的数据「配方」，能不能主动合成这类数据，去定向催化模型的特定能力？

论文顺势提出了一种机理数据增强框架（Mechanistic Data Augmentation）：


小模型「探路」：利用较小的模型（如 Pythia-14M）运行 MDA，挖掘出高影响力样本；

大模型总结：让 DeepSeek-V3 等大模型分析这些样本，提取出样本中的共同结构特征；

批量合成数据：让大模型编写自动生成符合这些结构特征的合成数据的可执行代码。




打开网易新闻 查看精彩图片

图三：合成数据在不同规模模型上的效果。仅用 14M 模型挖掘出的模式生成的合成数据，就能在 160M 模型上显著加速归纳头的形成。

实验结果有两点令人振奋：


跨尺度一致提升：这种基于机理的数据增强具有一致的「跨尺度迁移性」。同一套合成数据，在 14M / 31M / 70M / 160M 上分别带来+12.3% / +10.8% / +15.8% / +9.8%的归纳头得分提升。更有意思的是，从 14M 小模型提炼出的模式，迁移到 160M 模型上的效果，甚至超过了直接从 160M 自身提炼的数据—— 说明催化归纳头的结构「配方」在很大程度上是尺度无关的，可以用小模型作为低成本代理来优化大模型训练。

不牺牲通用能力：在 Wikitext-103 语言建模与 PopQA 事实问答上，增强后的模型与基线曲线几乎重合，没有出现可统计区分的退化。这一对照排除了使用 MDA 会导致「为催化特定电路而损害整体能力」的担忧。


结语

MDA 的意义远不止「一个更精细的数据归因工具」。它标志着可解释性研究的一次角色转变 ——从只会「解释模型里有什么」，走向能够「回答它从哪来、并动手干预它如何形成」。

更进一步，它为一个更大的愿景提供了一块基石：让大模型的训练，从经验主导的「黑盒炼丹」，走向机理驱动的「白盒构建」。沿着「数据 → 机制 → 行为」这条被 MDA 打通的因果链，至少有三个方向可以被打开：


数据治理的新视角：传统「高质量数据清洗」可能会误删那些对底层机制至关重要的「重复性废话」。MDA 提醒我们，数据的价值需要从「对机制的因果贡献」重新评估。

更高效的预训练（潜在方向）：通过定向合成承载特定机制的结构数据，有望降低能力形成所需的训练成本 —— 本文已给出小规模上的有力证据，更大规模的系统验证则是值得期待的下一步。

更本质的机理对齐：当我们能在数据层面精确地催化或抑制某个内部机制，「定向切除有害回路或偏见」这类更深层的对齐与遗忘（unlearning），就从理念变得有了可操作的抓手。


在大模型炼丹术日益精细的今天，MDA 带来的是一把能追溯到数据源头的显微镜 —— 它让我们第一次有机会认真追问：模型的每一项能力，到底是被哪些数据、以怎样的方式塑造出来的。未来，当这个问题能被系统地回答，大模型的「黑盒」，也许就不再那么黑了。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

视频丨国防部：菲方非法图谋不可能得逞

2025中国网络文学影响力榜发布

男孩被奶奶责怪负气离家5天后被找到

杨振宁遗孀翁帆赴新疆喀什看望老兵

《蜘蛛侠：崭新之日》好看吗

今年军校报考热度与生源质量均创历史新高





热门跟贴




打开APP发贴

0条跟贴








相关推荐




杨立昆发布史上最“轻”世界模型，单GPU可训，规划速度提升48倍

DeepTech深科技58跟贴









想做能终身学习的 AI？先得教会它如何忘记

雷科技









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









Nvidia都在点赞的LoopWM世界模型

机器之心Pro









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









AI失控能否被提前观测？清华团队提出AI「失控行为预测框架」

机器之心Pro









飞渡科技：一家空间智能“隐形冠军”的显性时刻

钛媒体APP








OpenAI总裁放出狠话：ChatGPT桌面端要消灭标签页，年底前大变天





智东西






讯飞首发实时生成技术！像真人主播一样临场应变，表情动作实时刷新

智东西









00后小哥复刻Claude最强神话模型OpenMythos

量子位









WRC前瞻：机器人自己办大会，整机厂告别翻跟头，比WAIC精彩十倍

雷科技









聊聊字节的AI调整：两个关键人物和一个新方向

虎嗅APP









世界模型正在重新定义“游戏”的价值

DeepTech深科技1跟贴









黄仁勋、马斯克：看好中国大模型

每日经济新闻









有的时候看得更明白一些，事情也会更顺#强者思维逻辑 #认知提升

叫我金主编









Agent2World来了，把世界模型做成可运行的符号环境

机器之心Pro9跟贴









基因决定一切？这个实验告诉你，我们被骗了多少年

钻研生的物王小喵









推荐系统只会「猜你喜欢」，却未必「听你的」？我们用多智能体给黑盒推荐做了一次外部可控性体检

机器之心Pro









好莱坞幕后制作团队，通过模型拍摄海啸侵袭城市场景

车马点兵V8跟贴









赛里木湖自驾每人收75元引争议，景区称相关费用已做备案

界面新闻2.9万跟贴











回到顶部回到首页



------
导航页 打开网址