导航|地址|刷新
Kimi新架构让马斯克叹服！17岁高中生作者一战成名_手机网易网




















网易网易号



0







Kimi新架构让马斯克叹服！17岁高中生作者一战成名


量子位
2026-03-17 14:47·北京·《量子位》官方网易号

0



克雷西 发自 凹非寺
量子位 | 公众号 QbitAI



17岁高中生，以一作身份，在Kimi团队把Ilya提出的设想，变成了现实。

Ilya之前有个预言，把按时间先后顺序处理数据的LSTM网络“旋转90度”，也就是把时间轴换成模型深度轴，就变成了现在的残差网络。

Kimi团队认为，既然时间上的LSTM能对应深度上的残差，那后来淘汰了LSTM的“注意力机制”自然也可以照做。

他们新搞出的Attention Residuals技术，就相当于把注意力机制也“旋转了90度”。



打开网易新闻 查看精彩图片

用了这套新方法后，模型在计算当前层时可以聪明地“回头看”，根据需要自由决定去提取前面哪一层的信息。

这篇论文让马斯克也来围观，表示令人印象深刻。



打开网易新闻 查看精彩图片

除了马斯克，这篇论文也引发了大神Karpathy的思考，直言我们对Attention is All You Need这篇Transformer开山之作的理解还是不够。



打开网易新闻 查看精彩图片

这种新机制放到Kimi自家的Kimi Linear 48B大模型（3B激活参数）上验证，训练效率提升25%，推理延迟增加不到2%。



打开网易新闻 查看精彩图片



残差连接的“记忆负担”



先回顾一下残差连接的工作原理。

传统做法是：第N层的输出 = 第N层的计算结果 + 第N-1层的输出。这样一路累加下去，每一层都能“记住”前面所有层的信息。

问题来了，在大模型PreNorm主流范式下，残差连接中所有层的贡献都是等权累加。

就像一个“记忆力太好的人”，把所有经历都以相同权重存进大脑。贡献被逐步稀释，早期信息难以检索，且大量层可被剪枝而损失微小，称之为“PreNorm dilution problem”。

更麻烦的是，隐藏状态的范数会随着深度不断增长。研究人员发现，在深层网络中，这种unbounded growth会导致训练不稳定。

月之暗面团队换了个思路：既然问题出在“无差别累加”，那就让网络自己决定该回忆什么。



用注意力“选择性回忆”



团队观察到一个有趣的对偶性：网络的深度维度和序列的时间维度，本质上是同构的。

在Transformer处理序列时，用注意力机制让当前位置“选择性关注”之前的位置。那么在深度维度上，为什么不能让当前层“选择性关注”之前的层？

Attention Residuals就这么来的：


当前层的可学习伪查询向量作为query（learnable pseudo-query）

所有前层的输出作为key和value

用注意力机制加权聚合


这样一来，网络可以学会哪些层的信息对当前计算最重要，就多关注一点；不相关的层，权重自然降低。

但这带来一个新问题：计算量爆炸。

如果一个100层的网络，每一层都要对前面99层做full attention residual，复杂度是O(L²)，根本跑不动。



Block AttnRes：分块压缩



论文中的解决方案是Block AttnRes。

核心思想是把连续的若干层打包成一个block，对block内部的输出做压缩，只保留一个“摘要向量”。



打开网易新闻 查看精彩图片

具体操作如下：


把L层网络分成B个block，每个block包含若干层

每个block结束时，把block内的信息压缩成单个向量

后续层做attention时，只需要关注块间表征+块内实时层输出，而非全部L个层


这样一来，attention的复杂度从O(L²)降到了O(L·B)，在实践中B可以设得很小（论文用的是8-16）。

此外，团队还做了数个工程优化：缓存式流水线通信、序列分片预填充、KV 缓存粒度优化等等。



Kimi Linear验证：1.25倍效率提升



理论说得通，但真正让人信服的是大规模验证。

团队在自家的Kimi Linear架构上做了测试。这是一个采用线性注意力的大模型，总参数48B，激活参数3B（MoE架构）。

同等计算预算下，Attention Residuals能获得更好的下游性能；反过来说，达到相同性能需要的训练计算量减少了约20%，相当于获得了1.25倍的效率优势。

在具体任务上，数学推理（MATH、GSM8K）、代码生成（HumanEval、MBPP）均持平或略优，多语言理解的一致性也有所改善。



打开网易新闻 查看精彩图片

更重要的是，Attention Residuals是一个drop-in replacement，不需要修改网络其他部分，直接替换残差连接即可。

论文里还讲到一个有意思的视角。

团队把这项工作称为“时间-深度对偶性”（time-depth duality）的应用。

在他们看来，深度神经网络的“层”和循环神经网络的“时间步”，本质上是都是对信息的迭代处理。

Transformer之所以成功，是因为用attention替代了RNN中固定的recurrence。

那么在深度维度上，是不是也该用attention替代固定的residual？

17岁高中生入列共同一作

更有意思的是，这篇让马斯克、Karpathy等人都为之一震的论文，共同一作之一是一名年仅17岁的高中生——陈广宇（Nathan）。



打开网易新闻 查看精彩图片

另外两名共同一作，分别是Kimi的关键人物之一、RoPE（旋转位置编码）的提出者苏神（苏剑林），以及Kimi Linear的第一作者张宇。

诚然Attention Residuals是团队协作取得的成果，但一名高中生出现在这样的团队之中，还与两位大神共列一作，已经足够震撼。



打开网易新闻 查看精彩图片

a16z创始人Marc Andreessen、Thinking Machines的联创等人都关注了他的X账号。



打开网易新闻 查看精彩图片

一年前才刚刚开始了解大模型的陈广宇，是从北京的一场黑客松开始，一路走向硅谷的。

后来回国时，他选择加入了Kimi。

经手过月之暗面投资的奇绩创坛（原YC中国）创始成员董科含，也曾在其个人公众号上刊载过陈广宇的一份自传。

去年二月，北京的一场中学生黑客松上，陈广宇展示了一个关于“人类第三只机械辅助手”的创新构想——ThirdArm。

也正是这个项目，让他结识了黑客松评委董科含，后者也成为了他的创业导师。

当时，董科含追问他，未来是否会深耕这项技术，这促使他开始重新审视自己的职业方向。

随后他入选了董科含发起的只有极少数人入选的青年计划，开始接触IOI（国际信息学奥林匹克）金牌得主及资深科研人员。

此前他曾尝试经营Shopify跨境电商店铺、运营短视频账号，但经过董科含的建议，他决定转向理解时代的底层技术。

当时还不知道Transformer是什么的他，在DeepSeek研究员袁境阳的指导下，利用Gemini作为辅助工具，通过研读经典论文、追踪GitHub开源项目等方式逐步建立认知。

有一次他在推特上分享了对一篇博客的反思后，获得了作者的回复，这篇帖子也因此引起了一家硅谷AI初创公司CEO的关注。

该公司于2024年底成立，2025年初完成了800万美元种子轮融资，资方背景涉及OpenAI与Anthropic。

在通过一项限时通宵完成的实验测试后，他拿到了对方的录用通知。

暑假期间，他前往旧金山开启了为期七周的实习。其中前两周，他负责定义并推进一个涉及144张H100显卡的探索性项目。

在CEO直接指导下，他的工作延伸至运营层面，参与了招聘系统搭建、技术内容输出及融资策略讨论，并获得与早期投资者Vinod Khosla交流的机会。

在硅谷期间，他维持着高强度工作节奏，通过咖啡社交与英伟达工程师及初创创始人建立联系。这次经历让他将科研视为一种支撑创造的底层能力。



打开网易新闻 查看精彩图片

实习结束后，陈广宇回到国内，并于去年11月加入月之暗面。

把他吸引进去的，正是Kimi一直做的Flash Linear Attention这一类高效attention工作。

实际上，正是GitHub上的FLA项目，吸引了他对机器学习的兴趣并被邀请加入Kimi团队。

也正是顺着这条线，他开始一路往更底层钻，从读论文、看实现，到研究 Triton kernel、理解attention为什么能被这样重写、这样加速。

到了月之暗面，这条路也算是绕了一圈又落回原点——

他最初是被底层技术吸引，最后做的也正是最底层、最核心的那部分事。

相比于讲一个“少年天才一路开挂”的故事，陈广宇的经历更像是另一种成长路径——

先被时代最前沿的技术击中，再一步步把兴趣磨成能力，把能力带到真正的大模型研发现场里。

论文地址：
https://github.com/MoonshotAI/Attention-Residuals/
[1]https://mp.weixin.qq.com/s/gRR99pEDWb5qsk2a2hwe2w
[2]https://nathanchen.me/public/About%20me.html








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

日本自卫队在太平洋首次试射“战斧”导弹

日本“国家情报局”正式设立

以一军事基地超百名士兵“抗命”离营

欧足联宣布抵制所有国际足联赛事

中国五矿原总经理国文清主动投案

微软涨超15% 创近18年最大单日涨幅





热门跟贴




打开APP发贴

0条跟贴








相关推荐



谁在训练 Kimi K3 ? 深挖贡献者名单，这有一份最全档案





AI科技评论






半年涨10倍，Kimi估值冲上500亿美元

财天COVER








林志颖儿子Kimi近照被吐槽不好看，林志颖回应：他本人帅的很





生命之泉的奥秘104跟贴






那个喊“爸比”的小男孩长大了!林志颖儿子kimi正脸近照曝光，Kimi目前16岁身高已突破1米8

科教聚焦









林志颖谈及Kimi近况 直言现实中的儿子十分帅气

寝室显眼包大队长









马斯克：五年内AI智力或将超越全人类

财联社









陕西一烤肉师傅因撞脸“马斯克”走红，本人回应：生意火爆，要赶紧雇人

掌闻视讯35跟贴









烧烤师傅撞脸马斯克，师傅本人也姓马：1天营业额1000到2000元

星视频









马斯克都被震撼了！

网易科技态度见闻









马斯克的小目标：星舰10000发/年，太空AI算力1太瓦/年

量子位2跟贴









马斯克绘太空蓝图：十年内建成月球城市 五年内载人登火星

财联社









13年后再看爸爸去哪儿，Kimi转身成眼光帅哥，小泡芙女大十八变

喵糖娱乐3跟贴









林志颖现身活动正面回应Kimi网上照片争议

寝室显眼包大队长








前端工程师最不想看到的开源项目出现了，一行命令克隆任意网站





量子位151跟贴






Claude Code 源码泄露了，有人用Python复刻了一个极简版

机器之心Pro14跟贴









SpaceX获美国太空军16亿美元订单，公司市值蒸发约1.18万亿美元

每日经济新闻









马斯克大胆预言：5 年内 AI 智力超越全人类总和

网易科技态度见闻









GPT-5.6自己优化自己实锤了，新的左脚踩右脚已经出现

量子位14跟贴









零样本迁移，降本80%！自适应时序预测Agent加持真实工业

新智元









腾讯WorkBuddy上线人机双写：终于不用复制粘贴了

智东西4跟贴











回到顶部回到首页



------
导航页 打开网址