导航|地址|刷新
大模型解剖图火了，30多个开源模型架构差异一目了然，还可接入AI_手机网易网




















网易网易号



0







大模型解剖图火了，30多个开源模型架构差异一目了然，还可接入AI


DeepTech深科技
2026-03-16 17:33·北京·《DeepTech深科技》官方网易号

0


2026 年的前两个月，开源大模型的发布节奏已快至令人应接不暇。Arcee AI 的 Trinity Large、月之暗面的 Kimi K2.5、阿里的 Qwen3.5、智谱 AI 的 GLM-5、Cohere 的 Tiny Aya……它们的名称如流水般接踵而至，参数量从 3B 至 1T 不等，每一款都宣称是“SOTA”或者“最强开源”。

然而，如此快的更新速度，对于普通开发者而言，莫说深入研究，仅仅是分辨区别就已经耗费大量精力。更不用提许多技术报告的表述含糊，架构图绘制风格各异，想要进行横向对比十分困难。

为了解决这些问题，一个名为“LLM Architecture Gallery”(大语言模型架构画廊)的项目上线了。顾名思义，就是让你像逛“画廊”一样，浏览不同模型的架构图。



打开网易新闻 查看精彩图片
（来源：X）
这个项目的作者是 Sebastian Raschka，是机器学习领域的知名研究者，写过《Python Machine Learning》和《Build a Large Language Model (From Scratch)》这两本深受欢迎的专业书籍。



打开网易新闻 查看精彩图片
（来源：Sebastian Raschka.com）
他把过去几个月撰写的两篇长文《The Big LLM Architecture Comparison》和《A Dream of Spring for Open-Weight LLMs》中绘制的所有架构图抽取出来，用统一的视觉语言重新呈现，集中放在一个页面上。点击任意一张图可以放大，每张图下方附带一份“规格表”，列出模型的参数量、发布时间、注意力机制类型等关键信息。想深入某个模型，可以点开“view in article”页面会直接跳转到原文对应章节。




打开网易新闻 查看精彩图片

（来源：LLM Architecture Gallery）

项目上线几小时后，Andrej Karpathy 在 X 上回复了 Raschka 的推文：“太好了！我的自动研究功能很需要这个内容的 Markdown 版本——一个创意池。”他最近发布的 autoresearch 项目：一个让 AI 自主跑实验的开源工具，正需要这类结构化的架构信息作为创意来源。

Raschka 也很快作出回复，并提供了 YAML 格式的元数据 GitHub 链接。Karpathy 随后表示他已经用 Obsidian 把博客文章导出成 markdown，并且“输入到了 autoresearch 循环中”。一个本意是方便人类阅读的架构图集，就这样被接入了 AI 自动化研究的工作流。



打开网易新闻 查看精彩图片
（来源；X）
就在今天，这个项目也冲上了 Hacker News 首页。一位用户评论说：“这让我想起了当年的 Neural Network Zoo，也是用可视化的方式展示不同架构。”也有人继续帮忙优化细节：“能不能按时间排序，画出架构演化的家谱树？能不能加一个比例视图，让参数量的差异在视觉上直观可感？”对于这些建议，Sebastian 表示他后续会持续完善。

回到项目本身，目前，这份图集收录了三十多个模型架构，从 Llama 38B 到最新的 Qwen3.5、Sarvam 105B、Ling 2.5 1T。所有图都按同一套视觉规范绘制：配色、图例、字体统一，DeepSeek V3 和 Qwen3 235B-A22B 被放在一起时，你一眼就能看出前者用了 MLA（Multi-Head Latent Attention，多头潜在注意力），后者用的是 GQA（Grouped-Query Attention，分组查询注意力）；DeepSeek V3 有一个“共享专家”模块，Qwen3 没有。

这类信息原本散落在几十页技术报告的不同角落，现在被压缩成一张对比图。

MoE（Mixture-of-Experts，混合专家模型）是 2025 年开源 LLM 的主旋律。所有主流的前沿开放权重模型都采用了这种架构。传统的“稠密”Transformer 会在每次生成 token 时激活全部参数，参数越多，算力成本越高。而 MoE 把参数分成若干“专家”，每次只激活其中一部分。DeepSeek V3 名义上有 6,710 亿参数，但实际运行时只激活 370 亿；Llama 4 Maverick 号称 4,000 亿参数，激活的只有 170 亿。

Raschka 在图集中把各模型的专家数量、激活比例、专家隐藏层尺寸都标注出来，让稀疏程度一目了然。Hacker News 上有人感慨：“我很惊讶这些模型在结构上有多相似，主要差异就是层的大小。”

另一位用户则看出了一些端倪，辣评“过去七年，LLM 架构有很多改进，但没有根本性的创新。今天最好的开放权重模型，如果你缩远了看，仍然很像 GPT-2，就是一堆注意力层和前馈层堆起来。”

这可以说是一个重要的观察。LLM 能力的惊人提升，更多来自训练方法的革新。比如 RLVR（Reinforcement Learning with Verifiable Rewards，可验证奖励的强化学习），而不是架构本身的突破。架构层面的优化，更多是为了让训练和推理更高效、成本更低，而不是让模型根本上更聪明。理解这一点，对选型和预期管理都有帮助。

最后总结一下，这个大模型架构的图集的实际用法很简单。

首先，你可以把它当作速查手册：想知道 Qwen3 和 DeepSeek V3 在注意力机制上有什么区别？打开页面，找到两张图，直接对比。规格表里会告诉你 Qwen3 用 GQA，DeepSeek V3 用 MLA；前者没有共享专家，后者有。

其次，每张架构图都链接到 Raschka 原文中的对应章节，如果你想深入了解某个技术细节：比如 QK-Norm（一种应用于查询和键向量的归一化技术）是什么、为什么能稳定训练，点进去就能读到解释。

第三，图集附带一份“概念速查”，解释 GQA、MLA、SWA（Sliding Window Attention，滑动窗口注意力）、NoPE（No Positional Encoding，无位置编码）、Gated DeltaNet 等术语，适合快速补课。

并且，正如 Karpathy 的用法所示，这份图集的价值不仅在于人类可读，还在于它的结构化程度足以被机器解析。Raschka 在 GitHub 上提供了 YAML 格式的元数据，包含每个模型的参数量、发布日期、技术报告链接、注意力类型等字段。如果你想写脚本批量分析这些模型的共性和差异，或者像 Karpathy 那样把它们喂给 AI 做自动化研究，这份元数据是现成的起点。

Raschka 还把整套架构图打包成一个超高分辨率的 PNG 文件（56M，182 百万像素，上传到 Zazzle，可以直接下单打印成实体海报。他自己也订了一张，但“还没收到货，暂时不能保证印刷质量”。页面底部留了一个 Issue Tracker 链接，欢迎任何人提交纠错或建议。

对于正在选型的工程师来说，这份图集的价值在于节省时间。你不用再翻几十页技术报告去找一个数字，也不用自己画对比表格。对于想搞懂“这些模型到底在结构上有什么区别”的研究者来说，统一的视觉语言让跨模型对比成为可能。

1.项目地址：https://sebastianraschka.com/llm-architecture-gallery/#card-qwen3-5-397b

2.开发者主页：https://x.com/rasbt/status/2033167146302210058

运营/排版：何晨龙








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

央视披露：外机深夜成体系逼近中国

美方拟购约1700亿美元导弹和核潜艇

柯洁王中王冠军

台风“白海豚”或冲击今年风王

中方回应有无人艇接近中方军舰

《九门》口碑





热门跟贴




打开APP发贴

0条跟贴








相关推荐




Agent中的“爱马仕”来啦：100k+ Star 的开源AI Agent ，正在偷偷给自己升级

钛媒体APP29跟贴









马斯克发Grok新模型！登智能体测评榜首，比OpenAI家便宜一半

智东西









VL-LN Bench：模拟「边走边问找具体目标」的真实导航场景

机器之心Pro









李飞飞出手！用世界模型训练机器人，五种真机跑一小时不出错

智东西









贾扬清再创业，造了一支AI军团，让GLM-5.2提速534%

智东西









10万科学家免费用1年！OpenAI把科研流水线搬进ChatGPT

新智元









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报









00后小哥复刻Claude最强神话模型OpenMythos

量子位









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









黄仁勋、马斯克：看好中国大模型

每日经济新闻









鬼手想点谁就点谁？LaSM让GUI智能体把注意力「收回来」

机器之心Pro









大模型七年进化不只是参数暴涨

机器之心Pro









智驾普及后用户购车决策看什么？

和讯网









多模态大模型视觉定位难题怎么解？

机器之心Pro









好莱坞幕后制作团队，通过模型拍摄海啸侵袭城市场景

车马点兵V8跟贴









赛里木湖自驾每人收75元引争议，景区称相关费用已做备案

界面新闻2.6万跟贴









周星驰回应董宇辉自己何时再演戏：我真不懂演戏，对演戏没概念

拾娱先生5跟贴









"1.5万机票退票仅退400多元"最新进展：票款全额退还

极目新闻8500跟贴









李峰任上海市青浦区代理区长

澎湃新闻299跟贴











回到顶部回到首页



------
导航页 打开网址