导航|地址|刷新
从主机节点到异构机架：重新思考AI CPU-中关村在线
























中关村在线


企业站






×






从主机节点到异构机架：重新思考AI CPU






品牌资讯


07-16




摘要：随着 AI 基础设施分化为多层专用架构，CPU 正成为智能体工作负载的编排层

作者：Arm 云与 AI 基础设施芯片全球负责人 Satadal Bhattacharjee

人工智能 (AI) 基础设施正进入全新的关键阶段。生成式 AI 基础设施的首个发展阶段以加速器规模为核心特征，聚焦 GPU、NPU 及定制 AI 加速器的部署、供电、散热与互联能力。该阶段尚未落幕，但已无法满足当前发展需求。

下一阶段的核心是机架级系统组合：通过异构 AI 机架，让不同计算资源分别针对智能体 AI 工作流的各阶段完成专项优化。由 CPU、加速器、内存、网络设备组成的专用机架，正被整合为吉瓦级 AI 超级集群，每一台机架都作为高密度计算引擎，承载工作流中的特定任务。

AI 推理正从单次模型调用，演进为多步骤智能体流水线。基础设施设计的重心，也从单一聚焦加速器规模，转向更宏观的系统组合问题：如何为智能体 AI 工作流的各个阶段匹配适合的计算资源。加速器仍是预填充、解码与模型执行的核心；而 CPU 则在外围编排层发挥关键作用，支撑智能体跨工具、API、检索系统、云原生服务开展任务分发与多轮模型调用。

这一转变意义重大，因为推理的运行结构正在发生质变。传统推理大多是线性流程：请求进入系统、模型生成响应，单次事务随即结束。智能体 AI 的运行模式则完全不同：智能体可自主规划任务、检索数据、调用工具、运行代码、请求 API、基于中间结果推理，并循环执行多次模型调用，最终输出结果。





这正在重塑数据中心的整体形态。越来越多的工作负载不再局限于神经网络前向传播，系统更多算力消耗在加速器、内存、存储、网络与软件服务的跨组件协同调度上。基础设施的大量架构决策，正从服务器层级转向机架层级。

Austin Lyons 近期在 Chipstrat 中指出：“CPU 并非通用标准化产品，其价值竞争也并非只有单一维度。”这一观点至关重要。异构 AI 机架不需要普适型的通用 CPU，而是需要针对专项任务优化的 CPU：持续为加速器供给数据、承载内存密集型的解码运算、处理模型调用间隙的智能体任务。

机架正在成为 AI 系统

AI 基础设施在推理流水线的各个阶段日趋专用化，最典型的特征之一就是预填充与解码流程逐步解耦。预填充阶段负责处理输入提示词、构建 KV 缓存，属于计算密集型环节，高度依赖加速器算力。解码阶段逐词元生成响应内容；随着上下文长度扩张，该环节会持续受到内存带宽、内存容量、KV 缓存数据搬移的制约。

异构 AI 机架需要整合各类专用组件，使其协同形成统一的完整系统。它能够将请求路由至对应计算层级，在预填充与解码之间高效流转数据，管理 KV 缓存传输、维护会话状态、执行非模型类任务，并在整条推理流水线中严格保障服务等级目标 (SLO)。

正因如此，行业开始以系统级视角审视 AI 基础设施。数据中心可承载的有效智能体任务规模，并非仅由加速器算力决定，同时取决于 CPU 算力、内存带宽、网络性能、软件编排能力，以及真实工作负载压力下的系统全局均衡能力。架构设计的核心问题，已从“可部署多少加速器”转变为“如何为智能体 AI 工作流的各阶段做专门的配置与协同调度”。

在该架构下，CPU 的应用场景不再单一，而是呈现多元化分工。

异构 AI 机架中的三类 CPU 角色

第一类为预填充主机 CPU，负责统筹推理流程中计算密集型阶段；第二类为解码主机 CPU，管理延迟敏感、内存密集型的推理阶段；第三类为智能体/工作节点 CPU，作为计算层，承载模型调用间隙的智能体任务。三类角色彼此关联，但不能采用同一套评估标准衡量。

这种认知重构至关重要。行业以往普遍将“主机 CPU”视为单纯的辅助组件，但在机架级异构 AI 架构中，该认知过于片面。基础设施团队需要依据推理流水线各层级的差异化任务，针对性评估 CPU 算力。

基础设施设计的变革逻辑

依托这套新的系统级设计思路，基础设施团队可根据真实工作负载特征，对各计算层级进行合理的资源配比。例如，长提示词、短输出的工作负载，需要更强的预填充算力；长会话聊天机器人更依赖解码算力与内存带宽；企业级多智能体工作流，则需要大量工作节点 CPU 算力支撑工具调用、信息检索、策略校验与应用编排。

与此同时，异构基础设施长期存在的核心壁垒正在被打破。传统多架构部署存在显著的软件适配阻力，包括跨平台应用移植、软件栈验证、性能调优、DevOps 流程适配等繁琐工作。而智能体开发模式大幅简化了上述流程，AI 辅助的移植、测试、验证与运维能力，有效降低了大规模多架构环境的落地周期与风险。

这一变革意义重大，架构设计的核心逻辑已然改变。基础设施团队无需再为降低运维复杂度，将所有工作负载强行适配单一默认架构。如今可针对 AI 系统的不同层级匹配最优架构，并通过现代化软件自动化能力，隐性管控系统复杂度。

这一转变也重塑了 AI 基础设施的经济模型。行业关注点不再局限于“哪款加速器的模型吞吐量最高”，而是聚焦整机架如何将功耗、内存、I/O、软件调度资源高效转化为有效 AI 算力产出。

这是系统层面的问题，而非单一组件问题。

这也正是 Arm 架构优势得以充分释放的场景。当前 AI 基础设施正向异构计算、高并发、功耗受限规模化扩容、软件定义编排演进。此类场景高度依赖每瓦性能、广泛的生态覆盖与架构灵活性，而这正是 Arm 的核心优势。

Arm AGI CPU 与智能体基础设施新时代

Arm AGI CPU 专为适配这场行业变革设计，将 Arm 云基础设施技术路线延伸至新一代智能体 AI 系统，让 CPU 在任务编排、内存协同、加速器管理与机架级能效优化中承担核心职责。

异构 AI 机架的核心价值，并非依靠单一参数，而是多项能力的集成优势：高核心密度、高内存带宽、高速 I/O、原生支持CXL、成熟的软件生态，以及数据中心功耗约束下的高能效表现。这些特性精准匹配前文所述机架级 AI 的三类 CPU 角色：预填充主机、解码主机、智能体工作节点。

Arm 丰富的生态系统，为基础设施开发者提供了多元选择。基于 Arm 架构的 CPU 已广泛应用于云计算、网络、边缘侧与 AI 系统。合作伙伴可根据定制化需求与上市周期，灵活选用 Arm IP、Arm 计算子系统或量产芯片方案。随着 AI 基础设施分化为多类专用且互联互通的架构层级，该灵活性的价值愈发凸显。

行业正跳出“加速器优先”的单一 AI 基础设施建设思路。加速器依旧关键，但仅是系统的组成部分。未来的核心差异化能力，将体现在整机架的编排调度能力、资源利用效率，以及系统在真实智能体工作负载下的运行稳定性。

在智能体 AI 时代，机架即系统，异构架构成为行业常态，CPU 也成为 AI 数据中心架构选型中至关重要的一环。




展开全文

使用中关村在线APP，查看更多精彩资讯



人赞过该文赞
内容纠错









相关电商优惠






华为Taishan 2280(鲲鹏920 5220*2/32GB/960GB*2固态)


￥26700




浪潮NF5280M7(Xeon Silver 4410Y*2/64GB/480GB+4TB*3/A10 24G)


￥80336











评论
更多评论
还没有人评论~快来抢沙发吧~







读过此文的还读过


戴尔 XPS 17 获得2020黑金科技奖



打开APP客户端08.03




谷歌Stadia开放4G/5G蜂窝网络游戏选项

08.01




戴尔 XPS17参选ChinaJoy黑金科技奖



3407.31



多领域解决方案 TCL亮相UDE展示商用实力



视频108.01



云端共舞 互为生态：新基建时代的混合多云新篇章



108.03




安博通切入光刻机赛道：光刻机成熟制程和先进封装

1607.09





华为四核WiFi7+路由器，到手仅219元！

07.16

优惠直达 >


算力竞争换道系统协同，2026开放计算大会解码Agent时代AIDC全新路线



607.15




超聚变服务器代理商力荐7款机型，覆盖全场景算力需求

07.06





中兴F30Pro WiFi6随身WiFi限时39元

07.05

优惠直达 >



微软将强制启用TPM硬件验证KMS激活，提升Windows企业授权安全

811小时前





迈入十万卡时代，曙光8000（登峰）重新定义国产AI基础设施

9小时前





京东热卖蒲公英X1Pro路由，低至197元

07.23

优惠直达 >


一边怕鸿蒙AI太聪明，一边嫌它不够强，这10个真相终结你的纠结



607.24




IDC报告：Arm在加速服务器市场超越x86

07.24





小米正式上线小米辟谣官方账号，依法维权打击虚假信息

606.30





中兴F30A Pro Wi-Fi6随身WiFi仅39元

06.29

优惠直达 >



一篇文章终结争论：鸿蒙生态十大最离谱误解全复盘

3007.17




2026燃星鲲鹏日·走进新大陆赋能专场举办 自研算力赋能运营商行业数字化转型



1806.27




2026二手服务器回收：多场景适配、高报价，正规商家推荐！

06.28




甘肃省陇南徽县田河风光



论坛2




充电宝押金什么时候退

问答5





中兴通讯超节点二度荣膺WAIC SAIL大奖

607.20





360获颁首批智能体身份码节点 以安全能力护航智能体互联标准落地

1007.22





NVIDIA Agent Toolkit扩展全新Omniverse库，赋能AI智能体构建仿真就绪世界

907.21




初学无人机航拍------新疆伊犁风光



论坛30




Word禁用宏、Excel禁用宏设置方法，关闭宏在哪里设置方法？

问答2





WAIC 2026｜从大模型到智能体，华为以根技术构筑Agentic AI时代新基建

607.21





WAIC 观察：智能体加速走向终端，软硬件协同成为 AI 落地关键

307.22





元脑服务器发布CXL内存跨代扩展方案，支持DDR5/DDR4混合扩容至512GB

907.21




初夏西湖的入夜时分#长沙#Mavic3置换Pro后试机有感



论坛5



何为单反相机

问答4



数智云南 质擎滇跃｜华为中国行2026云南新质生产力峰会圆满举办



69小时前




创新赋能智能体企业发展，HPE Networking拓展“自动驾驶的网络”战略

807.22




华为坤灵携手山东朋阳托管打造智能教育样板点，加速托管行业智能化转型



39小时前



h3c路由器密码破解

问答3




Tenda泰山AX3000 Ultra路由器73元抢

07.23

优惠直达 >



专业 IDC 服务器回收，高价变现闲置资产省心又靠谱

07.23





京东华为WiFi6+穿墙路由直降，到手249元

07.22

优惠直达 >


最新笔记本独立显卡排名

问答6



原生液冷如何撑起MW级整机柜？



62小时前




中兴问天BE7200Pro+路由器低至440元

07.24

优惠直达 >



Tenda腾达路由器促销！千兆WiFi6，到手仅134元

07.25

优惠直达 >


怎样和电脑连接

问答5




从 Token 到任务：智能体 AI 如何改变基础设施的关注焦点

32小时前





中兴F30A Pro Wi-Fi6随身路由特惠

07.21

优惠直达 >



普联WiFi7千兆双频路由器

07.24

优惠直达 >


电水壶功率一般有多大，烧水壶多少W？

问答5




Mentech F1 5G 随身 Wi-Fi 到手仅 64.5 元

07.21

优惠直达 >



机房服务器回收难题多，北京酷别深图科技成破局之选

07.23





Tenda腾达WiFi7路由器到手仅242元，畅享千兆网络！

17小时前

优惠直达 >


为什么感觉苹果iPhone 11还有很多人去买？

问答11




ROG魔盒Wi-Fi 7双频路由器

07.21

优惠直达 >



联通随身wifi6京东特惠，36.95元到手

07.22

优惠直达 >



普联TL-7DR3600 WiFi7路由器164元

07.24

优惠直达 >


华为Mate 20 X 5G版和普通版有什么区别？

问答4




京东云无线宝AX6600雅典娜

07.23

优惠直达 >



华为WiFi7路由器249元

07.22

优惠直达 >



中兴问天BE7200Pro+路由器活动价467元

07.22

优惠直达 >


iqoo7电池多大？vivo iQOO手机电池容量？

问答4




锐捷RG-EAP662E室外WiFi6 AP

07.24





京东华硕WiFi7路由器促销，到手价1219元

07.21

优惠直达 >



小米AX3000T Wi-Fi6路由器

07.25

优惠直达 >
点击加载更多


内容相关产品




华为Taishan 2280(鲲鹏920 5220*2/32GB/960GB*2固态)




服务器排行榜第2名


￥
33000






浪潮NF5280M7(Xeon Silver 4410Y*2/64GB/480GB+4TB*3/A10 24G)




服务器排行榜第9名


￥
26999




说点什么吧~0
发评论，赚金豆
收藏0分享


iQOO Neo9S Pro+

OPPOReno12

iQOO Neo9S Pro

iPhone 17

三星S25

华为nova12

vivo X100s

iPhone Air






登录|注册
意见反馈

首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印更多




更多频道





频道导航

首页

手机

笔记本

游戏硬件

影音

家电

键鼠

显卡

游戏

音频

电视

平板

主板

CPU

机箱

显示器

空调

固态

打印

投影

耳机

内存

盒子

极客

汽车

电竞

台式机

健康家电

散热

安防

商显

HIFI

激光电视

冰箱

企业站

服务器

网络

攒机

时讯

图赏

智能锁

机器人

电动车

洗衣机

净化器

5G

辅助工具

手机性能天梯图

显卡天梯图

CPU天梯图

电源天梯图

固态硬盘天梯图

新品日历





首页

企业站

正文


电脑版申请友链


首页

查报价

手机

笔记本

游戏硬件

影音

家电

违法和不良信息举报电话：010-64218167




{{title}}

{{adWord}}{{factory}}



{{title}}

{{adWord}}{{factory}}



{{title}}

{{adWord}}{{factory}}



{{adWord}}


------
导航页 打开网址