导航|地址|刷新
1B参数模型跑分接近7B，HRM-Text想重新设计计算-中关村在线
























中关村在线


手机






×






1B参数模型跑分接近7B，HRM-Text想重新设计计算








芝士分子

原创


06-11 • 优质手机领域创作者

关注


一个约1B参数的模型，在MATH上拿到56.2分，在GSM8K上拿到84.5分。这不是微调，而是从零开始预训练。



数字更惊人的是成本。16块H100跑了不到两天，训练消耗约1500美元。这是Sapient Intelligence发布的HRM-Text，它挑战的正是行业默认的“更大更强”逻辑。

过去几年，大模型行业的增长几乎等同于规模的扩张。参数更多、数据更猛、算力更强，智能便会涌现。这条路当然有效，但也越来越像一场重工业比拼：烧钱、堆卡、拼工程。

但HRM-Text想试试另一条路：在有限的算力和数据下，能不能通过改变模型“怎么算”和“学什么”，来榨干每一分计算的价值？

论文标题直指核心：Efficient Pretraining Beyond Scaling。



简单说，HRM-Text同时做了两件事。一是让模型在输出前，内部先“多想几轮”；二是训练时只关心最终答案，不让模型分心去“背题目”。

先看内部的计算。标准Transformer像一条流水线，信息经过一层又一层，最终输出。增强能力的传统做法是：加层，加宽，加参数。

HRM-Text走了另一条路。它在模型内部设立了两个运行节奏不同的模块：高层模块H，负责宏观规划，像项目经理；低层模块L，负责具体执行，像一线员工。



打个比方。传统模型是把一份材料依次交给十个编辑，每人改一遍就交差。HRM-Text是让两个小组（H组和L组）反复打磨同一份内部草稿，直到认为足够好了再输出。

这意味着，一个只有1B参数的模型，在吐出一个token前，可能已经完成了8轮内部迭代修正。参数没变，但有效计算深度被大幅拉高了。

当然，让同一组参数反复“循环”使用，稳定性是巨大挑战。练得越深，梯度越容易失控。HRM-Text为此设计了两道“保险栓”。

一是MagicNorm，在每轮循环结束时做一次归一化，稳住不断累积的激活值。二是渐进式“追责”，训练初期只让模型为最近2步计算负责，等稳定了，再逐步扩大到5步。

除了改架构，HRM-Text对训练目标也动了刀。传统模型是“下一个token预测”，无论输入是什么，都要学会接续所有文本。这很通用，但很多算力花在了“抄题”上。

HRM-Text只对答案部分计算损失。给它一段指令和回答，它只学习如何生成回答。





配合这个目标，它还用了PrefixLM注意力掩码。指令部分可以互相“看见”，形成整体理解；到了生成答案时，再切换回标准的“不能偷看未来”模式。

效果如何？消融实验看得最清楚。



以ARC-Challenge为例。一个标准1B Transformer得分为51.91。只改变训练目标（仅预测回答）后，跳到62.88。加上PrefixLM，到74.32。最后换上HRM架构，达到81.91。

三个改动叠加，缺一不可。它把模型的能力，从“泛泛而谈”拉向了“专注解题”。



这也解释了为什么它在MATH、GSM8K这类任务型基准上表现突出，但在MMLU这种广谱知识测试上并不领先。它更像一个“推理专家”，而非“百科全书”。团队也坦承，有限的数据和参数让它难以覆盖所有知识长尾。

未来的一个方向是，让这种擅长计算的“小脑”模型，与负责存储知识的“大脑”（比如检索系统或记忆模块）解耦合作。

这条技术路线，已经引起了顶尖学者的注意。就在HRM-Text发布后一天，图灵奖得主Yoshua Bengio作为共同作者发布了新论文《Generative Recursive Reasoning》，其中的GRAM模型直接沿着HRM的分层递归路线，引入了更复杂的概率推理机制。





HRM-Text不是万能解药。它的推理成本因内部循环而比普通1B模型更高，向更大规模扩展时稳定性的挑战也会加剧。它不是否定Scaling，而是在证明，除了“变大”，还有“变巧”这条路可走。

在一个被规模定律深刻塑造的行业里，这种可能性本身就意味着新的起点。下一代智能的增长，或许不仅来自更多的参数与数据，也来自一个更根本的问题：模型究竟应该如何思考？






展开全文

使用中关村在线APP，查看更多精彩资讯







NVIDIA Tesla H100 80G

[经销商]京东商城

[产品售价]￥ 221999元

进入购买





人赞过该文赞
内容纠错









相关电商优惠






NVIDIA Tesla H100 80G


￥221999




NVIDIA GeForce RTX 4090 24GB公版FE


￥22663

13人评分

78%好评






NVIDIA GeForce RTX 3060 12G


￥2499

111人评分

81%好评






NVIDIA RTX A6000显卡


￥48999

4人评分

100%好评













评论
更多评论
还没有人评论~快来抢沙发吧~







读过此文的还读过



iPhone12将全系标配镀铑钌工艺快充线

打开APP客户端2208.02




120W超快闪充15分钟充满 iQOO CJ现场体验



视频408.03



713768人参与

三星Galaxy新品发布会 年度机皇高能来袭



407.24



骁龙865+120Hz双Buff加持 魅族17游戏体验分享



评测1408.05



除了iPhone12 这些苹果要发的新品更值得期待



评测1208.05



REDMI K90 至尊版图赏：简约精致，风扇的辨识度高



图赏06.30




iPhone 18 Pro系列影像大升级：4800万主摄+6倍潜望长焦

707.01





OPPO K13 Turbo Pro登顶2026年千元机性价比榜首，16GB大内存成新标配

907.04





老年功能机频现无信号，2G/3G退网加速致通信受阻

714小时前





苹果上调折叠屏iPhone Ultra量产目标至千万台，定价约1.69万元起

307.03




iPhone 18 Pro暗网曝光 苹果依旧“刀法精准”



评测6807.01



华为Mate 90或提前到9月发布，旗舰手机混战要提前开打



评测9406.30



苹果扛不住了，开始找中国采购内存



评测607.04



将于今年9月正式发布 iPhone 18 Pro Max跌落测试画面曝光



评测3107.01



REDMI新千元机配置抢先看！7月发布，近万级电池



评测707.05



513人参与

Redmi K90至尊版新品发布会



16206.30



折叠屏也有旗舰影像，vivo X Fold6化身折叠小V单



1906.30



vivo X Fold6体验：折叠屏终于想清楚了，它该拿来干什么



4906.30



2026年长续航高端影像旗舰手机排行榜：OPPO领衔，每一款都是"摄影大师"



807.04




iPhone 18 Pro酒红测试样机曝光，樱桃红成最终发售配色

607.01




松下FZ28，尼康D300S，红米K80对比照

论坛4




充电宝押金什么时候退

问答5




REDMI K90 至尊版深度体验：骁龙8至尊版加主动风冷，让性能“风狂”起来



评测6106.30



iPhone 18系列爆料：发布节奏或调整，Pro与折叠屏成明年主角



评测8406.30



红魔游戏平板5 Pro深度体验：水冷、高刷与PC游戏体验都装进了小平板



评测5706.30



田园夏色



论坛4




Word禁用宏、Excel禁用宏设置方法，关闭宏在哪里设置方法？

问答2





电池容量超5000mAh iPhone 18 Pro Max电池曝光

评测207.04




高考结束换什么手机好用？四款热门机型让你选



707.02




散热系统升级 iPad Pro M7版将于27年春季发布

评测807.03




手机秀光影（南德田园风光）



论坛2



何为单反相机

问答4



关于iPhone Ultra，你应该知道的这9件事儿



评测707.02




一加16发布在即：首发骁龙8E6 Pro+2亿像素三摄，影像性能全面跃升

607.05





iPhone 18 Pro工程机曝光：樱桃红配色+侧边相机物理按键

707.01




h3c路由器密码破解

问答3




魅族22开启小批量补货，享国补+3期免息，起售价2540元

706.30





Redmi K100系列提前至2026年8月发布：旗舰工艺升级、2亿主摄+185Hz直屏

507.03





vivo X500系列四款新机9月发布：2nm天玑旗舰+潜望长焦全系下放

507.03




最新笔记本独立显卡排名

问答6




华为小米等加速布局7英寸大屏与折叠新终端，2026年下半年将密集发布

407.05





苹果iPhone Ultra折叠机曝光：宽屏设计、双摄布局与新交互键引关注

606.30




手机满足不了你的游戏需求？2026年7月高性能平板推荐



607.02



怎样和电脑连接

问答5




小米推Redmi Note17系列，重塑千元机体验新标准

407.02




512G大存储性能手机怎么选？2026年7月性能手机推荐



607.03




华为Pura X Max上市两月销量破48万台，典藏版占比超半成

607.03




电水壶功率一般有多大，烧水壶多少W？

问答5




华为HarmonyOS 6.1全面推送，覆盖全系机型并加速迈向HarmonyOS 7

607.02





Redmi K90至尊版发布：骁龙8至尊版+独立D2显芯，165帧游戏旗舰

407.01





三星Galaxy Z Fold8阔屏折叠机曝光：7.6英寸内屏、全球最轻阔折旗舰

1007.03




为什么感觉苹果iPhone 11还有很多人去买？

问答11



2026年7月耐用手机排行榜 能多用几年才是好产品



10107.01




红米K100系列入网：双旗舰搭载骁龙8E5、100W快充与9000mAh电池

607.02





华为Pura系列逆势维持定价，应对存储芯片涨价冲击

307.03




华为Mate 20 X 5G版和普通版有什么区别？

问答4




疑似iPhone Air 2渲染图曝光：双摄模组+6.55英寸屏+A20芯片

406.30





苹果iPhone Ultra折叠屏手机9月发布：黑白配色、双屏设计、Touch ID回归

507.01





微信鸿蒙版8.0.19.35正式上线，新增多项功能但未详述优化细节

907.04




iqoo7电池多大？vivo iQOO手机电池容量？

问答4




小米17系列销量破550万台，首发即登顶国产旗舰销量榜首

714小时前




vivo X Fold6首销：7999元起，大屏多任务、AI文件管家、蔡司影像全都有



407.01




微博热议谁取消了有线耳机：音质稳定与实用价值引用户集体怀念

407.05


点击加载更多


内容相关产品




NVIDIA Tesla H100 80G


AI智能，GPU加速器，深度学习

显卡排行榜第11名


￥
19万






NVIDIA RTX 5090




显卡排行榜第1名


￥
24399






NVIDIA GeForce RTX 4090 24GB公版FE


24GB，DLSS3，16384核心

显卡排行榜第12名


￥
22499






NVIDIA RTX 5070




显卡排行榜第13名


￥
4599






NVIDIA GeForce RTX 3060 12G


NVIDIA Ampere架构，12GB超大显存，170w最大功耗

显卡排行榜第14名


￥
3899






NVIDIA RTX A6000显卡


NVIDIA AMPERE 架构，TENSOR CORE 技术，RT CORE 技术

显卡排行榜第15名


￥
38499




说点什么吧~0
发评论，赚金豆
收藏0分享


vivo X100s

vivos19

iQOO Neo9S Pro+

iPhone 17

iPhone Air

三星S25

OPPOFindX7

华为nova12






登录|注册
意见反馈

首页查报价问答论坛下载手机笔记本游戏硬件数码影音家用电器办公打印更多




更多频道





频道导航

首页

手机

笔记本

游戏硬件

影音

家电

键鼠

显卡

游戏

音频

电视

平板

主板

CPU

机箱

显示器

空调

固态

打印

投影

耳机

内存

盒子

极客

汽车

电竞

台式机

健康家电

散热

安防

商显

HIFI

激光电视

冰箱

企业站

服务器

网络

攒机

时讯

图赏

智能锁

机器人

电动车

洗衣机

净化器

5G

辅助工具

手机性能天梯图

显卡天梯图

CPU天梯图

电源天梯图

固态硬盘天梯图

新品日历





首页

手机

正文


电脑版申请友链


首页

查报价

手机

笔记本

游戏硬件

影音

家电

违法和不良信息举报电话：010-64218167




{{title}}

{{adWord}}{{factory}}



{{title}}

{{adWord}}{{factory}}



{{title}}

{{adWord}}{{factory}}



{{adWord}}


------
导航页 打开网址