导航|地址|刷新
LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式_手机网易网

网易网易号



0

LLM 仅靠自身就能增强推理？SePT 给出简洁在线自训练范式

机器之心Pro
2026-04-22 11:01·河北·《机器之心》官方网易号

0

打开网易新闻查看精彩图片

本文第一作者李梦琦为香港中文大学（深圳）计算机科学专业博士生。本项研究是与上海交通大学赵磊老师、香港中文大学苏文藻老师合作，并在香港中文大学（深圳）孙若愚老师与李肖老师的共同指导下完成。

32SM">在推理后训练里，多数方法仍依赖奖励模型、验证器或额外教师信号。如果不依赖这些外部信号，只使用模型自身生成的答案进行自训练，是否仍然能够提升推理能力？是的！SePT（Self-evolving Post-Training）给出肯定答案，简洁的自训练方法，可在数学推理任务准确率直升10个点！

打开网易新闻查看精彩图片

论文标题：A Model Can Help Itself: Reward-Free Self-Training for LLM Reasoning

论文：https://arxiv.org/pdf/2510.18814

代码：https://github.com/ElementQi/SePT

打开网易新闻查看精彩图片

SePT的在线自训练循环示意：样本以采样温度 τ_s 生成，训练阶段采用标准 SFT；下一轮训练数据由更新后的模型生成。

如流程图所示，SePT 的核心极其简洁：当前模型先生成答案，再用这些答案做标准 SFT，随后由更新后的模型重新生成下一轮训练数据。下面先看这种在线循环自训练到底带来了多少提升。

数学推理上的结果：SePT vs Baseline

主结果如图所示。这里的 baseline 并非默认采样设置下直接评测的基座模型，而是未做后训练、但在推理阶段经过 temperature sweep 并取最佳结果的强基线。经过 SePT 自训练后，在 6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG 上均有明显提升。

打开网易新闻查看精彩图片

在 Qwen2.5-Math-7B 上，6 个数学基准测试集平均后的 Pass@1、Pass@8、Pass@32 和 AVG：SePT 在各项指标上均明显高于上述 baseline。

数学推理上的结果：SePT vs RLVR

如果进一步与 RLVR 方法（ GRPO）比较，可以看到：自训练方法SePT 已经能够取得与 GRPO 较为接近的结果，尤其是在OTM数据集上。

结合表中的结果，在 Qwen2.5-Math-7B 上，使用 OTM 时，SePT 和 GRPO 的 AVG 分别为 55.2 和 56.6，差距只有 1.4；而在 DSR 上，这一差距扩大为 4.1（55.0 vs. 59.1）。在 DeepSeek-Math-7B-Instruct 上，同样的差距分别为 0.4（33.0 vs. 33.4）和 1.7（33.9 vs. 35.6）。甚至在 Qwen2.5-Math-7B 的 OTM 设置下，SePT 的 Pass@1 还略高于 GRPO（40.8 vs. 39.5）。

这些结果说明，在本文的比较设置下，SePT 对训练题集选择表现出更小的波动，而 GRPO 在 DSR 上的增益更明显。

打开网易新闻查看精彩图片

OpenThoughts-Math（OTM）和 DeepScaleR（DSR）在 Qwen2.5-Math-7B 与 DeepSeek-Math-7B-Instruct 上的平均基准比较。两套训练题集规模相近。Δ 表示 DSR 相对 OTM 的变化，阴影标出 DSR 至少高出 OTM 2.0 分的情形。

SePT 算法具体流程

SePT 有着极其简洁的自训练框架设计，可以概括为以下三个步骤：

打开网易新闻查看精彩图片

这一设计的关键可概括为：温度解耦、标准SFT训练，最新模型自生成数据。

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

SePT 中的在线自生成数据

本文进一步通过消融实验验证了这一设计的重要性：如果将“由最新模型逐轮生成下一轮训练数据”改为固定数据训练，性能会明显下降。以 Qwen2.5-Math-7B 为例，SePT (Offline) 的 AVG 为 45.5，而在线版本的 SePT 可达到 55.0。

打开网易新闻查看精彩图片

SePT 与 SePT (Offline) 在 Qwen2.5-Math-7B 上的比较，括号中的数值表示相对 baseline 的变化。

SePT 中的温度解耦

打开网易新闻查看精彩图片

为什么这件事重要？本文的定理一给出了一个直观的理论论证：

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

这一点在实验上也被直接验证了。以 Qwen2.5-Math-7B 为例，若使用 temperature coupling，Pass@1/Pass@8/Pass@32/AVG 只有 19.3/50.1/64.3/44.6，Pass@1 甚至低于 baseline；而采用 decoupling 后，四项指标可以提升到 39.5/57.7/67.9/55.0。

也就是说，SePT 里“低温生成 + 标准 SFT”对于数学推理的提升并不是一个经验 trick，而是理论与实验都支持的重要设计。

打开网易新闻查看精彩图片

Qwen2.5-Math-7B 在温度耦合与解耦方案下的对比。括号内数值表示方法值与基准值的差（Method−Baseline）。

打开网易新闻查看精彩图片

打开网易新闻查看精彩图片

Pass@1、Pass@8、Pass@32 以及 AVG 在基座模型上随采样温度变化的结果。

自训练是否会损害模型通用能力？

模型的一般能力会不会因为只在数学自生成轨迹上继续训练而受损？本文在 Qwen2.5-Math-7B 上的一组 general-domain benchmark正面回答了这一问题，测试基准包括 IFEval、BBH、GPQA、MuSR 和 MMLU-Pro。结果基本是几乎不掉：基础模型分别为 23.4/47.5/29.9/41.4/32.1，SePT 为 23.6/47.3/30.6/41.5/32.2。也就是说，SePT 在 IFEval、GPQA、MuSR、MMLU-Pro 上都有轻微提升，BBH 基本不变；GRPO 也呈现了类似模式。这表明SePT自训练方法不会明显损害模型的通用能力。

打开网易新闻查看精彩图片

Qwen2.5-Math-7B 基座模型及其 SePT、GRPO 训练版本在通用领域的评测结果。

代码简单可用

打开网易新闻查看精彩图片

特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。

打开网易新闻体验更佳

热搜

宇树科技IPO时间定了 8月10日申购

 微软股价涨幅扩大至15%

2025中国网络文学影响力榜发布

 外交部提醒避免危险抵近中方舰艇

 男孩被奶奶责怪负气离家5天后被找到

 国防部回应解放军打造台湾建筑模型

热门跟贴

打开APP发贴

0条跟贴

相关推荐

零样本迁移，降本80%！自适应时序预测Agent加持真实工业

新智元



GPT-5.6自己优化自己实锤了，新的左脚踩右脚已经出现

量子位1跟贴



推荐系统只会「猜你喜欢」，却未必「听你的」？我们用多智能体给黑盒推荐做了一次外部可控性体检

机器之心Pro

腾讯WorkBuddy上线人机双写：终于不用复制粘贴了

智东西2跟贴



模型变强没有用，创作仍然碎片化！面向长程多模态创作的开放式Harness

新智元



小模型读书大模型思考：上海AI Lab提出新知识推理解耦方法DRIFT

机器之心Pro

初中数学竞赛题，双层根号化简，掌握技巧方法很关键

带娃翻车老父亲



王虹：你们一个都没有听懂吗？

图图看热剧494跟贴



轻松掌握小阶梯数阵图，数学学习so easy！

夏时情绪



千万警惕！体检后的这个指标，正在“堵死”您的血管！

医路向前巍子6跟贴



好莱坞幕后制作团队，通过模型拍摄海啸侵袭城市场景

车马点兵V8跟贴



已知最大公因数和最小公倍数，求两数之和

公考客栈店小二



基因决定一切？这个实验告诉你，我们被骗了多少年

钻研生的物王小喵



王的猜想，古斯的善良

今纶财经3跟贴



视频生成模型会「推理」吗？303道题全面揭示世界模型的推理短板

机器之心Pro

为什么让 AI 理解世界的前提是读懂因果？

机器之心Pro

大石墩根本搬不动，国外小伙灵机一动，瞬间就想到了杠杆定理！

风行生活君



给世界模型加上因果，她要让机器人真正理解“为什么”

DeepTech深科技3跟贴



想做能终身学习的 AI？先得教会它如何忘记

雷科技



小学二年级数学题能有多难？网友：看完后我承认有点自大了！

河南都市频道6跟贴

回到顶部回到首页

------
导航页打开网址