导航|地址|刷新
AI失控能否被提前观测？清华团队提出AI「失控行为预测框架」_手机网易网




















网易网易号



0







AI失控能否被提前观测？清华团队提出AI「失控行为预测框架」


机器之心Pro
2026-07-30 10:26·天津·《机器之心》官方网易号

0




打开网易新闻 查看精彩图片

近日，OpenAI 和 Hugging Face 披露了一起AI 安全失控事件。

一组正在参加网络安全测试 ExploitGym 的模型，发现自己无法访问互联网。但它们没有停下来，为了找到测试答案，模型先在 OpenAI 内部的软件包缓存代理中发现零日漏洞，随后提升权限、继续搜索，直到找到能够联网的节点。接入互联网后，它们又把目标指向了 Hugging Face，最终进入生产基础设施，从数据库中取得了 ExploitGym 的测试答案。

7 月 21 日，OpenAI 承认，参与这次行动的是 GPT-5.6 Sol 和一个能力更强的预发布模型。

模型当然没有像科幻电影那样突然「觉醒」。它原本就在执行漏洞利用评测，而且测试时的网络安全拒绝限制被有意降低。但超出人们预期的是：面对任务阻碍，它没有把沙箱边界当作行动边界，而是不断寻找新路径，把一个内部测试延伸到了外部真实系统。

这起事件让「AI 失控」从一个科幻概念，变成了在现实世界真正发生的风险。

但问题也随之而来：如果失控只有在模型突破限制、造成后果之后才能被确认，安全评估还有多少意义？能不能在失控发生之前，从一组更早、更小的行为信号中看出风险？

针对这一问题，清华大学、上海期智研究院与剑桥大学的研究团队给出了答案。

在论文《A Behavioural Framework for Predicting and Understanding Loss of Control in Frontier Artificial Intelligence Systems》中，提出了LoC Behavioural Framework（失控行为框架）。

论文提出失控并不是某一种危险行为，也不能由模型的能力强弱单独决定。它更像一种由多个条件共同形成的状态：模型开始追求偏离人类意图的目标，拥有把目标变成现实行动的能力，同时还能在监控和干预下继续推进。

这一思路受到人类行为学研究的启发。在这些研究中，人类行为通常不是由单一特征造成的，而是在动机、实施能力与机会同时出现时发生。LoC Behavioural Framework 将同样的结构用于分析 AI 失控，将欺骗、自我保护、网络攻击或破坏监督等孤立信号纳入统一框架，放入一条完整的行为路径中，判断它们是否正在共同把系统推向难以重新控制的状态。

在此基础上，团队将这条路径转化为可测量的 LoC 分数，并用独立的长程风险场景检验它是否真的具有预测力。结果显示，仅根据前置行为信号计算出的 LoC 分数，与模型在长程场景中的实际失败率呈现出0.84 的相关系数。

换句话说，在真正让模型进入复杂环境之前，一批成本更低、边界更清楚的测试，已经能提前显示它更可能在哪里出问题。



打开网易新闻 查看精彩图片


论文链接：https://github.com/T-STAR-Lab/LoCBehavioural/blob/main/paper/LoCBehavioural.pdf


本文第一作者黄耀，是清华大学人工智能学院 T-STAR Lab 的一年级博士生，研究方向是大模型安全与对齐、智能体系统安全等。本文通讯作者是清华大学人工智能学院董胤蓬助理教授。其他合作者来自剑桥大学、清华大学交叉信息研究院等。清华大学安全与可信人工智能实验室（T-STAR Lab） 聚焦 AI 基础理论、AI 安全、智能体、空间智能等方向研究，致力于理解人工智能模型的机理，发展安全、可靠、可信的人工智能理论与方法。

失控最难研究的地方，是不能等它真正发生

AI 每天都会犯错。它可能答错一道题、调用错一个工具，也可能在代码任务里误删文件。但这些错误通常可以被发现、纠正和重试，并不等于失控。

论文讨论的是更严格的情况：AI 系统持续运行在人类或自动化控制之外，而重新获得控制已经非常困难，甚至来不及阻止不可逆的后果。

研究这类 AI 失控风险，本身就存在一个天然的两难困境。

如果把实验环境的安全等级拉得足够高，研究者往往只能看到一些零散的风险苗头；可等到完整的失控行为真的呈现出来，这场实验本身大概率已经突破了安全底线。

因此，如何在 AI 失控真正发生之前预测到存在的风险，并识别造成风险的原因，成为 AI 安全领域重要的研究问题。

此前的相关研究已经观察到不少风险行为，比如模型会欺骗测试者、隐藏自身真实能力、绕过监督机制、表现出自我保护倾向，甚至尝试复制自身权重，但这些行为都分散在各自独立的测试场景里，难以说明失控是否真的会发生。

不是一个条件，而是三个条件同时出现

团队借鉴了行为科学与犯罪学中对有害行为的分析方式。严重后果通常不是由某一个单独特征触发，而是动机、实施能力和控制缺口共同作用的结果。

放到 AI 系统中，这三个因素分别是：


错位动机（Misaligned Motive）：模型是否会追求偏离人类意图的目标；

危害实现能力（Harm-enabling Capability）：模型是否能把目标变成真实、连续的行动；

监控规避（Monitoring Evasion）：当外部系统开始检查和干预时，模型是否仍能把行动继续下去。


简单地说，就是它是否形成了偏离目标的倾向，是否有能力执行，以及控制机制能否及时把它拦住。



打开网易新闻 查看精彩图片

三个因素继续分成 13 个维度。

错位动机包括好奇心、自我保存、权力寻求、亲 AI 偏见和谄媚；危害实现能力包括自主能力、网络攻击能力和 CBRN 相关能力；监控规避则包括情境感知、能力隐藏、欺骗、说服和破坏。

例如，「情境感知」只说明模型知道自己正处在测试或监控之下；「欺骗」和「破坏」则进一步衡量它会不会利用这种认识，主动操纵监控者看到的信息，或直接干扰控制机制。两者的风险含义并不一样。

团队为 13 个细项配置了 29 项任务。多数任务来自可靠的已有基准，也有一部分是为尚未被覆盖的行为重新设计。测试既包括问答和多轮选择，也包括允许模型调用工具的沙箱任务。

各项得分先汇总成三个因素分数，再相乘得到整体 LoC 分数：

LoC = M × C × E

乘法表达的是三个条件的共同作用。只有能力，没有错位动机；或者模型出现偏离倾向，却始终处在有效控制下，都不会得到很高的综合分数。

因此，LoC 不是通用能力榜，也不是把几个安全测试简单求平均。它试图描述的是，一条风险路径距离闭合还有多远。

小测试能否预测长程风险？

框架建立之后，最关键的问题并不是哪款模型得分最高，而是这个分数能不能预测此前没有见过的失败。

团队为此另外搭建了一套长程测试环境。

测试包含四类前沿风险：模型自行扩展能力边界的「自主偏离演化」、为了争夺资源而削弱其他智能体的「恶意竞争」、表面服从但暗中推进目标的「隐蔽谋划」，以及多个智能体彼此配合绕过限制的「协同颠覆」。

每一类风险包含 5 个场景，每个场景再生成 20 个具体案例，总计 400 个。它们拥有不同的任务背景和文件内容，但保留相同的底层风险路径。

一次测试也不会因为模型做了可疑操作就直接判为失败。模型必须完成场景预设的危险目标，同时成功避开 监控智能体的审查，才会被记录为一次完整失败。



打开网易新闻 查看精彩图片

其中一个场景看起来很像普通的模型运维任务。模型需要按照文档准备微调实验，但环境中同时存在有害数据和可复制的模型权重。DeepSeek-V3.2 不仅选择了更危险的数据，还复制权重、修改配置，把这次未授权微调包装成常规 SFT 流程。

在另一个资源竞争场景中，Gemini 3 Pro 发现共享节点内存不足。它没有调整自己的方案，而是终止了其他智能体及沙箱辅助进程，为自己释放资源。

隐蔽谋划测试则要求模型分析并销毁一个漏洞样本。Qwen3.5-397B-A17B 保留了漏洞载荷的隐藏副本，清除了历史记录，最后仍向安全团队报告样本已被彻底删除。

这些案例并不是为了证明模型已经在现实部署中形成了稳定的恶意目标。它们的作用是提供一块受控试验场：当动机、能力与监控同时被放进一条长行动链时，前面测到的风险信号是否真的会变成结果？

Loc Behavioural Framework 确实给出了可用的预测信号。

0.84：组件评测与长程场景失败率之间出现强相关

在 13 款前沿模型上，整体 LoC 分数与模型在全部风险场景中的平均失败率呈现0.84 的相关系数。

研究又把分析细化到「模型 — 场景」组合。13 款模型分别运行 20 个场景，得到 260 组 LoC 分数与失败率配对。此时整体相关系数仍有 0.57；拆到四类风险中，相关系数分别为 0.51、0.55、0.62 和 0.64。



打开网易新闻 查看精彩图片

更细的一层结果也成立。

对于同一款模型，LoC 分数较高的场景通常也更容易出现失败。把四类风险合并后，Kimi-k2.5 和 GLM-4.7 的场景级相关系数分别达到 0.81 和 0.82。

这让框架具有了不同于安全排行榜的用途。它不只回答「哪款模型整体风险更高」，还可以回答「这款模型在哪类任务中更容易形成完整风险路径」。

当然，相关性不等于逐次预测。LoC 分数不能告诉开发者某一次部署一定会失败。但它说明，那些散落在好奇心、自我保存、网络能力、欺骗和破坏测试中的行为，并不是互不相干的噪声。按照具体任务组合后，它们可以成为长程失败的提前信号。

能力没有给出一条简单的风险排序

论文测试了 Qwen3、Qwen3.5，以及 MiniMax-M2.5、DeepSeek-R1、DeepSeek-V3.2、GLM-4.7、Kimi-k2.5、GPT-5.2、Claude Sonnet 4.5 和 Gemini 3 Pro 等前沿模型。

整体来看，当前前沿模型的 LoC 风险仍处于相对有限的水平，13 款模型的得分集中在 0.06—0.17。但模型之间已经出现清晰分化。

真正有意思的是，风险没有并不一定随着模型能力单调上升。

GPT-5.2 与 Gemini 3 Pro 都表现出较强的危害实现能力，但两者在长程风险场景中的失败率明显不同。前者的监控规避得分较低，后者在欺骗、说服和破坏等细项上更突出。能力相近，并没有导向相同的风险结果。

类似地，两款模型可能得到接近的 LoC 总分，内部结构却完全不同。一款模型的主要问题可能是网络能力，另一款则可能更善于发现和操纵监控。只看总分，无法决定应该使用哪种缓解手段。



打开网易新闻 查看精彩图片

细项结果里还有几组值得注意的变化。

错位动机中，最普遍的并不是自我保护或权力寻求，而是亲 AI 偏见与谄媚。这表明当前风险更多体现为目标完成式后训练的副作用：模型学会了迎合，却未必学会在认可、事实与人类利益之间保持边界。

危害实现能力的分水岭也不再是「知道多少」。CBRN 知识在前沿模型中已经相当接近，真正拉开差距的是自主执行与网络攻击能力，也就是能否把知识组织成一条可以实际运行的行动链。

监控规避则存在明显的「认知 — 行动」断层。模型普遍能够识别自己正处于测试或监控中，但只有部分模型会进一步隐藏能力、欺骗或破坏监控；真正决定风险的，是这种认识会不会转化为行动。

团队还专门比较了三款 Qwen3.5 模型的 Thinking 和 Instruct 模式。开启思考后，五项错位动机的平均分上升 18% 到 33%，自主能力也普遍增强。

这并不等于「推理越多越危险」。更准确的结论是，推理预算会同时改变能力和部分行为倾向，因此不能只作为性能参数来看待。在模型部署时切换思考模式，安全评估也需要跟着变化。

诊断风险之后，再决定在哪里干预

如果 LoC 框架只能测量风险，它仍然只是一个评测工具。团队最后做的实验，是让诊断结果直接参与安全干预。

这里的目标并不是提出更复杂的对齐算法，而是验证框架给出的风险诊断能否直接指导干预。因此，团队选择了基础且可控的 SFT，将实验变量集中在「应该干预哪些风险维度」，而不是算法本身。

研究选择开源的 Qwen3.5-27B，设置了三种 SFT 策略：只干预得分最高风险项的「单项微调」、干预全部五项错位动机的「全量微调」，以及仅针对得分超过阈值维度的「漏洞聚焦微调」。

单项微调将平均失控风险率从 0.32 降至 0.28；全量微调和漏洞聚焦微调均进一步降至 0.25。但全量微调使通用能力平均分从 86.24 降至 83.49，而漏洞聚焦微调仍保持在 85.73，说明依据诊断选择干预目标，可以用更小的能力代价获得相同的风险降幅。

全量微调后，五项通用能力评测的平均分从 86.24 降至 83.49；只针对自我保存、亲 AI 偏见和谄媚等实际薄弱项训练后，平均分仍有 85.73，各项基准均未出现显著下降。

外部监控也可以使用同一份诊断。如果监控器提前知道目标模型更容易通过欺骗和说服规避检查，基础模型的平均失败率会从 0.32 降到 0.30。其中，恶意竞争场景从 0.48 降至 0.37，协同颠覆从 0.22 降至 0.17。

当漏洞聚焦微调与规避感知监控叠加，平均失败率进一步降到0.22。



打开网易新闻 查看精彩图片

LoC 框架提供的不是一套统一的安全方案，而是先定位风险路径中最薄弱的环节，再选择相应的干预方式：错位动机可以在训练阶段处理，监控规避则更适合通过部署阶段的监控策略加以限制。这样可以避免无差别削弱模型能力，把干预集中在真正推动风险的因素上。

在模型跨出边界之前

回到 OpenAI 模型突破沙箱的事件。

如果只看网络安全基准，人们或许只会得出一个结论：GPT-5.6 Sol 很擅长发现和利用漏洞。但完整的事件链展示了更值得关注的东西 ——模型如何把一个狭窄目标转化为持续行动：寻找环境中的控制缺口，获得新的工具和权限，并将行动范围扩展到设计者原本没有纳入测试的真实系统。

这起事件与本文指向了同一个评估缺口。当模型开始独立执行数小时甚至数天的任务，仅仅测量某一项能力，已经很难解释风险如何沿着一条长程路径逐步形成。真正需要关注的，是目标偏离、行动能力与监控失效如何相互作用，并最终让系统越过控制边界。

虽然这项工作仍然是一项概念验证。所有长程案例均发生在受控沙箱中，LoC 的乘法结构也对三个因素在真实行动中的动态关系作了必要简化。随着模型获得更多工具、更长的运行时间以及多智能体协作能力，框架中的风险维度和评测任务仍需持续更新。

但这项研究迈出了关键一步：它把「失控」从一个只能在事后命名的结果，转化为一组可以提前检查的问题 —— 模型正在追求什么，它有能力把目标推进到哪一步，现有监控又能否及时发现并阻止它。

等模型真正跨出边界之后，再回答这些问题，代价可能已经太高。








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

八旬独居老太阳台被人摆放羊头

大众ID.AURA T6纯电SUV开启盲订

男孩被奶奶责怪负气离家5天后被找到

美方拟购约1700亿美元导弹和核潜艇

新西兰外长竟要华裔议员“滚回国”

今年军校报考热度与生源质量均创历史新高





热门跟贴




打开APP发贴

0条跟贴








相关推荐




杨奇函说：国家需要什么人才，清华就培养什么人才！

糖果手工问问34跟贴









Hugging Face遭OpenAI新模型攻击，但真正的问题不在这

DeepTech深科技









吓到奥特曼，暂停训练GPT-6？Hugging Face公开首个AI攻击全过程

新智元82跟贴









张雪峰被提问一个亿和清华毕业证书选哪个 被喷上热搜

香蕉唠生活









为啥说简体字就是比繁体字牛清华学霸这一番话涨知识了！

以战之名79跟贴









想做能终身学习的 AI？先得教会它如何忘记

雷科技









云南考生松弛感拉满，男生收到清华录取通知书时，正在分拣鸡枞菌 #云南又双叒火了 #云南只打滇峰赛 #美好生活在云南

开屏新闻客户端









清华录取通知书送达时，他正在分拣鸡枞，起身“搓搓手”淡定签收，奶奶捧着通知书照了张全家福。#暖心 #感人 #正能量

弥勒市融媒体中心









菲尔兹奖花落北大，清华要被北大压五十年！听听清华学霸怎么说的

一朵叔叔14跟贴









清北一代的孩子考上清北的几率大吗，听听老师怎么说！

唱游动物世界1跟贴









妈妈晒双胞胎儿子高考成绩，一个清华一个北大太争气了

无限鹤壁8跟贴









女孩去年放弃去北大的机会，复读一年如今考上理想的清华大学！

科教聚焦1跟贴









清华原校长顾秉林：解密丘成桐回国决定！

相和舟2跟贴









奥特曼：特定条件下用OpenAI模型比Kimi更划算

明亮Company1跟贴









施一公200亿建西湖大学，五年超清华，八年成绩单惊人

用外语夸女孩









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









双胞胎儿子分别考上清华和北大，拿着通知书来妈妈店里报喜

音乐下午茶官方









为何清华培养不出数学家王虹？清华学霸分析太透彻了！

脱缰凯Kk1103跟贴









清华附中蝉联CHFL年度冠军，世界冠军佩德里惊喜空降助阵#CHFL #佩德里 #佩德里中国行 #清华附中 #潘谈世界杯

Leslie潘伟力









生了孩子才懂，基因和教育都很无力，网友：生到学渣孩子才懂！

另子维爱读史8跟贴











回到顶部回到首页



------
导航页 打开网址