导航|地址|刷新
AI 时代会让企业发现：所有系统都经不起无限审查_手机网易网




















网易网易号



0







AI 时代会让企业发现：所有系统都经不起无限审查


虎嗅APP
2026-07-15 10:30·北京·虎嗅APP官方网易号

0




打开网易新闻 查看精彩图片

本文来自微信公众号： HavenlonLabs ，作者：HavenlonLabs



一、从一个很小的现象说起



如果你最近用AI写过东西，大概率经历过这样一个循环。

你让一个AI写一篇文章，觉得还不错，于是让另一个AI来评价。第二个AI几乎一定能找出问题：论证不够扎实、结构有些松散、观点缺少支撑。你老老实实改完，再交给第三个AI，它依然能继续指出缺陷。更让人困惑的是，即便是同一个AI，换一套提示词，也可能对同一篇文章给出完全相反的意见——一会儿说不够深入，一会儿说过于复杂；一会儿嫌观点不够鲜明，一会儿又批评表述过于绝对；缺少案例是问题，案例太多冲淡主线也是问题；太像技术文章不行，不够专业也不行。

很多人把这归结为AI不稳定、不可靠。但如果只停留在这个解释上，就错过了一个重要得多的信号。

这个现象揭示的是一个长期被忽略的事实：评价系统并不是在寻找一个最终正确的答案，而是在不断切换观察角度。一篇文章在"深度"这个角度下有一种缺陷，在"传播"这个角度下有另一种缺陷，在"严谨"这个角度下还有第三种缺陷。这些角度彼此冲突，永远无法被同时满足。

只要观察角度可以无限增加，缺陷就永远不会被彻底消灭。


过去这件事之所以不明显，是因为审查是昂贵的。请一位编辑、一位专家、一位律师来挑毛病，都需要时间和金钱，所以任何作品、方案、系统，实际上只经受过有限次数、有限角度的审查。所谓"挑不出毛病"，从来不是因为毛病不存在，而是因为挑毛病的人不够多、角度不够刁钻。

而AI把审查的成本压到了接近于零。于是一个残酷的事实浮出水面：不是AI让文章变得有缺陷了，而是AI让"无限审查"第一次变得可行——而没有任何复杂产物经得起无限审查。

文章只是最容易被看见的入口。同样的逻辑，正在向企业治理、产品设计和安全工程蔓延。



二、企业正在进入"无限评价时代"



过去，一个产品方案、一套管理制度或者一个技术架构，通常只会经过有限的人评审：几轮会议、几位专家、一次合规检查。评审的角度是有限的，遗漏是默认存在的，大家心照不宣。一个方案"通过评审"，本质上只是说它通过了这一小群人、在这一小段时间里、从这几个角度进行的检查。

今天，AI可以低成本地扮演几乎所有角色。同一份方案，你可以让它以客户的身份挑体验问题，以法务的身份挑责任边界，以投资人的身份挑商业逻辑，以安全工程师的身份挑攻击面，以财务负责人的身份挑成本结构，以监管者的身份挑合规漏洞，甚至以竞争对手和恶意攻击者的身份，专门寻找可以利用的入口。过去组建这样一个"全角色评审团"需要巨大的组织成本，现在只需要换几个提示词。

结果几乎是注定的：不同角色会给出不同甚至完全冲突的结论。安全部门会说权限太宽，业务部门会说限制太多；财务会说成本太高，产品会说体验太差；法务会说责任边界不清晰；而攻击者，则会找到所有人都没有想到的那个入口。

这不是评审质量变差了。恰恰相反，是评审能力被无限放大了——放大之后，任何方案都会显得千疮百孔。

不妨做一个简单的实验：把你们公司最引以为傲的那份制度文件，交给AI，让它分别扮演十个不同的角色来审查。你会发现，没有一份文件能全身而退。这不说明制度写得差，而说明"经得起所有角度的审查"这个标准，本身就是不可能达成的。过去我们从未意识到这一点，只是因为从来没有人真的用十个角度审过同一份文件。

这意味着企业决策的前提正在发生变化。过去的隐含目标是"设计出一个通过评审的方案"，因为评审是有限的，这个目标是可以达成的。而当评审变得无限，这个目标在逻辑上就不再成立。企业今后面对的不是"能否设计出一个无人反对的系统"，而是一个更艰难、也更诚实的问题：

如何在永远存在反对意见、剩余风险和未知缺陷的前提下，仍然做出决策。


那些不理解这个转变的组织，会陷入两种典型的失败姿态：要么被无穷的反对意见拖入决策瘫痪，什么都不敢上线；要么干脆对所有批评脱敏，退回到"评审只是走流程"的老路。两者都错了。正确的姿态是第三种——接受缺陷永远存在，然后把注意力从"缺陷有没有"转移到"缺陷发生后会怎样"。



三、"总能挑出问题"不是失败，而是复杂性的必然结果



有人会问：这是不是说明我们的系统做得还不够好？只要继续打磨，总有一天能拿出一个挑不出毛病的版本？

不会有那一天。这不是悲观，而是复杂系统的基本性质。

一个系统越简单，越容易被完整描述，也就越接近"可以被证明正确"。一百行代码可以被逐行审查，一条数学定理可以被严格证明。但企业系统从来不是这样的对象。它同时包含人、软件、数据、权限、激励、流程和外部环境，而且这些要素之间的关系还在持续变化。人会流动，软件会升级，数据会积累，权限会漂移，激励会扭曲，外部环境会突变。

所以企业面对的根本不是一道存在标准答案的数学题，而是一个不断移动的目标。今天正确的制度，明天可能因为业务变化而失效；今天安全的接口，接入AI Agent之后可能出现全新的攻击面；今天合理的权限设计，组织规模扩大一倍之后就可能变成单点风险；今天表现良好的模型，换一个场景就可能产生完全不同的行为。

这类故事在每一家上了规模的公司里都发生过。某个沿用多年的报销流程，在公司只有两百人时运转良好，到两千人时成了效率黑洞；某套为网页端设计的风控规则，在开放API之后被脚本轻松绕过。没有人做错什么，只是环境变了，而系统还停在为旧环境优化的版本上。

在静止的世界里，缺陷是可以被逐个消灭的存量；在变化的世界里，缺陷是随着环境不断生成的流量。你消灭的速度，永远赶不上它生成的速度。

完美系统不是暂时还没有被造出来，而是在多数复杂环境中，它本来就不存在。


承认这一点并不丢人。真正危险的是不肯承认这一点的组织——它们会把资源持续投入到"再改一版就完美了"的幻觉中，却从来没有为"缺陷一定会出现"这个必然事件做过任何结构上的准备。当缺陷真的出现时，前者损失的是一次迭代，后者损失的可能是整个业务。



四、安全行业尤其容易陷入"完美幻想"



在所有行业里，安全行业对"完美"的执念最深，也最危险。

安全领域长期存在一种隐含的追求：只要身份验证足够强、权限设计足够细、模型判断足够准、审计记录足够完整，系统最终就会安全。每一次安全事故之后，行业的反应几乎都是同一个方向——再加一层验证、再细一层权限、再多一份日志。防线越垒越高，预算越花越多，而事故并没有消失。

这背后有一个朴素的期待：安全是一门工程，工程问题总有工程解。加人、加钱、加流程，问题就会收敛。但安全和其他工程有一个根本不同——它的对手是活的。桥梁工程师不需要担心重力会学习新的攻击方式，而安全工程师的每一道新防线，都会立刻成为对手研究的新题目。

因为现实反复证明：攻击者并不需要击败整个系统，他只需要找到一个系统设计者没有覆盖的组合。而在这个组合里，每一个单独的步骤都可能是完全合法的——用户身份是真的，权限审批通过了，接口调用符合格式，Payload校验成功，签名也是真实的。每一环都对，结果仍然是错的：资金被转走了，数据被导出了，系统被接管了。

这和AI评价文章的现象惊人地相似。一篇文章的每一句话都可以没有语法错误，整体却可能完全失去方向；一次执行中的每一个步骤都可以通过校验，最终结果却违背了所有人的真实意图。

局部正确，从来不自动等于整体正确。


换个角度看，安全体系的每一层防护，本质上都是一个"观察角度"：认证看的是"你是谁"，权限看的是"你能做什么"，校验看的是"格式对不对"，审计看的是"发生过什么"。攻击者做的事情，就是寻找一条所有角度都看不到的路径。角度是有限的，可能的路径却是组合爆炸的——这就是为什么"把每一层都做到极致"永远推导不出"系统是安全的"。

更麻烦的是，AI正在把攻击者的这种能力平民化。过去，找到那个"没人想到的组合"需要顶尖的经验和漫长的探索；现在，生成攻击假设、构造异常输入、批量测试边界条件的成本，和生成一篇文章的成本一样，正在趋近于零。防守方面对的不再是少数聪明的对手，而是一台可以无限出题的机器。



五、真正成熟的安全，不再追求"证明系统不会出错"



如果承认不存在完美系统，安全设计的目标就必须发生一次根本性的转向。

不再是：如何确保错误永远不会发生。而是：当错误不可避免地发生时，它最多能够走多远。

这个转向听起来只是措辞的变化，实际上会引出一组完全不同的企业问题。一个错误的判断，是否可以不经任何拦截直接进入执行？一个管理员，是否可以单独造成不可逆的结果？一个AI Agent，是否拥有完整的行动权？一个被攻破的SaaS服务，是否能够顺势控制本地的关键系统？一次错误的配置，是否会扩散到全部业务？一个在形式上完全合法的请求，是否仍然可以在最终的执行边界上被拒绝？

注意这些问题的共同点：没有一个是在问"错误会不会发生"，全部是在问"错误发生之后会怎样"。这就是从"消灭缺陷"转向"限制灾难半径"。

可靠系统的标志，不是它从不犯错，而是任何一次错误都不能自动获得无限权力。


在这个框架下，很多传统上被视为"冗余"甚至"低效"的设计，突然有了新的价值。双人复核不是不信任员工，而是不让任何单点判断直接变成现实结果；金额和频率的硬限制不是束缚业务，而是为最坏情况画出止损线；执行边界上那道独立的、不信任任何上游的最终校验，不是重复建设，而是在认证、审批、模型全部被欺骗之后，系统保留的最后一次说"不"的机会。

评价一套安全体系，与其问"它挡住了多少次攻击"，不如问一个更尖锐的问题：假设你的模型判断错了、你的管理员被钓鱼了、你的上游服务被攻破了——同时发生——损失会在哪里停下来？答不出这个问题的体系，无论用了多先进的技术，都还停留在完美幻想里。



六、企业真正需要的是"有边界的不完美"



自然界从来没有进化出完美的生物。一个物种能够存活亿万年，不是因为它没有弱点，而是因为它的弱点没有在环境变化中导致整个种群同时毁灭。冗余、分散、隔离——生命对抗不确定性的方式，从来不是消灭缺陷，而是限制任何单一缺陷的杀伤范围。

对企业来说，这个类比比听起来更严肃。生物从不试图预测每一种病毒，它选择的是另一条路：免疫系统、细胞隔离、组织再生——一整套"感染之后如何不死"的机制。数亿年的演化压力最终选择的生存策略，不是无懈可击，而是可以受伤。这对花费重金追求"零事故"的企业，是一个值得反复咀嚼的提示。

企业也是一样。好的组织不可能消除所有错误判断，但它会刻意避免几种致命结构：一个人控制全部系统，一个决策不可撤销，一次失败波及所有业务，一个模型直接决定现实结果，一条错误指令可以不受阻拦地穿透整个执行链。

因此，未来企业需要设计的目标，不是完美，而是有边界的不完美（Bounded Imperfection）。它包含三个基本原则。

第一，错误可以发生，但不能无限扩散。一个模型可以判断错误，一个员工可以决策失误，但任何单一的错误判断都不应该自动获得完整的执行权。判断和执行之间，必须存在结构性的隔离——不是靠"下次更小心"，而是靠架构本身。

第二，系统可以失效，但不能同时失去所有拒绝机制。上游服务可能被攻破，审批流程可能被绕过，管理员甚至Owner本人都可能犯错或被欺骗。这些都允许发生，但最终执行的位置上，必须保留一道不依赖任何上游的独立约束。所有防线可以逐一失守，唯独不能设计成"一荣俱荣、一损俱损"。

第三，风险无法清零，但必须被限制在可承受范围内。企业真正需要计算的从来不是"有没有风险"——答案永远是有——而是"最坏情况下，损失到哪里停止"。能明确说出止损位置的企业，才有资格谈激进创新；说不出的企业，每一次冒险都是在赌命。

企业要回答的不是"会不会出错"，而是"出错之后，损失在哪里停止"。


值得注意的是，这三条原则考验的都不是技术能力，而是组织的诚实程度。承认自己的模型会错、自己的管理员会被骗、自己的流程会被绕过，在很多公司的文化里近乎"唱衰自己"。但恰恰是这种诚实，决定了一家企业是在为真实世界设计系统，还是在为PPT里的理想世界设计系统。真实世界里，欺骗会发生，故障会发生，误操作会发生——系统的价值，就体现在这些事情发生的那一刻。



七、AI会把这个问题推到极致



有人可能会问：这些原则听起来并不新鲜，为什么现在突然变得如此紧迫？

因为过去有一道我们从未意识到的天然防线：人的速度。

一个员工判断失误、越权操作、甚至蓄意作恶，他的破坏力都受制于人类的执行速度。他再快，也不可能在一秒之内修改十万个账户、调用数百万次接口、同时影响全球所有业务。很多企业的安全体系之所以看起来"够用"，不是因为设计得好，而是因为错误的执行速度足够慢——慢到总有人来得及发现、来得及阻止、来得及回滚。

AI Agent彻底摧毁了这道隐形防线。它不仅可能判断错误，还可以高速、并发、持续地执行错误。人犯错是一次一次地犯，机器犯错是一批一批地犯。过去一个错误决策需要几天才能造成的损失，现在可能在几秒钟内完成，并且在任何人察觉之前已经不可逆。

想象一个再普通不过的场景：一个负责客户运营的Agent，被授权读写CRM和发送邮件。某天它被一封精心构造的邮件注入了错误指令，于是开始"勤奋地"向全部客户批量发送带有错误报价的合同。整个过程中没有任何一步是越权的——它本来就有这些权限。区别只在于：有边界的系统会在第一百封邮件时触发频率限制，没有边界的系统会在十分钟内发完十万封。

AI时代最危险的，不是一次错误的判断，而是一个没有边界的错误，获得了机器级的执行速度。


在这个前提下，再去纠结"能不能让AI更准确一点"已经远远不够。无论准确率多高，只要不是百分之百，剩余的错误就必须被结构性地控制。即使准确率达到99.99%，在百万级的执行量中，错误仍然会出现上百次。真正决定后果的，不是那99.99%的正确，而是那0.01%的错误发生时，系统有没有最后一道边界。

可以这样概括：准确率决定错误出现的频率，架构决定错误造成的后果。前者是模型厂商的问题，后者是每一家企业自己的问题——而且没有任何模型升级可以替你解决。



八、竞争的分水岭：谁的系统在失控边缘仍然稳得住



把视线拉回商业本身。

AI让创造的成本下降，这已经是共识。但同样重要、却远未被充分讨论的是：它也让评价、攻击、测试和反驳的成本同步下降。未来，任何企业方案都能被快速找到缺陷，任何产品都能被生成新的反例，任何安全体系都会遇到设计时从未想象过的场景。这不是某个行业的特殊风险，而是所有把AI接入业务的企业共同面对的新常态。

这会改变企业竞争的重心。过去比的是谁的系统更强大——功能更多、性能更好、防线更厚。未来比的是谁的系统在不完美、被误用和被攻击时，仍然不会失控。前者决定你能跑多快，后者决定你会不会在某个深夜突然归零。

过去比的是谁的系统更强大，未来比的是谁的系统在被误用和被攻击时，仍然不会失控。


那些率先放弃完美幻想的企业，反而会获得一种新的竞争力。它们不再把资源浪费在"证明自己不会出错"上，而是把架构建立在"假设自己一定会出错"之上：判断与执行分离，权力有边界，失败有隔舱，最坏情况有明确的止损位。它们的系统未必更聪明，但一定更难被任何一次错误摧毁。而这种"难以被摧毁"，会在一次次行业事故中，转化为客户信任、监管信任和资本信任——这是AI时代最稀缺的资产。

对决策者来说，这意味着一组新的追问要进入每一次架构评审和每一次AI项目立项：这个Agent最坏能做什么？它的判断和执行之间隔着什么？当它出错时，谁有能力、有权限、有时间按下停止键？如果这些问题的答案是"不知道"或者"应该不会出错"，那么无论演示效果多惊艳，这个项目都还没有准备好进入生产环境。

AI时代最成熟的企业，不是相信自己已经找到了完美答案，而是从一开始就假设答案可能是错的，并且为此做好了结构上的准备。

我们无法建造一个永远正确的系统，但可以建造一个即使犯错，也无法轻易造成灾难的系统。


这句话，值得每一个正在把AI接入核心业务的决策者，写在架构评审的第一页。

本内容由作者授权发布，观点仅代表作者本人，不代表虎嗅立场。如对本稿件有异议或投诉，请联系 tougao@huxiu.com。

本文来自虎嗅，原文链接：https://www.huxiu.com/article/4875308.html?f=wyxwapp








特别声明：本文为网易自媒体平台“网易号”作者上传并发布，仅代表该作者观点。网易仅提供信息发布平台。






打开网易新闻体验更佳




热搜

今年军校报考热度与生源质量均创历史新高

杨振宁遗孀翁帆赴新疆喀什看望老兵

微软股价涨幅扩大至15%

中央强调及时谋划出台增量政策

视频丨国防部：菲方非法图谋不可能得逞

《蜘蛛侠：崭新之日》好看吗





热门跟贴




打开APP发贴

0条跟贴








相关推荐




AI 时代，让我们重新理解列宁的通行证

虎嗅APP









2026年的AI：向人立心，向实立命 | 2026商业新愿景

经济观察报









别担心 AI 泡沫，真正要崩的是算力租赁

虎嗅APP9跟贴









当 AI 开始设计芯片，错误将第一次被写进硅里

虎嗅APP








OpenAI总裁放出狠话：ChatGPT桌面端要消灭标签页，年底前大变天





智东西






聊聊字节的AI调整：两个关键人物和一个新方向

虎嗅APP









WRC前瞻：机器人自己办大会，整机厂告别翻跟头，比WAIC精彩十倍

雷科技









边界为什么总显得多余，直到灾难真正发生？

虎嗅APP12跟贴









平板车超宽上高速被拦，司机要看文件，路政你不要强词夺理

夜涩爱心345跟贴









车企下一块必争之地出现了

虎嗅APP









高市早苗策略失败，中俄朝迅速行动，美军撤退，形成3对1格局

春露秋霜









赛里木湖自驾每人收75元引争议，景区称相关费用已做备案

界面新闻2.8万跟贴









三国演义：华佗一脸认真提供手术方案：砍开头颅治病，曹操却把他打入大牢

龙耀影视4跟贴









技术员去趟厕所，重要文件被删干净，怒砸键盘一起完蛋

影中见影









"1.5万机票退票仅退400多元"最新进展：票款全额退还

极目新闻8759跟贴









姜皓已任孝感市领导

极目新闻17跟贴








英伟达违规出口被查，黄仁勋急见美部长，5000亿求通关





无人倾听无人倾听






推荐系统只会「猜你喜欢」，却未必「听你的」？我们用多智能体给黑盒推荐做了一次外部可控性体检

机器之心Pro









夫妻分居多年，回家拿文件看到妻子做的菜，立马不走了

邻家二蛋不靠谱









关于公布2026年中央财政支持普惠金融发展示范区名单等有关事项的通知

财政部15跟贴











回到顶部回到首页



------
导航页 打开网址