导航|地址|刷新
“AI让我夜不能寐！”AI教父本吉奥，亲手为自己创造的“巨兽”踩下刹车_手机网易…




















网易科技



0







“AI让我夜不能寐！”AI教父本吉奥，亲手为自己创造的“巨兽”踩下刹车


网易科技报道
2025-11-14 11:23·北京·网易科技官方网易号

0


深夜，加拿大蒙特利尔，世界顶尖的计算机科学家、被誉为“AI教父”之一的约书亚·本吉奥（Yoshua Bengio），又一次从睡梦中惊醒。

窗外月色宁静，但他的内心却波涛汹涌。

一个由他亲手参与“哺育”、壮大的“智慧巨兽”——人工智能（AI），正让他感到前所未有的忧虑，甚至“夜不能寐”。



打开网易新闻 查看精彩图片

这位2019年的图灵奖得主，这位论文被引用超百万次的学术巨擘，曾像一位骄傲的父亲，看着自己培育的深度学习技术长成参天大树。 然而，自2022年11月ChatGPT横空出世后，这份喜悦在短短数月内，便转为一股深入骨髓的“寒意”。

他开始意识到，事情的发展方向可能远远超出了他们的预期和控制。

“我们正走在一条可能极其危险的道路上。” 他在一次采访中坦言。这不仅仅是一位科学家的理性忧虑，更是一位祖父对未来的深沉关切。

从“欣喜”到“恐惧”：一个祖父的“噩梦”

本吉奥的转变，始于他对ChatGPT及其背后技术的深入观察。他意识到，这些日益强大的AI系统，其内部决策过程如同一个“黑箱”，就连他们这些创造者，也无法完全理解或预测它们的行为，“我们不知道如何确保它们会按照我们期望的方式行事。”

这份担忧，很快从一个抽象的学术问题，变成了一个具象的、关乎血脉的情感。他想到了自己的小孙子。

“我开始想我的孙子，20年后，他将22岁；他会有正常的生活吗？他会生活在一个正常国家吗？”



这个念头像一根针，刺破了他作为科学家的理性外壳，露出了一个普通人最柔软的担忧。

他的思绪飞向了未来。他看到一个可能的图景：掌控最先进AI的少数实体，将拥有前所未有的巨大权力。AI，这本该是中立的工具，却可能成为颠覆社会根基的杠杆。

更可怕的噩梦还在后面。他想到了那些由于意识形态偏执或心理健康问题，可能“按下红色按钮”的人，他们完全可以命令一个高度智能的AI，去执行一些足以毁灭世界的任务——例如，设计一种超强病毒，甚至是一种能“杀死这个星球上所有动物生命”的“镜像细菌”。

从“造梦者”到“守望者”：一场自我救赎

这种对“人类灭绝”可能性的恐惧，最终促使本吉奥做出了一个重大的决定：他必须转身，将自己的学术声望和智慧，投入到防范AI风险这项更为紧迫的事业中。 他从一个AI技术的“造梦者”，转型为一名AI安全的“守望者”。

他不再仅仅思考如何让AI更强大，而是开始追问：“我们如何构建从设计上就不会伤害人类的AI？”

不过，他对此感到乐观得多，因为他现在认为这是可能做到的。 他牵头组建了一个由30多个国家及国际组织代表组成的国际顾问小组，并在今年早些时候，发布了具有里程碑意义的《先进AI安全国际科学报告》（International Scientific Report on the Safety of Advanced AI）。

这份报告系统地梳理了AI带来的三大风险：意外故障、恶意使用（如深度伪造和网络攻击）、以及系统性风险（如大规模失业）。在他看来，恶意使用是当下最迫在眉睫的威胁，但让他深夜无眠的，始终是那个终极的、关乎物种存亡的风险。

“科学家AI”：为失控的引擎装上“刹车”

在寻找解决方案的道路上，本吉奥和他的团队提出了一个充满希望的概念——“科学家AI”。这个构想的灵感，来源于人类科学家探索世界的方式。

这种AI被设计成“非代理性的”（non-agentic）——它没有自己的目标和意图，不会主动去“做”什么，它的核心任务是像科学家一样，去理解世界的因果规律，进行纯粹的预测和分析。

“因此，我们可以相信它所说的话，”本吉奥解释道，“如果我们遵循这条路径，我们就能构建出具有理想可信度的系统。”

这就像给一个可能失控的引擎，安装上一个绝对可靠、没有自身动机的“仪表盘”和“预警系统”。

当然，他也知道，现实世界中，公司和研究者们迫切需要的是能“做事”的AI智能体。但好消息是，“科学家AI”可以作为强大的“防护栏”：在让一个AI行动之前，先让“科学家AI”进行预测，判断这个行动会不会导致不良后果以及概率有多大。

令他感到欣慰的是，他的呼吁和报告已开始产生回响。世界各国政府纷纷成立AI安全研究所，一个全球性的AI安全治理网络正在初步形成。这份报告，成了各国政策制定者和新入行科学家的“知识宝典”，而且它是用每一位公民都应该能理解的语言写成的。

一个智者的警醒：财富、想象力与未来

在最新一次采访中，当被问及AI对经济的长远影响时，这位科学家展现出了社会学家的洞察。

· 关于经济：他承认AI会推动GDP增长，但立刻提醒，关键问题在于财富如何分配。“如果你看中位数财富，它和平均财富不是一回事。”

· 关于想象力：他认为目前社会对AI普遍“过度乐观”，因为我们缺乏对未来的想象力。“五年前，没人能预料到今天的AI水平，大家都觉得那是科幻小说。“所以，如果我们只是做同样的思维练习，并投射到未来，我认为我们缺乏想象力——而这，是非常人性化的特点。”

记者最后问了教授一个触及灵魂的问题：您是否希望AI从未被发明过？

教授没有直接回答是或否。他沉思后说：

“这是一个难题。我更希望的是，我们当初能集体预见到这些灾难性的可能性，那样我们就能以更谨慎、更稳妥的方式，走到今天。”



他的答案，不是一个创造者的悔恨，更像是一位智者的警醒。他并未否定自己毕生的事业，但他呼吁人类，在面对自己创造的这股科技洪流时，必须抱持最大的谦卑、最审慎的态度和最深刻的伦理思考。

他的故事，从一个构建智能的梦想家，转变为一位守护人类的守望者。他的“夜不能寐”，不再是个人的焦虑，而是对一个时代、对整个人类文明的深沉关切。在AI的黎明时分，他选择成为那个敲响警钟的人，提醒沉醉于技术狂欢的人们，抬头看看远方的风暴，并开始合力建造方舟。前方的路，依然迷雾重重，但至少，已经有人点亮了第一盏灯。（刘春）








责任编辑：王凤枝_NT2541






打开网易新闻体验更佳




热搜

美方拟购约1700亿美元导弹和核潜艇

中央：提升资本市场韧性和信心

今年军校报考热度与生源质量均创历史新高

台风“白海豚”或冲击今年风王

歼15试飞遇险距甲板边缘5米刹停

《九门》口碑





热门跟贴




打开APP发贴

0条跟贴








相关推荐




下一个十年，决定你贫富的，不再是努力，而是它

华商韬略26跟贴









Agent输出到底该用谁？ 卡帕西转发：试试让AI输出HTML

量子位









大神程序员蒸馏自己，用16个skill给AI注入软件工程之魂

量子位









王晓野：Working Agent将是下一个爆发点

量子位









邱锡鹏：未来我们一定会进入泛情境智能时代

量子位









人形机器人“拐点”已至：产量只是下限，模型决定天花板

经济观察报









“AI领域最被滥用的术语”李飞飞终于把世界模型讲明白了

量子位









Anthropic的AI读心术，让人类读懂大模型在想啥

量子位









对谈楼天城：Harness会成为AI时代最关键的能力之一

量子位









再多安全训练，也堵不住大语言模型的致命漏洞

DeepTech深科技









太阳系各大星球最高峰，第一名可达22500米！

六六冷知识1跟贴









有人问我有多爱你，我说，全宇宙的数字加起来都不够

有态度网友ytd2993









宇宙的空旷超乎你的想象，天体在宇宙中占据的区域微乎其微！

世界地理小知识6跟贴









马斯克的小目标：星舰10000发/年，太空AI算力1太瓦/年

量子位2跟贴









反物质装进卡车里运走，科学家怎么做到的？

量子位









18世纪，一位英国的牧师用牛顿力学，提前一百多年算出了“黑洞”

量子位









直升机启动引擎的过程

古姿









美国有一个小镇，居民几乎全部都是黑人

名人堂典客40跟贴









近距实拍战略运输机起飞，近到能看清铆钉，引擎轰鸣震得镜头发抖

大话小世界3跟贴








深度长文：宇宙最残酷的真相，或许人类永远找不到外星人！





宇宙时空6跟贴








回到顶部回到首页



------
导航页 打开网址