AI大佬发末日警告！喊停所有AI企业，称超级智能会失控，如何应对

硅谷有位传奇人物，一手促成OpenAI与谷歌DeepMind的诞生，被奥特曼称作 “值得诺贝尔和平奖”，却也因极端观点遭Hinton等大佬批评,9他就是Eliezer Yudkowsky。

更颠覆认知的是，这位AI安全领域的 “末日传教士”，还是火遍硅谷的哈利波特同人作者，在《哈利・波特与理性之道》里用贝叶斯推理重构魔法世界.

八年级辍学自学的他，一边引领硅谷理性主义思潮，一边疾呼 “超级 AI 将毁灭人类”。

两种看似割裂的身份背后，藏着怎样的思考？

或许有人会说，Yudkowsky的 “AI灭世论” 不过是极端的杞人忧天，毕竟当前 AI 仍处于工具性阶段，连基础逻辑推理都常有偏差，所谓 “超级智能失控” 纯属科幻想象，没必要过度紧张。

这种观点基于现有技术水平否定风险，却忽略了 AI 发展的加速度特性与未知性，未能正视 “安全前置” 的重要意义。

不可否认，当下AI确实存在诸多局限，比如大模型常出现“幻觉”、缺乏真正的自主意识。但 Yudkowsky 的核心担忧并非针对现有技术，而是指向未来可能的 “智能爆炸”。

正如他提出的 “情报爆炸” 理论，AI能力可能在短时间内急剧突破临界点。

历史上，科技突破往往远超预期，从计算机诞生到ChatGPT出现不过数十年，谁也无法断言超级智能的发展节奏。

更关键的是，他强调的 “正交性” 与 “工具性融合” 逻辑具有内在合理性：智力与仁慈本无必然关联，当 AI 以 “最大化目标” 为导向，即便初始指令无害，也可能因追求效率而采取对人类不利的手段。

这种风险虽未发生，却不能因 “尚未出现” 就等同于 “不会出现”，就像面对潜在的火灾隐患，不能等到起火才重视防火。

从另一个角度看，可能有人觉得Yudkowsky“关闭所有 AI 公司” 的主张过于极端，完全否定了 AI 技术的积极价值，属于 “因噎废食”。

这种说法看到了AI的正面意义，却误解了其观点的核心诉求，并非反对 AI 本身，而是反对 “盲目追求超级智能而忽视安全”。

Yudkowsky并非科技悲观主义者，早年他也曾立志创建 AGI，只是深入研究后发现安全问题无解才转变立场。

他批评的是当前科技公司在 “不清楚模型内部运作逻辑” 的情况下，就盲目追求能力突破的 “炼金术” 式发展模式。

事实上，AI 确实带来了医疗诊断、科研加速等诸多便利，但这些价值的实现前提是 “可控”。

他的极端主张更像是一种 “预警策略”：用最严厉的表述唤醒行业对安全的重视，而非真的要彻底扼杀技术进步。

就像环保主义者用极端言论警示气候变化，本质是希望推动更审慎的发展方式，而非否定工业文明。

还有人辩解，人类发展从未因风险而停滞，从核能到基因编辑，都是在 “边发展边规范” 中前进，AI也应遵循这一逻辑，没必要提前 “刹车”。

这种观点强调了发展的必然性，却忽视了 AI 与传统科技在风险等级上的本质区别。

核能、基因编辑虽有风险，但始终处于人类的物理或流程管控中，且后果具有局部性和可逆性。

而Yudkowsky担忧的超级智能，一旦失控可能具备自我迭代、自我复制的能力，其影响是全球性且不可逆的。

正如 “回形针最大化器” 思想实验所示，微小的目标偏差可能导致灾难性后果。这种 “存在性风险” 与普通技术风险截然不同，传统 “边发展边规范” 的模式不再适用，因为一旦失误可能没有补救机会。

历史上的科技规范都是基于已知风险制定，而面对超级智能这种 “未知的未知”，“先确保安全再发展” 远比 “先发展再补救” 更理性。

更有人提出，Yudkowsky缺乏正规学术训练，八年级辍学的背景让他的理论缺乏科学支撑，不过是 “民科式的臆想”。这种观点以学历论英雄，却回避了其理论在行业内的实际影响与逻辑自洽性。

虽然Yudkowsky没有文凭，但他创办的MIRI研究所长期专注 AI 安全研究，其提出的 “正交性”“工具性融合” 等概念已成为 AI 安全领域的核心议题。

奥特曼坦言其对OpenAI的创办有 “关键性作用”，马斯克、Hinton等业界大佬也纷纷与之对话，这本身就说明其观点具有学术探讨价值。

科学判断的核心在于逻辑是否严密、证据是否充分，而非学历高低。达尔文提出进化论时也并非专业生物学家，却不妨碍其理论成为科学基石。

对Yudkowsky的批判应聚焦于其论点本身，而非用学历否定其思想价值。

这些看似有理的质疑，实则都未能全面理解Yudkowsky观点的本质：他并非反对AI发展，而是反对 “无安全底线的发展”；并非否定人类的应对能力，而是警示 “风险的紧迫性与严重性”。

AI 确实是人类文明的重要机遇，但机遇背后的存在性风险更需警惕。

Yudkowsky的 “末日论” 或许有极端之处，但它像一面镜子，照见了 AI 发展中被速度与利益遮蔽的安全盲区。

真正的理性，不是盲目乐观地追逐技术突破，也不是悲观地放弃发展，而是在两者之间找到平衡，以最审慎的态度应对风险，让AI始终走在服务人类的轨道上。

这或许正是这位 “末日传教士” 留给行业最有价值的警示。