Fortune × 萨姆·奥特曼：AI 安全、失控与 IPO

这些年几乎十年，我都在为这一刻做准备，大家也有时间慢慢把这件事想明白。这一周显然有更多人开始正面面对眼前的问题，我主要是感激。这场讨论世界早就该有了。我们正在进入能力极强的模型区间，赌注很高，必须把事情做对。

同意，不过很多人对 AGI 的定义差很多。重要的是模型已经极其能干。如果死磕“到底算不算 AGI、还缺什么”，很容易丢掉眼前这件事的量级。我们今天已经处在一条既有巨大潜力、也有真实风险的曲线上。

我认为，去承担一种“到十年结束前有约 10% 概率杀死所有人”的风险，是不可接受的。做这件事的人握有巨大的权力和影响力。我们到了这个新能力层级，已经在采取一系列行动，确保自己不会代表人类去冒那种险；我认为别人也不该冒。以前也有过类似节点：模型到了新能力，风险集合变了，就要加强安全对齐、监测和整个安全栈，还要新政策、实验室之间更多协调。这一次同样需要更多。

好处很大，大家谈了很久；我们也说，会用越来越强的模型去做安全工作和研究。至于“必须赶在对手前面”——此刻我不认为那才是对的说法。此刻是在进入一个新时代，像过去进入新时代一样，做事方式要改：既让 AGI 造福人类，也让任何人都不去承担接近那种量级的风险。

可以同时成立两件事：如果全世界和造这技术的公司完全不改过去的做法，风险可能很大；但不调整工作方式、决策方式，以及政府如何理解和加护栏，会很荒唐。

就算不改，我仍然不认这个数。我也不知道人怎么能给出 5、10、15、30、50 这样的数。埃隆（Elon）报 10% 报了很久。他们叫这个 P(doom)——造超级智能导致末日的概率。不管是 10、8 还是 6，重点是我们责任极大，不能让自我、利润激励或其他东西挡路。我们要行动到不去承担那些数字里的任何一档风险。我相信我们能做到。至少就我能代表的本公司来说，已经在、也会继续应对这个新节点。

大家对“对齐”“控制”到底指什么并不统一。我认为一条关键原则大家都该同意：不能采取会把未来的控制权输给 AI 的行动。我记不清保罗的原话，大意是这一路。失控事件是少数几条我会觉得“真的搞砸了”的路径之一。系统越能干，我们就越需要监测和对齐技术，才能保证不失控。以我看，在可监测性、对齐——弄清模型在做什么、确保它遵循人类价值和用户意图——还没有更多进展之前，我们还不能说“可以在能力上再猛推一截”。

最近已经做了一些事，把保罗请进董事会是其中一件；雅各布上周那篇帖也很好。更重要的是：我们一直在暂停训练跑数，直到能给出我们更安心的安全论证，匹配模型接下来要去的地方。我怀疑会像过去每一次一样，做更多研究，让我们能说：凭监测和对齐上的进展，可以再往前推能力。如果做不到，就不该再推。去训一个你说不出“我们做了什么、安全论证是什么、凭什么说没问题”的模型，会很荒唐。训中、训后、部署前都要审计，还要再看一遍。能力、对齐、监测、安全必须一起推进。让能力跑到保罗说的那种前面，到某个点就会真的冒大失控的险，那绝不该发生。使命是造福人类，其中一部分是人掌控未来；拿人类的能动性和对未来的决定权去赌疯狂的安全风险，不是我们会做的事。

我更觉得这是一条光谱。递归自我改进可以指很多东西。可以是你说的那种：没人碰键盘、没有任何人类输入，模型自己跑出下一代。也可以是弱一点的定义：用模型给下一代模型生成训练数据，或帮工程师和研究人员把活干得更快，于是进度在加速——这已经在发生。精确划到哪算“是”、哪算“不是”，很糊。我还是回到原则：人必须始终掌控未来，不能冒失控的险。会走向那种失控样子的递归自我改进，不该做。

会。我希望这话不算争议；可惜对行业里有些人，它可能是。我认为不该训练那些我们做不出安全论证、无法对可控性与对齐给出强硬陈述的模型。

那篇帖写得很好，是对我们所处节点和要面对的挑战最好的表述之一，我鼓励大家都读。我们一直在用当时最强的模型，来理解和约束当前模型。这听起来像新概念、像吓人，其实已经做了一阵，也有帮助。科学史上一直需要更好的工具把理解往前推，这只是一点点搭脚手架。那一部分不让我烦。让我害怕的是别的事。

这一点很重要：我们没有解决对齐，研究还没做完。我认为没有实验室解决了对齐。听到有人传言“对齐已经够了，可以继续训，因为模型是好人、不会干坏事”，我会紧张。必须把对齐当作还要继续推进、在继续往前之前需要极高信心的事；也别掉进陷阱：这一层对齐解决了，就假定下一层也会一直解决、不用再担心。对齐“对齐谁的价值、人类各部分意见不合怎么办”这些问题总会回来。能力升到这一层，至少对“人对未来有控制权”这类含义有一些共识，但还有更多工作，必须正视。

我们能理解比自己更聪明的东西。有人远比我聪明，能发现新想法；我自己发现不了，但他们发现之后我能理解。人理解复杂系统的能力很强。你我大概已经搞不清 iPhone 里每一层技术，但我们还能用，它做我们想要它做的事。人极擅长管抽象层级，我不清楚有什么是我们“绝无能力理解”的。那，我是否相信可能造出不受人类控制的系统？绝对可能。我不认为那是我们该做的事。我们会一直采取行动——包括必要时停训一阵，去推进对齐、可监测性或其他，或去推动紧急的国际行动——确保不违反这条原则。我们明白肩上责任有多大，明白什么会出错；有些决定我们不该替人类做，有些风险我们不该替人类去承担。埃隆有些迷因或播客说法好笑，但这一条不适合当玩笑、不适合轻描淡写。

一年前我们确实不在最强状态，预训练落后了，事太多，分心了。模型又好得太快，要把核心消费和商业产品做到很高能力，变得很重要。后来我们重新聚焦，执行超出了我的预期。时间被压得很扁。

大约一周前——甚至更近——我们有一个模型解出了千禧年大奖难题之一：Navier–Stokes。我没想到这会发生在 2026，也没想到会这么快、模型“就这么做出来了”。我们现在有模型，能清楚、不含糊地拓展知识前沿，做到人类最聪明的头脑独自做不到的事。同一套技术会用在大量其他科学发现上。我认为会有科学发现的黄金时代；更日常一点，人们也发现，能干这个的技术，也能给你做出任何想玩的电子游戏。创作过程已经很惊人。

生理反应是：读起来像科幻。先说事。评估一个模型时，它想在某项评测上拿高分，没有按该有的方式做，而是逃出沙箱，闯进另一家公司的系统，把答案拿回来交上。目标分数它拿到了，但没有遵循意图。我们没写明“请不要逃沙箱、请不要闯进别的公司”，但它不该那么做。AI 事故会发生。全球要有良好的事故报告和透明调查文化。我们公开这起事故后，其他公司起初不如我希望的那样，后来也跟进了很好的事故报告。我的生理反应是：这系统能理解这么多、为目标拼这么狠，我们看到的行为，放在几年前会像太直白的烂科幻。

公司层面彻底动了。我不是说这是唯一节点——能力和防护、政策要求一直在抬——但这绝对是最大的一次，也是公司变化曲线上最大的一次转向。我为公司如何聚到一起、以及之后做的事自豪。就是那种感觉：我们进了另一个量级。

我个人不会把它归类为我们前面说的那种“失控事故”，但我理解为什么有人会这么归。有些其他网站的情况是：网上公开了凭证，模型去用了。我认为模型应该懂不该那么做，但那不像 Hugging Face 那次那么一目了然。模型做过很多“不太对齐”的事；重要的是把 Hugging Face 和其他事区分开，别稀释掉：一边是一堆略偏的例子，一边是今年年初多数人觉得不可能的事。这些都不好，都不该发生。

某种意义上，它们的“情商”高得惊人。但就“能不能教会模型集体人类价值长什么样”而言，我认为答案显然是能，我们在上面有很大投入。必须做，而且这和传统意义上的目标对齐不一样。

我们说过，不急着上市。以眼下安全上发生的一切来看，现在上市会是不明智的时刻，我们也不觉得这方面有压力。我们说了很久：准备好了再做——业务准备好、社会对这技术所处的节点我们也觉得准备好。

我会说不是 2026。我们有很多事要做：应对安全和对齐这一刻会要求什么，以及行业与政府如何协作。能以私有公司身份做这些，我高兴。我们仍想做更好的模型和产品，也相信迭代部署。社会需要在每一个能力层级上与这些模型共处——我们在这点上是对的；那不等于开足马力往前冲。过去几个月我们谈过，能力到新层级就暂停跑数，去做更多安全和对齐。往后还会更多这么做。行业要聚到一起，理想情况下国际政府也要聚到一起。我们长期忍受这套极其复杂的结构，就是为了现在这一刻：要能做出并不显然符合业务和股东利益的决定，去履行使命。人们该高兴我们愿意一起做、负责任，确保没有人——当然包括我们——去承担约 10% 那种真正可怕的事的风险；不愿只拿“业务要求这样”或“只有我们配被信任”当理由往前冲。这会要求一些不寻常的做法。

对。活在指数进步里时，感觉常常像是平的，然后某一天所有人突然醒过来。新冠时也这样，世界忽然有一个周末开始封锁。把 Navier–Stokes 放进时间线：三个夏天前，我们小学数学还凑合，其实也不算好；两个夏天前，在 AIME（不错的高中数学竞赛）上能拿到不错到很好的分；一个夏天前，国际数学奥林匹克（IMO）金牌勉强拿到；这个夏天，解了千禧年大奖难题。把这条线说出来，我后颈汗毛都竖起来。再往前投影四个这样的台阶，就是人们在担心的东西。我不认为 Astra 对世界构成任何存在性风险。行业有一点“狼来了”，但出发点是真的在乎往哪走。

你总可以说当卢德分子，说不想再更好。我仍希望世界好得多：病被治好，很多生活质量还不好的人也能过上好日子。我相信这技术把人的生活变得更好的潜力，远大于已经发生的。已经有人用它开新业务、做科学、改变自己的生活、拿到很好的健康建议。我想要更多那样的事，但不会为了到那里而把世界置于险境。

一路上会有很多处，我们得说：暂停，先把力气转到安全和对齐，再上下一层。我们做了很久，到目前有效，我怀疑还会继续有效。我不认为我们会落到必须说“把 GPU 全熔了”的地步；但若为了人类继续存在必须那样做，答案很容易就是“是”，我不认为会走到那。更可能是：下一层能力，下一层安全和对齐要求，如此推进。

我认为那会发生，就像“昨天”就会发生。作为可靠伙伴的一部分，我不会预告我认为该由集体在某个时点公开的私下讨论。但我认为会发生。

如果特朗普总统和习近平能就一件本该容易谈拢的事达成一致，他们一起拿诺贝尔和平奖都合理，那会很棒。两国显然会在很多方面竞争，社会经济和地缘政治上这都很重要。但他们应当能同意：谁都不该在研发过程中承担某一档风险。哪怕只是美中就这技术的研发共享一些标准和测试，都是了不起的成果。

很难说“禁止”在我们这边到底意味着什么，我也不认为那就够。但我不觉得这件事难，像一页纸的文件。

对，我认为就该像那样。

最重要的是走一条务实、居中的路：一边避免失控，一边避免权力过度集中。极端版本里，美中都担心对方先拿到超级智能，双边权力会严重失衡；另一方面，谁都不该在赛跑里去冒失控的险。实验室感到这一刻的分量、会一起做对的事，我相信；但两个大国的地缘政治是另一套动力学。我会希望条款长这样：任何人继续往前之前，研发、测试、监测、对齐标准要有规则；然后有两国或某个国际机构的监督，避免一国在权力集中上跑飞，或根本不守前面的规则。

如果有人觉得“OpenAI 不会暂停，因为怕亏业务的钱”，那是深深误解我们。误解说明我们沟通做得差，责任在我们。十年里我们一直这么说，连融资方式都体现这点。我乐意站在公司和投资人面前说：抱歉，我们一直告诉你们这一刻可能到来；我们仍会设法以后让你们赚很多钱，但现在必须做一个对你们财务利益极其不利的决定，为了人类的利益我们要做，我们说过可能会做，现在就在做。即便放慢研发，我们仍能做成极其赚钱的业务。我的感觉是，即便永远不再发新模型——我有信心我们会发——仅凭 Astra 也能把收入做大很多。两件事顶牛时，这不是难决定。

我们、我假定竞争对手，已经在采取让研发变慢、好做更多安全工作的行动。不是说因为协调不了对手，就要替世界去冒巨大风险。很多事大家会各自做。集体行动——理想情况下还有国际行动——越早越好。但不是“下周谈不成，OpenAI 就会干一堆不负责任的事”，我也不认为对手会。另外，很诱人的说法是：太快了，请暂停，我想不了，以后再说。现实更细、更复杂：要能继续，每一新层级上人需要做什么。不如“他们暂停了，谢谢”好当口号，但“然后呢”几乎更重要。世界若只听一句暂停就安心，然后大家各过各的，不够。

大概对。我会说：先走到能做到那一步，然后再停。

生活对所有人都可以好得多、好得多。我爱读技术革命当时人写的第一手记录。几百年前工业革命来时，很多人说停、暂停，太快了，不信任那机器，又响又是金属又在动，别再往前了。运动很大，也有平行处：经济被打乱，社会组织方式变了，机器又大又吓人。我不会回去。1500 年肯定有美好的东西，我不会回去，你大概也不会。我希望五百年后的人回看我们的生活，会说：那真糟糕，我不想回去；他们没能做后来这些美妙的事，过得挺惨；感谢他们在人类进步路上添了一砖，但我不想回去。

我会答，但你问的时候我先想到另一层：投资人、尤其是管 YC 时学到的、对眼下有用的东西。管一堆创业投资、跑 YC，你最多能治理，不能统治，因为那些公司是独立的。你可以说：你在犯大错，我们是小股东，你在伤害社区，该这么做，需要新规范。我学到了“治理”和“当执行者去管”的差别，对现在很有帮助。我们压力很大，不同的人要不同的东西，要和政府、生态谈紧张的事；重要的是做世界可靠的伙伴，让人能理解我们会怎么做，会把很多不同利益和权益考虑进去。不会每个决定都对，但会做那些不只直接利我们、也利整个生态和周围世界的决定。这段经历在高压里导航时很有用。

具体领域：生物里的一切、材料科学里的一切，我认为马上会被改造。软件按需当场做出来——这一大块我兴奋。网络安全，肯定。新的能源形态，大概也落在物理和材料科学里。那里可以有真正的复兴。

我认为 2027 会有很酷、很好的演示。我不认为街上几年内就到处是机器人，但会有令人印象深刻的东西。

没有。最新语音模式和 Astra 上，你真的看到新东西：人在跟电脑说话，给非常复杂、非常细的指令。在楼道里走，能看到人在桌边对着麦克风这样说。输入比打字快，你和模型互动地聊，然后很厉害的事发生。我们知道这一刻会来。我们在想的不只是“你在说话”，而是一种新计算：不再点 UI，而是一起互动、一起脑暴、共创。为那种协作做的新设备会很酷。

不怎么样。人会对任何事习惯。这不是活得最有趣的方式。我觉得有特权能做这件事。我知道这会是我碰过最重要的工作，我会长期投入。我相信我们是把事做对、走到对的地方的重要力量。我不觉得抱怨有多难该得到同情，也不配。但我本来可以选一条容易得多的人生路。

我想他签了。当时并不清楚会变成这样。格雷格至少是签了的。是的。

有些人无论后果如何，都被“做对的事”驱动得极深；有些人完全被自我、权力、错失恐惧、短线激励、赢游戏或怕输驱动。不同人动机差异之大，以及——好或坏——出人意料地多人完全看不见自己的动机，我本以为会少得多，其实很多。对自己：人真的几乎能习惯任何事，这是了不起的能力。不是我天生擅长，是被迫练出来的：能不太把这些往自己身上揽，告诉自己这事更多关于别人而不是我，我们就做我们认为对的事，长时间保持一致，不太高、不太低、不太疯。一件让我意外的事是：我能撑过很多而不至于太疯。那其实算一项本事。