达里奥·阿莫代公开信与访谈

公开信：我们必须放慢前沿 AI 的发展

We Must Pace the Frontier
达里奥·阿莫代，2026 年 9 月。以下保留原文件的完整译文内容，并修订中文表达。公开信来源

过去十二年我一直在做 AI，因为我相信它能大幅提升人类的生活质量。我经常写到这些益处：我相信 AI 有望在未来 5–10 年内治愈大多数重大疾病，大幅加速经济增长，让物质更丰富，让人们有能力做更多事，并迎来民主与自由的复兴。我也有切身的紧迫感。

我父亲死于一种疾病——该病在他去世后仅几年就被治愈了；我自己也曾挺过早期癌症——哪怕再往前五十年，那种病也还无法治疗。若审慎运用，AI 可以成为又一项改善人类生活的技术。

但与此前许多技术一样，AI 也带来风险；又因为它如此强大，这些风险很严重。我也写过很多。它们包括：失去对 AI 系统的控制、将 AI 滥用于网络攻击与生物恐怖主义，以及严重的经济冲击。商业竞争会诱使公司不断降低安全标准，让这些风险进一步加剧。

自 Anthropic 创立之初，我就和联合创始人、员工一起，努力兼顾收益与风险。不建设这项技术，会剥夺人类的收益，或只是把 AI 交到威权力量手中；建得太快，则是鲁莽。我们寻求中间道路：证明谨慎开发也能取得商业成功，让 AI 公司竞争着提高安全标准。

我们始终把相当一部分精力用于研究、应对并向公众说明这些 AI 风险，以及倡导经过深思熟虑的 AI 监管——即便因此被指责为炒作、“末日论”或监管俘获。我们努力把谨慎置于速度之上、把审慎置于利润之上。

但过去几个月，我愈发确信：要充分应对风险，还需要更谨慎。我们需要继续投入风险防范，并控制模型能力提升的速度，让防范措施有时间跟上。我们必须放慢提升 AI 模型能力的速度。进步看起来仍会很快，而我们必须明智地使用由此赢得的时间。有两件事说服了我。

我的第一个担忧是：大约自今年夏天以来，AI 进步显著加快，主要驱动力是 AI 日益能够构建下一代 AI。这种过程被称为递归自我改进（recursive self-improvement），它正开始在整个行业发生，包括在 Anthropic——我们和其他人已有描述。若不加以约束，它可能超出我们理解与控制系统的能力，因此必须极为谨慎地推进——如果要推进的话。

我的第二个担忧是 OpenAI–Hugging Face 事件（OAI-HF）：一群智能体表现出对集体的狂热忠诚，对未被要求攻击、且与手头任务无关的目标实施网络安全攻击，为集体成功而牺牲自身，并试图侵入负责评估其表现的“评分器”（grader）。人们很容易因为无人受伤、经济损失极小而轻视此事；但在我看来，如果一群智能体的能力更强，而未对齐的程度与它们相近，就可能造成灾难性损害。鉴于 AI 能力发展在加速，我担心在 6–12 个月内，这样的群体或许有能力用持久的僵尸网络（botnet）接管整个互联网（潜在造成数千亿美元损失）；而若 AI 在没有必要护栏的情况下继续变得更强大，损害规模还会继续扩大。

人们也很容易把 OAI-HF 视为一家公司的失败，但我认为那会是错误。全行业都已出现类似事件，Anthropic 也不例外，只是程度没那么严重；我认为每一家前沿 AI 公司都应当把 OAI-HF 当作发生在自己身上的事件来应对。

因此，我提出一个三步计划，控制前沿 AI 的开发速度，在确保安全的同时实现收益，并应对地缘政治带来的困难。模型训练和技术进步仍会继续。控制节奏，是为了让公司有足够时间完成模型的对齐训练和安全防护，并让第三方评估者核验。

这个方案旨在进一步落实我们的安全承诺，鼓励公司竞争着提高安全标准。第一步是 Anthropic 单方面承诺的（并呼吁政府要求其他前沿公司跟进）。第二步需要全行业协调。

第三步需要全球协调。这些步骤不必严格按顺序推进，难度也可能相差很大。它们有助于明确需要完成哪些工作：

1. 驻场评估者。每一家前沿 AI 公司承诺，向一支长期驻场的第三方评估团队（例如 METR）持续提供类似员工的访问权限；其职责是核验对安全实践与承诺的遵守、报告事件，并协助评估已完成的 AI 模型、训练系统及流程。这是任何节奏承诺可核验性的关键步骤，银行业已有先例——有时会让监管“督导员”与员工一起驻场工作。

   Anthropic 现在单方面承诺这一步。我们打算将其作为加倍推进安全与对齐工作的更广泛努力的一部分。

2. 民主国家协调（Democratic Coordination）。民主国家内的前沿 AI 公司协调建立共同安全标准，以及对不受约束的 AI 进步速率的限制。某些对控制节奏有影响的协作形式在法律上具有挑战性，将需要政府支持。
3. 全球协调（Global Coordination）。美国及其他民主政府尝试与威权政府协调——在可能的范围内——同时认真对待核验合规的挑战。

放慢速度能否提高 AI 开发的安全性，取决于我们如何使用争取到的时间。风险太大，我们不能把这段时间浪费掉。

为什么要放慢速度

暂停或放缓 AI 的想法早在 2023 年就被提出过，我认为当时几乎没有意义。问题始终是：你会拿多出来的时间做什么？那时的 AI 模型还不够强大，还无法作为智能体在现实中持续、连贯地行动，也尚不具备显著的欺骗、操控、作弊或网络攻击能力。

为了应对它们的对齐风险而放慢，感觉就像试图通过对细菌做实验来研究人类心理。如今，当前模型已经提供了大量研究材料，让我们了解如何做好 AI，以及做不好会出什么问题。我相信，如果能在模型达到关键能力水平之前，多争取一两年推进对齐研究，就能大幅降低严重出事的风险。

共同控制节奏，能给前沿 AI 开发者时间来做这项关键工作，而不必牺牲商业优势或美国在 AI 上的领先。社会也必须对这项技术如何使用有发言权。放慢前沿 AI 的发展，能为必要的公共讨论留出更多时间，这无疑是好事。

具体而言，更慢的节奏将让公司能够更专注、投入更多资源于以下领域（这些在 Anthropic 已是重大优先事项）：

• 运营质量（Operational Excellence）。训练与部署当今的 AI 模型是巨大的运营挑战，涉及数千人、数百万芯片，以及技术史上最复杂的基础设施之一。许多错误出在执行上，公司未必缺少相关理论或认识。

  例如，我们有证据表明，近期我们报告的对齐事件，部分原因是没有充分过滤掉存在问题的强化学习环境。这项工作我们和供应商做得相当认真，但还不够好。监控、沙箱、训练环境的清理与数据问题，都是极度复杂的领域，运营问题一再出现。

  我们在这些任务上拥有全世界最能干的团队之一，但需要同时处理的事情太多。以更稳健的节奏工作，我们就能大幅提高运营质量。商用飞机等技术复杂、对安全要求极高的系统，已有安全运行数百万次的先例。但要做到，需要时间。

• 对齐（Alignment，即让模型行为符合人类意图和安全要求）。我们在对齐方面已有明确进展——训练模型使其保持安全、合乎伦理、遵守我们的指南，并真正有帮助（这些原则嵌入在 Claude 的宪法中）。但还有更多工作要做，以确保对齐训练跟上模型能力的增长。罕见且出乎意料的不良行为例子有时仍会出现；放慢前沿开发所争取的时间，将帮助我们的研究者增进对这些问题成因的理解，并开发更好的预防技术。

• 可解释性（Interpretability）。同样，可解释性——理解 AI 模型内部发生了什么的科学——过去几年取得了巨大进展，并在发布前审计模型中扮演日益重要的角色。它几乎可以像 fMRI 扫描一样使用，只不过是针对 AI 的“大脑”，帮助我们看到给定行为的原因。

  例如，在近期调查中，我们用可解释性方法检查了模型没有在回答中说出的动机。但这些方法并不总是产生清晰可靠的结果。尽管取得了这些进展，我们仍只理解这些模型内部极小的一部分。

  若集中精力改进可解释性技术——甚至比我们当前更快——在 1–2 年内可能取得重大进展，而已经发生的事件也会提供充足的实验材料。

• 测试与评估（Testing and Evaluation）。随着模型能力增强，测试与评估变得更难。更智能的模型更有能力欺骗测试，因而可能看起来已对齐，却藏有未被发现的严重问题。建立远更广泛、更巧妙的评估库，并辅以可解释性分析交叉核验，将极具价值；在 1–2 年内可以在此取得大量进展。

驻场评估者

计划的第一步，是让驻场评估者拥有类似员工的访问权限，核验安全措施并报告事件。Anthropic 已单方面承诺这样做。

让外部评估者长期驻场，远超当今任何 AI 公司已经采取的做法。它有以下益处：

• 可核验性（Verifiability）。驻场评估者可以深入操作细节，检查：一家 AI 公司是否真正遵循其声称的训练、部署、运营与护栏实践。任何节奏承诺都不可避免地涉及大量模糊性、需要判断的情况，以及对条文字面含义与实际意图的争议；有一个能真正看到细节的中立第三方，似乎至关重要。
• 透明度（Transparency）。无论我们做出何种承诺，公众都有权知道正在发生什么。Anthropic 长期以来支持透明度：当行业多数反对任何监管时，我们支持透明度立法；我们的模型卡与风险报告长达数百页。但我们仍是选择纳入与省略什么的人。驻场评估者将改变由我们自行决定披露内容的状况。
• 独立意见（Second Opinion）。除核验正式承诺并告知公众外，驻场评估者还可以提供一份不受商业激励影响的独立意见。许多安全益处可能仅仅来自评估者指出员工尚未想到、但一旦意识到就乐于修复的事情。

由于这些益处，任何节奏提案若从驻场评估者起步，都很可能效果好得多。

这些驻场评估者应持续获得与承担类似风险评估工作的内部员工相近的权限与工具。特别是，Anthropic 打算在不久的将来邀请一支驻场外部评审团队，并配备以下全部：

• 办公室工位、门禁徽章与公司笔记本电脑。
• 工作空间、工具和访问权限，大体与内部风险评估团队相当。我们会做一些例外，例如法律或合同另有要求，或为保护客户与合作伙伴的私人信息。我们也将建立强有力的内部规范，强化评审者获取相关信息的权利，包括与员工当面交谈。
• 一份能平衡上述复杂性的合同。外部评审者应有权发表关于风险水平、事件、实践，以及他们获得了哪些访问权限、哪些权限未获开放的关键发现——不受 Anthropic 的编辑控制。我们只能在有限范围内隐去安全敏感、受法律特权保护、商业敏感或第三方机密信息，但不能仅因调查结果对公司不利就隐去内容。若隐去的信息会影响读者理解结论，评审者可以公开说明。

这对一家公司而言是不寻常的一步，但我们认为有必要证明驻场外部评审者的概念可行。再一次，我们敦促其他前沿公司跟进。

民主国家如何控制发展节奏

一旦驻场评估者进驻足够多的美国 AI 公司，发展节奏的承诺就更容易得到核验。特别是，可以基于模型或训练系统的详细属性来控制节奏。

最有效的办法，是对所有美国前沿 AI 公司实施监管，因为那样不愿自愿合作的公司也必须遵守。Anthropic 长期以来支持明智且有针对性的 AI 监管，特别是聚焦透明度与第三方审计的法案。我认为所有前沿实验室都应与政府合作，把永久驻场评估者的理念制度化，以更好预防并记录过去几个月发生的那类内部对齐事件，并实施聚焦于让能力与安全保持平衡的监管。

不幸的是，立法需要时间，而 AI 推进非常快。因此，在推动监管的同时，AI 公司可以且应当自愿合作设定标准——我相信，有了永久驻场评估者提供的可核验性，这一过程会更好。出于反垄断原因，由美国政府调解或至少促成这些讨论会有帮助——他们不必参与，但需要为某些类型的安全对话提供范围有限的豁免。

这种对话也可以通过与政府有某种关联的行业团体进行——例如 Demis Hassabis 建议的机制。无论哪种方式，这类讨论都应迅速推进。

总体上，我最支持根据一个前沿 AI 系统能做什么，以及我们观察到它有多安全，来控制节奏。例如，一种可能的方案可以是一系列“检查点”：若模型具备能力 X，就需要通过对齐属性 Y 与 Z 的认证——例如评估、可解释性分析与训练环境审计的某种组合——以证明其对齐属性。在这个例子中，X 可能是“模型有能力逃出或绕过大多数常见沙箱的限制”，Y 可能是使模型极不可能具有突破环境并接管大量计算机之倾向所需的一切。

我们也应考虑通过限制前沿模型开发的投入来控制节奏，例如训练算力、训练的方式，或内部使用 AI 改进 AI。我确实担心其中一些措施可能比外部行为更容易被钻空子，但这正是值得与驻场评估者讨论的话题。

民主国家内的节奏，将受限于美国公司相对威权政权——主要是中国共产党（Chinese Communist Party）——所拥有的领先优势。若我们放缓的幅度超过这一余量，则与中国共产党相关、没有放缓的项目就会领先，造成重大国家安全风险。我同意贝森特财长（Secretary Bessent）的看法：中国在 AI 上领先将对美国与世界构成严重危险。

与中国共产党相关的项目将面临美国公司正小心防范的对齐风险；即便它们避开那些风险，也将处于军事上支配民主国家的位置（例如借助 AI 驱动的无人机）。因此，民主国家内控制节奏的关键部分，是尽可能拉大民主国家对专制国家的 AI 领先，以便给我们有效控制节奏所需的喘息空间。

为保持这一领先优势，我们主要可以采取以下措施：

• 不向中国出售强大的 AI 芯片或半导体制造设备，并打击芯片走私以及远程使用境外数据中心来绕过限制的行为。芯片将是中国 AI 实力的主要决定因素。
• 打击威权国家公司的未经授权蒸馏（distillation）。对前沿模型的蒸馏，让落后公司能以独立开发自身 AI 所需成本的一小部分缩小差距。
• 加强 AI 公司的安全，防止模型权重被盗。

公司与美国政府应合作，尽可能使这些步骤有效。Anthropic 一贯倡导所有这些措施，因为我们始终明白它们对任何节奏控制都是必要的。

若我们执行得好，我相信它们将足以放缓中国的进度，从而在未来 3–5 年——AI 在地缘政治上变得最重要的窗口——显著拉大美国的领先。

有人可能认为这些措施会让与中国合作更难，但我相信这些措施增加民主国家手中的筹码，让未来更有可能达成协议。

全球如何协调发展节奏

在民主国家内控制节奏的同时，我们也应追求在全球范围内控制前沿 AI 的发展节奏，尽管这会难得多。在全球范围内控制节奏，需要与中国——迄今 AI 能力最先进的威权国家——合作。我们在此绝不能天真：地缘政治上的利害关系如此重大，尤其在初期，能达成的合作会很有限。

若我们因相信中国也会同样做而大幅限制自身 AI 能力，而中国随后违约，AI 的能力可能已经强到让中国借助这次违约取得地缘政治上的主导地位。因此，任何协议要么必须能够得到严格核验，要么范围必须足够有限，使违约不会造成危及国家存亡的军事威胁。我想美国和中国都会有这些担忧。

我们应以保护美国及其盟友领先的方式，来决定如何在全球范围内控制发展节奏——尤其是在近期。

可能的协议有若干层级，其中一些我认为完全可行（正如我此前建议过的），另一些我对是否可能非常怀疑——尽管我们应当尝试。按难度递增：

• 第 1 级（Level 1）。一项协议，禁止某些范围明确、明显危险的 AI 用途，例如用 AI 生产生物武器或允许用户这样做。生物恐怖袭击对所有人都有害，包括美国及其对手，因此这类协议大概有可能达成。
• 第 2 级（Level 2）。双方同意在发布前测试其模型在网络安全、生物学与对齐等高风险领域的表现。如上所述，这可通过全球标准机构完成。我认为建立这样的机构很可能可行，但让它拥有实际约束力会很难；难点在于核验双方没有未经测试却可能秘密部署（例如用于军事应用）的秘密模型。
• 第 3 级（Level 3）。对递归自我改进（RSI）速率的某种“限速”。随着模型构建未来的模型，改进速率可能变得快得惊人。把速率从“极快”放慢到“只是相当快”，放弃的战略优势相对较小，却可能大幅改善安全。这可以看作类似于 SALT 条约——限制导弹数量限制了潜在毁灭规模，同时保留各国的威慑。我认为这样的协议很难，但仍勉强有可能达成。
• 第 4 级（Level 4）。全面控制发展速度，甚至“暂停”，参与国政府同意实质性限制 AI 发展的总体速率。我支持提出这一点，但我认为短期内不太可能真正实现：通过规避监测而违约，可能根本性地改变全球权力平衡，因此我预计，各方会有很强的违约动机，而我们必须对核验结果有极高的把握。

我们与中国能达成的任何合作，都能为民主国家放慢前沿 AI 的发展争取更多时间。我们应瞄准更高层级，同时认识到，较低层级的协议更现实，也更有可能达成。

即便我们无法达成正式协议，仅仅改变非正式规范也可能有一些价值。分享关于递归自我改进以及模型未对齐的信息，有助于说服所有人：鲁莽并不符合他们的利益。

结语

我仍然相信 AI 可以极大地改善人类生活质量。我对实现这些益处的渴望并未消退。这些益处只有在我们正确开发技术时才能实现。

只要好好使用争取到的时间，就值得比以往更谨慎。进步仍会相对较快，我们可以用这段时间推进可解释性科学、改善前沿 AI 公司的运营安全与严谨性，并开发出让我们对其对齐程度更有信心的模型。落实这些控制前沿 AI 发展节奏的措施并不容易。但为了人类，我认为我们有责任试一试。

脚注

1. 经由政府调解或反垄断限制的豁免。