译者说明：本文为 Leopold Aschenbrenner 于 2024 年 6 月发布的长篇报告 Situational Awareness: The Decade Ahead 的简体中文全译版，保留原文结构、图表、注释与数据。机器辅助翻译难免存在术语或语义偏差，严谨引用请以英文原文为准。本文不代表本站认同作者的全部判断。

Leopold Aschenbrenner

态势感知 未来十年

2024 年 6 月

献给 Ilya Sutskever。

虽然我曾在 OpenAI 工作，但本文全部内容均基于公开可得的信息、我自己的想法、该领域的一般知识或旧金山的传闻。

感谢 Collin Burns、Avital Balwit、Carl Shulman、Jan Leike、Ilya Sutskever、Holden Karnofsky、Sholto Douglas、James Bradbury、Dwarkesh Patel 以及其他许多人参与了对本文具有奠基作用的讨论。感谢许多朋友对早期草稿提出反馈。感谢 Joe Ronan 协助制作图表，并感谢 Nick Whitaker 协助出版。

situational-awareness.ai leopold@situational-awareness.ai 2024 年 6 月 6 日更新于美国加利福尼亚州旧金山

在 San Francisco，你能最先看见未来。

过去一年里，全城热议的话题已从 100 亿美元的算力集群，转向 1,000 亿美元的算力集群，再转向万亿美元的算力集群。每过六个月，董事会的规划中就会再添一个零。在幕后，各方正激烈争抢本十年剩余时间里仍可获得的每一份电力合同，以及一切可能采购到的电压变压器。美国大型企业正摩拳擦掌，准备投入数万亿美元，发起一场久未得见的美国工业力量总动员。到本十年末，美国的发电量将增长百分之几十；从 Pennsylvania 的页岩田到 Nevada 的太阳能农场，数以亿计的 GPU 将嗡嗡运转。

通用人工智能竞赛已经开始。我们正在制造能够思考和推理的机器。到 2025/26 年，这些机器将超越大学毕业生。到本十年末，它们将比你我更聪明；我们将拥有真正意义上的超级智能。在此过程中，半个世纪以来未曾见过的国家安全力量将被释放，不久之后，“该项目”就会启动。如果幸运的话，我们将与中共展开一场全面竞赛；如果不幸的话，则是一场全面战争。

现在人人都在谈论 AI，但几乎没有人对即将冲击他们的事物有哪怕最微弱的认识。Nvidia 的分析师仍然认为，2024 年可能已接近峰值。主流评论人士仍困在“它只是在预测下一个词”这种故意视而不见的论调中。他们看到的只有炒作和一切照旧；充其量，他们只会设想又一次互联网规模的技术变革。

不久之后，世界将会醒来。但眼下，或许只有几百人——其中大多数身处 San Francisco 和 AI 实验室——具备 态势感知。在某种奇特的命运力量推动下，我发现自己也跻身其中。几年前，这些人还被嘲笑为疯子——但他们相信趋势线，因此得以正确预测过去几年 AI 的进展。这些人对于未来几年的判断是否同样正确，仍有待观察。但他们都极其聪明——是我见过的最聪明的人——而且正是他们在构建这项技术。也许他们只会成为历史上一则古怪的脚注，也许他们会像 Szilard、Oppenheimer 和 Teller 一样载入史册。如果他们对未来的预见哪怕只是大致正确，我们都将迎来一段惊心动魄的旅程。

让我告诉你，我们看到了什么。

到 2027 年实现通用人工智能的可能性高得惊人。从 GPT-2 到 GPT-4，我们在 4 年内实现了从约学龄前儿童到约聪明高中生水平的能力跃升。沿着算力（约 0.5 个数量级/OOM/年）、算法效率（约 0.5 OOM/年）和“解除束缚”所带来的增益（从聊天机器人到智能体）的趋势线推演，我们应当预期到 2027 年会再次出现一次从学龄前儿童到高中生水平的质的飞跃。

II. 从通用人工智能到超级智能：智能爆炸 46

人工智能的进步不会止步于人类水平。数以亿计的通用人工智能可以实现人工智能研究的自动化，将十年的算法进步（5+ OOM）压缩到 1 年之内。我们将迅速从人类水平迈向远超人类的人工智能系统。超级智能的力量——以及危险——将是惊人的。

III. 挑战 IIIa. 竞相建设万亿美元算力集群	74 75

一场非同寻常的技术—资本加速进程已经启动。随着人工智能收入迅速增长，到本十年结束之前，将有数万亿美元投入 GPU、数据中心和电力基础设施建设。这场工业动员将极为猛烈，其中包括将美国的发电量提高数十个百分点。

IIIb. 封锁实验室：通用人工智能的安全保障 89

美国领先的人工智能实验室将安全视为事后才考虑的问题。目前，它们基本上是在用银盘把通用人工智能的关键机密拱手送给 CCP。保护通用人工智能的机密和模型权重，使其免受国家行为体威胁，将是一项艰巨的工作，而我们目前并未走在正确的轨道上。

IIIc. 超级对齐

105

如何可靠地控制远比我们聪明的人工智能系统，是一个尚未解决的技术问题。尽管这是一个可以解决的问题，但在快速的智能爆炸期间，事态很容易彻底失控。应对这一局面将极其紧张；失败很容易造成灾难性后果。

IIId. 自由世界必须获胜

126

超级智能将带来决定性的经济和军事优势。中国还远未出局。在通用人工智能竞赛中，自由世界的存亡将岌岌可危。我们能否保持相对于威权国家的领先地位？我们又能否在此过程中避免自我毁灭？

IV. 该项目

141

随着通用人工智能竞赛愈演愈烈，国家安全机构将介入。美国政府（USG）将从沉睡中醒来，到 27/28 年，我们将看到某种形式的政府通用人工智能项目。任何初创公司都无力应对超级智能。在某个敏感隔离信息设施（SCIF）里，终局将会上演。

V. 结语

156

如果我们是对的呢？

附录

162

I. 从 GPT-4 到通用人工智能：计算数量级

到 2027 年实现通用人工智能的可能性高得惊人。从 GPT-2 到 GPT-4，我们在 4 年内实现了从约学龄前儿童到约聪明高中生水平的能力跃升。沿着算力（每年约 0.5 个数量级，即 OOM）、算法效率（每年约 0.5 OOM）以及“解除束缚”所带来的增益（从聊天机器人到智能体）的趋势线推演，我们应当预期，到 2027 年还会出现一次规模相当于从学龄前儿童跃升至高中生水平的质变。

听着。这些模型，它们就是想学习。你必须明白这一点。这些模型，它们就是想学习。

ilya sutskever（约 2015 年，经由 Dario Amodei 转述）

GPT-4 的能力令许多人震惊：一个能够编写代码和文章、能够推理解决高难度数学问题，并能在大学考试中取得优异成绩的 AI 系统。就在几年前，大多数人还认为这些是无法突破的壁垒。

但 GPT-4 只不过是深度学习十年来突飞猛进发展的延续。十年前，模型甚至几乎无法识别猫和狗的简单图像；四年前，GPT-2 甚至几乎无法把句子连缀得勉强像样。如今，我们正在迅速刷满所有能够设计出来的基准测试。然而，这种巨大的进步，仅仅是持续扩大深度学习规模这一稳定趋势所带来的结果。

有些人早在很久以前就已经看到了这一点。他们曾遭到嘲笑，但他们所做的不过是相信趋势线。这个

趋势线势头强劲，而他们是对的。这些模型就是想学习；扩大它们的规模，它们就会学到更多。

我提出如下论断：到 2027 年，模型将能够胜任 AI 研究员/工程师的工作，这是极其可信的。这并不要求相信科幻小说；只需要相信图表上的直线。

在本文中，我将只是“数一数 OOM”（OOM = 数量级，10 倍 = 1 个数量级）：考察以下方面的趋势：1）算力，2）算法效率（我们可以将算法进步视为不断增长的“有效算力”），以及 3）“解除束缚”带来的增益（修复模型在默认情况下受到明显束缚的方式，释放其潜在能力并为其提供工具，从而使实用性实现阶跃式提升）。我们追踪

图 1：根据本文讨论的公开估算，对过去和未来有效算力规模扩张（包括物理算力和算法效率）的粗略估计。随着我们扩大模型规模，它们会持续变得更加智能；通过“数一数 OOM”，我们可以大致了解在（不远的）未来应当预期何种水平的模型智能。（本图仅展示基础模型的规模扩张；“解除束缚”未在图中呈现。）

在 GPT-4 问世前的四年里，各项因素分别增长了多少，以及在此后的四年里、直至 2027 年底，我们应该预期它们增长多少。鉴于深度学习的能力随着有效算力每增加一个 OOM 而持续提升，我们可以据此预测未来的进展。

自 GPT-4 发布以来，公开层面已经沉寂了一年，因为下一代模型一直在酝酿之中——这使得一些人宣称发展已经停滞，深度学习正在撞墙。¹ 但通过计算 OOM，我们可以一窥自己实际上应该期待什么。

1 过去十年里，他们每年都会做出这样的预测，而且事实一再证明他们错了……

结论相当简单。从 GPT-2 到 GPT-4——从有时能够勉强串联出几个连贯句子便已令人印象深刻的模型，发展到能够在高中考试中取得优异成绩的模型——并非一次性的飞跃。我们正以极快的速度跨越一个又一个 OOM，而数字表明，我们应该预期在四年内有效算力将再扩大约 100,000 倍——从而带来又一次规模相当于 GPT-2 到 GPT-4 的质变。此外，至关重要的是，这并不只意味着一个更好的聊天机器人；通过摘取“解除束缚”增益方面众多显而易见、唾手可得的果实，我们应该能够从聊天机器人迈向智能体，从一种工具迈向更像是可以直接顶替远程工作者的系统。

虽然这一推理很简单，但其含义却令人震撼。再来一次这样的飞跃，很可能会将我们带向通用人工智能，带来像博士或专家一样聪明、能够作为同事与我们并肩工作的模型。也许最重要的是，如果这些 AI 系统能够将 AI 研究本身自动化，就会启动强烈的反。馈循环——这正是本系列下一篇文章的主题。

即便到了现在，几乎仍没有人将这一切纳入考量。但只要退后一步观察趋势，对 AI 的态势感知其实并没有那么难。如果你总是对 AI 的能力感到惊讶，那就开始计算 OOM 吧。

过去四年

我们现在已经拥有了基本上可以像与人类一样交谈的机器。我们竟然觉得这很正常，竟然已经对这种进步速度习以为常，这充分而惊人地证明了人类的适应能力。但我们值得退后一步，审视一下仅仅过去几年间取得的进展。

2 引自 SSC：“Janelle Shane 询问 GPT-2 它最喜欢的十种动物：
提示词：我最喜欢的 10 种动物是：1. 我最喜欢的十种动物是：

背上有一道白色伤疤的斑马
阴险的蜘蛛和章鱼 3. 长着大叶子的青蛙，希望是黑色的
长着鳞片的玄凤鹦鹉

从 GPT-2 到 GPT-4

让我提醒你，在 GPT-4 问世前短短约 4（！）年里，我们究竟取得了多大的进展。

GPT-2（2019 年）~ 学龄前儿童：“哇，它能把几个看似合理的句子串在一起。”它生成过一个关于安第斯山脉独角兽的半连贯故事——这是一个经过精心挑选的示例——在当时令人难以置信地印象深刻。然而，GPT-2 连数到 5 都很容易出错；²在总结一篇文章时，它的表现也仅仅略优于从文章中随机选取 3 个句子。³

翅膀悬在距离人脸约 4 英寸处、身上有一个青蛙心形纹身的刀嘴海雀
可以被弄瞎、切开并生吃的鸡蛇式互锁四足体：4. 生活在阳光下的黑白沙漠鳄鱼
斑马以及许多其他豌豆虫”

3 引自 GPT-2 论文第 3.6 节。

将 AI 能力与人类智能进行比较既困难又存在缺陷，但我认为思考这种类比仍然颇具启发性

图 2：当时人们认为 GPT2 令人印象深刻的一些示例。左：GPT-2 在极其基础的阅读理解问题上表现尚可。右：在一个经过精心挑选的样本中（10 次尝试中最好的一次），GPT-2 能够写出一段半连贯的文字，其中包含一些与美国内战略微相关的内容。

即使这种类比非常不完善，也可以先这样理解。GPT-2 对语言的驾驭能力令人震惊，它偶尔能够生成一段半连贯的文字，或偶尔正确回答简单的事实性问题。这相当于一个学龄前儿童所能展现出的、令人印象深刻的能力。

GPT-3（2020）⁴ ~ 小学生：“哇，只需提供几个少样本示例，它就能完成一些简单而实用的任务。”它在多段文字中保持连贯的表现开始稳定得多，并且能够纠正语法错误、完成一些非常基础的算术运算。它也首次在少数狭窄领域具备了商业实用性：例如，GPT-3 可以为 SEO 和营销生成简单的文案。

4 我这里指的是笨拙的老版 GPT-3，而不是你可能通过 ChatGPT 了解到的、经过大幅改进的 GPT-3.5。

同样，这种类比并不完善，但 GPT-3 给人们留下深刻印象的地方，或许相当于一个小学生所能展现出的、令人印象深刻的能力：它会写一些基础诗歌，能够讲述更丰富且连贯的故事，并且开始能够进行初步的

图 3：当时人们认为 GPT-3 令人印象深刻的一些示例。上图：在收到一条简单指令后，GPT-3 能够在新句子中使用一个虚构的词。左下图：GPT-3 能够进行内容丰富、来回互动的故事创作。右下图：GPT-3 能够生成一些非常简单的代码。

编程，能够相当可靠地从简单的指令和演示中学习，等等。

GPT-4（2023）~ 聪明的高中生：“哇，它能编写相当复杂的代码并进行迭代调试；它能以富有见地且成熟复杂的方式撰写有关复杂主题的文章；它能推理解决有难度的高中数学竞赛题；无论我们让它参加什么测试，它都能击败绝大多数高中生，等等。”从编程到数学，再到费米估算，它能够思考和推理。GPT-4 现在已经能在我的日常任务中发挥作用，从协助编写代码到修改草稿。

图 4：摘自《通用人工智能的火花》（“Sparks of AGI”）论文，展示了 GPT-4 发布时人们认为令人印象深刻的部分能力。上：它正在编写非常复杂的代码（生成中间所示的图表），并且能够推理解决有一定难度的数学问题。左下：解决一道 AP 数学题。右下：解决一道相当复杂的编程题。此处还有对 GPT-4 能力进行探索所得的更多有趣摘录。

从 AP 考试到 SAT，GPT-4 在各类考试中的成绩都优于绝大多数高中生。

当然，即使是 GPT-4，目前的表现仍然有些不均衡；对于某些任务，它远胜于聪明的高中生，而另一些任务它还无法完成。尽管如此，我倾向于认为，这些局限大多归因于模型仍以一些显而易见的方式受到束缚，稍后我会对此进行深入讨论。原始智能（基本上）已经具备，尽管模型仍受到人为限制；要让模型能够在各种应用中充分运用这种原始智能，还需要额外的工作来解锁其能力。

图 5：仅仅四年间取得的进展。你位于这条线上的什么位置？

深度学习的发展趋势

过去十年间，深度学习的进步速度简直非同寻常。仅仅十年前，一个深度学习系统能够识别简单图像，就足以称得上革命性突破。如今，我们不断尝试提出新颖且难度越来越高的测试，但每一个新基准都很快被攻克。过去，攻克广泛使用的基准需要数十年；而现在，感觉只需短短几个月。

我们的基准实际上快要用完了。举个例子，我的朋友 Dan 和 Collin 几年前，也就是 2020 年，制作了一个名为 MMLU 的基准。他们希望终于能够打造出一个经得起时间考验的基准，其难度相当于我们为高中生和大学生设置的所有最难考试。然而仅仅三年后，它基本上就已被攻克：像 GPT-4 和 Gemini 这样的模型

图 6：深度学习系统正在许多领域迅速达到或超过人类水平。制图：Our World in Data

达到约 90%。

更广泛地说，GPT-4 基本攻克了所有标准的高中和大学能力测试（图 7）。⁵

再来看 MATH 基准测试，它由一组源自高中数学竞赛的高难度数学题组成。⁶ 该基准测试于 2021 年发布时，GPT-3 仅答对了约 5% 的题目。原论文还指出：“此外，我们发现，如果规模扩展趋势继续下去，仅仅增加预算和模型参数量，将无法切实实现强大的数学推理能力 […]。要在数学问题求解方面取得更大进展，我们可能需要更广泛的研究群体带来新的算法进步”——要解决 MATH，我们需要基础性的新突破，至少他们当时是这么认为的。一项针对机器学习研究人员的调查预测，未来几年进展甚微（图 8）；⁷ 然而，仅仅一年之内（到 2022 年年中），最佳模型的准确率就从约 5% 提升到了 50%；如今，MATH 基本已被攻克，近期表现超过 90%。

5 不，这些测试并不在训练集中。AI 实验室投入了切实的努力来确保这些评估未受污染，因为它们需要良好的测量结果，才能开展高质量的科学研究。ScaleAI 最近对此所做的一项分析证实，领先的实验室并未对这些基准测试过拟合（不过，一些规模较小的大语言模型开发者可能在给自己的数字“注水”）。

6 原论文指出：“我们还在 MATH 上对人类进行了评估，发现一名并不特别喜欢数学的计算机科学博士生在 MATH 上取得了约 40% 的成绩，而一名三届 IMO 金牌得主取得了 90% 的成绩，这表明 MATH 对人类而言同样可能颇具挑战性。”

7 一位合著者指出：“当我们的小组首次发布 MATH 数据集时，至少有一位［机器学习研究人员同事］告诉我们，这是一个毫无意义的数据集，因为它远远超出了机器学习模型所能实现的范围（事实上，我自己对此也有些担忧）。”

图 7：GPT-4 在标准化测试中的得分。另请注意，在这些测试的人类百分位排名中，从 GPT-3.5 到 GPT-4 出现了巨大跃升，往往从远低于人类中位数跃升至人类水平范围的最顶端。（而且这是 GPT-3.5——一个在 GPT-4 发布前不到一年才发布、相当新的模型——并不是我们之前谈到的那个笨拙、仅有小学水平的老旧 GPT-3！）

图 8：灰色：2021 年 8 月对 2022 年 6 月 MATH 基准测试（来自高中数学竞赛的高难度数学题）表现所作的专业预测。红星：截至 2022 年 6 月的实际最先进水平，甚至远远超过了预测者给出的区间上限。处于中位数水平的机器学习研究人员甚至更为悲观。

一次又一次，年复一年，怀疑者声称“深度学习无法做到 X”，却很快被证明是错的。⁸ 如果说我们从过去十年的 AI 发展中学到了一条教训，那就是永远不要押注深度学习会失败。

如今，最困难的尚未解决的基准测试是 GPQA 之类的测试，它由一组博士水平的生物学、化学和物理学问题组成。其中许多问题在我看来就像莫名其妙的胡言乱语，即便其他科学领域的博士花费 30 多分钟并借助 Google 作答，得分也仅略高于随机猜测。目前 Claude 3 Opus 的得分约为 60%，⁹相比之下，相关专业领域博士的得分约为 80%——而且我预计，再过一两代模型，这项基准测试也会被攻克。

8 这里是 Yann LeCun 在 2022 年作出的预测：即使是 GPT-5000，也无法推理现实世界中的物理交互；显然，仅仅一年后，GPT-4 就能轻松做到这一点。

这里是 Gary Marcus 在 GPT-2 发布后预测的那些壁垒被 GPT-3 突破，以及他在 GPT-3 发布后预测的那些壁垒被 GPT-4 突破。

这里是 Prof. Bryan Caplan 输掉了他的首次公开赌约（此前，他因保持公开打赌全胜纪录而闻名）。2023 年 1 月，在 GPT-3.5 的经济学期中考试中只拿到 D 之后，Prof. Caplan 与 Matthew Barnett 打赌：到 2029 年，不会有任何 AI 能在他的经济学期中考试中拿到 A。仅仅两个月后，GPT-4 发布，并迅速在他的期中考试中拿到了 A（而且这个成绩本可以位列他班级中的最高分之列）。 9 在 diamond 测试集上，让模型使用思维链尝试 32 次后进行多数投票。

图 9：GPQA 问题示例。模型在这方面已经比我强了，而且我们很可能很快就会突破专家博士水平……

计算 OOM

这是怎么发生的？深度学习的神奇之处在于它_就是有效_——尽管每一步都有人唱衰，但趋势线一直保持着惊人的一致性。

有效算力每增加一个 OOM，模型都会以可预测且可靠的方式变得更好。¹⁰ 如果我们能计算 OOM，就能（粗略地、定性地）外推能力的提升。¹¹ 正因如此，少数有先见之明的人预见到了 GPT-4 的到来。

我们可以把从 GPT-2 到 GPT-4 这四年间的进步分解为三类规模扩展：

算力：我们正在使用规模大得多的计算机来训练这些模型。
算法效率：算法不断进步已形成持续趋势。其中许多进步相当于“算力倍增器”，我们可以将它们统一换算到不断增长的_有效算力_尺度上。

” ”
1. 解除束缚带来的增益：默认情况下，模型会学到许多令人惊叹的原始能力，但它们会以各种愚蠢的方式受到束缚，从而限制其实用价值。借助基于人类反馈的强化学习（RLHF）、思维链（CoT）、工具和脚手架等简单的算法改进，我们可以解锁大量潜在能力。

图 10：扩展算力所产生的效果，以 OpenAI Sora 为例。

10 值得注意的是，这些趋势线究竟有_多么一致_。将最初的规模定律论文与此后关于算力及算力效率扩展的一些估算结合起来，可以推导出一个跨越_超过 15 个数量级_（有效算力提升超过 1,000,000,000,000,000 倍！）且始终一致的扩展趋势。

11 一个常见误解是，规模扩展只适用于困惑度损失，但我们在基准测试的下游性能上同样看到了非常清晰且一致的扩展规律。通常只需要找到正确的双对数图即可。例如，在 GPT-4 博文中，他们使用 MLPR（平均对数通过率）展示了编程问题性能在跨越 6 个 OOM（算力提升 1,000,000 倍）时保持一致的扩展规律。

论文《Are Emergent Abilities a Mirage?》提出了类似的观点：只要选择正确的指标，下游任务的性能几乎总会呈现一致的趋势。

更广泛地说，“扩展假说”的定性观察——模型能力随规模扩大呈现出非常清晰的趋势——早于损失扩展曲线；“规模定律”研究只是对这一现象进行了正式测量。

我们可以“计算这些数量级”，衡量沿这些轴取得的改进：也就是说，以有效算力为单位，追踪每个轴上的规模扩展。3x 是 0.5 OOM；10x 是 1 OOM；30x 是 1.5 OOM；100x 是 2 OOM；以此类推。我们还可以考察，从 2023 年到 2027 年，在 GPT-4 的基础上，我们应该预期会出现什么。

我会逐项讨论，但结论很明确：我们正在快速跨越一个又一个 OOM。数据墙可能会带来一些阻力，我将在后文讨论——但总体而言，到 2027 年，我们很可能应该预期在 GPT-4 的基础上，再出现一次幅度相当于从 GPT-2 到 GPT-4 的跃升。

算力

我将从近期进展中最常被讨论的驱动因素讲起：向模型投入（大量）更多算力。

许多人认为，这仅仅归功于摩尔定律。但即便是在过去摩尔定律最为鼎盛的年代，其发展速度相对而言也_极其缓慢_——每十年或许只有 1–1.5 个 OOM。我们如今看到的算力规模扩展要快得多——速度接近摩尔定律的 5 倍——这其实源于巨额的_投资_。（过去，花费哪怕一百万美元训练单个模型，都是一个离谱到无人会考虑的想法，而如今这不过是零花钱！）

模型	估算算力	增长
GPT-2（2019）	~4e21FLOP
GPT-3（2020）	~3e23FLOP	+ ~2OOM
GPT-4（2023）	8e24至4e25FLOP	+ ~1.5–2OOM

表 1：Epoch AI 对 GPT-2 至 GPT-4 算力的估算。

我们可以使用 Epoch AI 的公开估算（该机构因其对 AI 趋势的出色分析而广受尊重），追踪 2019 年至 2023 年的算力规模扩展。从 GPT-2 到 GPT-3 的规模扩展十分迅速；当时存在大量尚未利用的算力空间，即从较小规模的实验扩展到使用整个数据中心来训练大型语言模型。随着从 GPT-3 扩展到 GPT4，我们进入了现代模式：必须为下一个模型构建一个全新的（大得多的）算力集群。然而

这种急剧增长仍在继续。总体而言，Epoch AI 的估算表明，GPT-4 的训练所使用的原始算力约为 GPT- 的 3,000 倍至 10,000 倍。2.

从宏观上看，这只是一个持续已久的趋势的延续。在过去十五年左右的时间里，主要由于投资规模的广泛扩大（以及以 GPU 和 TPU 的形式针对 AI 工作负载专门设计芯片），用于前沿 AI 系统训练的算力一直以约每年 0.5 个数量级的速度增长。

图 11：随时间变化的著名深度学习模型训练算力。来源：Epoch AI。

在一年内从 GPT-2 到 GPT-3 的算力扩展是一次不同寻常的积压释放，但所有迹象都表明，这一长期趋势将会持续。旧金山的传言圈里充斥着有关巨额 GPU 订单的惊人故事。所涉及的投资将极为庞大——但它们已经启动。我会在本系列后面的 IIIa《奔向万亿美元算力集群》中进一步讨论这一点；根据该部分的分析，到 2027 年底，算力再增加 2 个数量级（即一个耗资数百亿美元的算力集群）似乎极有可能实现；甚至建设一个算力接近增加 3 个数量级（耗资 1,000 亿美元以上）的算力集群似乎也合乎情理（并且有传言称 Microsoft/OpenAI 正在推进此事）。

算法效率

尽管对算力的大规模投资吸引了所有关注，但算法进步很可能也是一个同等重要的进步驱动力（而且一直被严重低估）。

要了解算法进步究竟能产生多大的影响，请看下面这张图（图 12）：仅仅在_两年时间里_，在 MATH 基准测试（高中数学竞赛题）上达到约 50% 准确率所需的成本大幅下降。（作为对比，一名并不特别喜欢数学的计算机科学博士生得分为 40%，因此这一成绩已经相当不错。）不到两年，推理效率提高了近 3 个数量级——即 1,000 倍。

尽管这些数字仅涉及推理效率（它们可能对应、也可能不对应训练效率的提升；后者的数据更难从公开资料中推断），但它们清楚地表明，算法进步拥有并且正在实现_极其巨大_的空间。

图 12：对达到约 50% MATH 表现所需相对推理成本的粗略估算。

计算过程如下。

Gemini 1.5 Flash 在 MATH 上得分为 54.9%，每百万 token 的成本为 $0.35/$1.05（输入/输出）。GPT-4 在发布前的 MATH 测试中得分为 42.5%，在 2023 年初的 MATH 测试中得分为 52.9%，每百万 token 的成本为 $30/$60（输入/输出）；即每个 token 的成本比 Gemini 1.5 Flash 高 85 倍/57 倍（输入/输出）。为保守起见，我在上图中采用了成本下降 30 倍的估算（考虑到 Gemini 1.5 Flash 在推理解决问题时可能会使用更多 token）。

Minerva540B 在 MATH 上得分为 50.3%，使用了对 64 个样本进行多数投票的方法。一位熟悉情况的朋友估计，这里的基础模型在推理时的成本可能是 GPT-4 的 2–3 倍。不过，快速抽查显示，Minerva 每个答案使用的 token 数似乎略少。更重要的是，Minerva 需要 64 个样本才能达到这一表现；如果例如通过推理 API 以简单直接的方式运行，这意味着成本会简单地增加 64 倍。在实践中，运行评估时可以缓存提示词 token；在使用少样本提示词的情况下，即使将输出 token 计算在内，提示词 token 也很可能占据成本的大部分。假设获取单个样本时，输出 token 占成本的三分之一，那么在使用缓存的情况下，maj@64 带来的成本增幅将仅为约 20 倍。为保守起见，我在上图中采用了成本下降 20 倍这一粗略数字（即使通过 API 运行时，推理成本的简单下降幅度会更大）。

在本文中，我会区分两类算法进展。这里，我将首先介绍“范式内”的算法改进——即那些只会带来更好的基础模型，并直接充当算力效率提升或算力倍增器的改进。例如，一种更好的算法可能让我们仅用原来十分之一的训练算力就达到相同的性能。相应地，这将等同于有效算力增加 10 倍（1 OOM）。（稍后，我将介绍“解除束缚”，你可以将其理解为“扩展范式/扩展应用”的算法进展，它能够释放基础模型的能力。）

如果我们退后一步，观察长期趋势，似乎会发现新的算法改进正以相当稳定的速率出现。单项发现看起来具有随机性，而且每一步似乎都有难以逾越的障碍——但长期趋势线却是可预测的，在图表上呈现为一条直线。相信趋势线。

ImageNet 的数据最为完善（该领域的算法研究大多是公开的，而且我们拥有可追溯至十年前的数据）；在 2012 年至 2021 年的 9 年间，其算力效率一直以约每年 0.5 OOM 的速度提升。

这意义重大：它意味着在 4 年后，我们可以仅用约原来百分之一的算力达到相同的性能（与此同时，使用相同算力则可以获得高得多的性能！）。

图 13：我们可以衡量算法进展：与 2012 年相比，2021 年训练一个性能相同的模型所需的算力减少了多少？我们看到，算法效率呈现出约每年提升 0.5 OOM 的趋势。来源：Erdil and Besiroglu 2022。

遗憾的是，由于实验室不公开这方面的内部数据，因此前沿大语言模型的算法进展更难衡量

在过去四年中。EpochAI 的新研究在语言建模领域的 ImageNet 上复现了他们的结果，并估计从 2012 年到 2023 年，大语言模型中的算法效率趋势同样约为每年 0.5 OOM。（不过，这一估计的误差范围更大，而且没有涵盖一些较近期的进展，因为领先实验室已经停止公布其算法效率。）

更直接地审视过去 4 年，从 GPT-2 到 GPT-3 基本上只是一次简单的规模扩展（根据论文所述），但自 GPT-3 以来，已经出现了许多公开已知以及可从公开信息推断出的进展：

我们可以从 API 成本推断出效率提升：¹²
- GPT-4 发布时的成本与 GPT-3 发布时大致相同，尽管其性能提升极其巨大。¹³（如果我们基于规模定律进行一种朴素且过度简化的粗略估算，这意味着从 GPT-3 到 GPT-4 的有效算力增长中，或许大约有一半来自算法改进。¹⁴）
- 自一年前 GPT-4 发布以来，随着 GPT-4o 的发布，OpenAI 的 GPT-4 水平模型价格又下降了 6 倍/4 倍（输入/输出）。

图 14：Epoch AI 对语言建模算法效率的估算。他们的估算表明，我们在 8 年内取得了约 4 OOM 的效率提升。

12 尽管这些是推理效率（而不一定是训练效率），并且在一定程度上会反映推理专用的优化，但 a）它们表明，通常而言，巨量的算法进步是可能实现的，而且正在发生；b）一种算法改进往往既能提高训练效率，也能提高推理效率，例如通过减少所需的参数数量。

13 GPT-3：每 100 万 token 60 美元；GPT-4：每 100 万输入 token 30 美元，每 100 万输出 token 60 美元。

14 Chinchilla 规模定律指出，参数数量与数据量应当以相同比例扩展。也就是说，参数数量增长的“数量级数”是有效训练算力增长数量级数的“一半”。与此同时，直观来看，参数数量大致与推理成本成正比。在其他条件相同的情况下，推理成本保持不变因而意味着，有效算力增长的一半数量级被算法上的突破“抵消”了。

不过，需要明确的是，这是一种非常朴素的计算（仅用于粗略说明），在许多方面并不准确。可能存在推理专用的优化（无法转化为训练效率）；也可能存在不减少参数数量的训练效率提升（因而无法转化为推理效率）；诸如此类。

最近发布的 Gemini 1.5 Flash 在性能上介于“GPT3.75 水平”和 GPT-4 水平之间，¹⁵而成本比最初的 GPT-4 低 85 倍/57 倍（输入/输出）（惊人的提升！）。
Chinchilla 规模定律带来了 3 倍以上（0.5 个以上数量级）的效率提升。¹⁶
Gemini 1.5 Pro 宣称实现了显著的算力效率提升（在使用“显著更少”算力的同时，性能超过 Gemini 1.0 Ultra），并将专家混合（MoE）列为一项重点架构变更。其他论文也声称 MoE 能够带来数倍的算力效率提升。
架构、数据、训练栈等方面一直存在大量调整与改进。¹⁷

综合来看，公开信息表明，从 GPT-2 到 GPT-4 的跃升包含了 1—2 个数量级的算法效率提升。¹⁸

15 在聊天机器人排行榜 LMSys 上，Gemini 1.5 Flash 的排名与 GPT-4 相近（高于最初的 GPT-4，低于更新版本的 GPT-4）；在 MATH 和 GPQA（衡量推理能力的评测）上的表现与最初的 GPT-4 相近；而在 MMLU（一项更偏重衡量知识的评测）上的表现则大致处于 GPT3.5 和 GPT-4 之间。

16 在约 GPT-3 规模时为 3 倍以上，在更大规模时提升更高。

17 例如，这篇论文比较了 GPT-3 风格的原始 Transformer 与多年来发表的各种针对架构和训练方案的简单改动（使用 RMSnorms 代替 layernorm、采用不同的位置嵌入、SwiGlu 激活函数、使用 AdamW 优化器代替 Adam 等），并将后者称为“Transformer++”；这意味着，至少在小规模下可实现 6 倍提升。

18 如果采用每年 0.5 个数量级的趋势，并考虑 GPT-2 与 GPT-4 的发布时间相隔 4 年，那么提升将达到 2 个数量级。然而，从 GPT-2 到 GPT-3 只是一次简单的规模扩展（此前已经通过 Transformer 等取得了巨大提升），而且 OpenAI 声称 GPT-4 的预训练已于 2022 年完成，这可能意味着我们在这里应该计入的算法进步更接近 2 年。将 1 个数量级的算法效率提升视为保守下限似乎是合理的。

图 15：进展的分解：算力与算法效率。（粗略示意图。）

在 GPT-4 之后的 4 年里，我们应该预期这一趋势将会延续：¹⁹算力效率平均每年提升约 0.5 OOM，即到 2027 年，相较于 GPT-4 将获得约 2 OOM 的提升。随着唾手可得的成果被逐渐摘取，算力效率提升将变得更难实现，但 AI 实验室为寻找新的算法改进而投入的资金和人才正在迅速增长。²⁰（至少，从公开信息可以推断出的推理成本效率，似乎完全没有放缓。）在较为乐观的情况下，我们甚至可能看到更具根本性的、类似 Transformer 的²¹突破，带来更大的提升。

19 至少，鉴于算法在十余年间持续取得稳定改进，举证责任应当落在那些声称这一切会突然停滞的人身上！

20 考虑到算力集群的成本，算力效率提升 3 倍所带来的经济回报将以数百亿美元乃至更高计。21 非常粗略地说，大约是 10 倍的提升。

综合来看，这表明到 2027 年底，我们应该预期算法效率（相较于 GPT-4）提升约 1–3 OOM，最佳估计或许是约 2 OOM。

数据之墙

这一切存在一个可能很重要的变数来源：我们的互联网数据快要用完了。这可能意味着，用更多抓取的数据对更大的语言模型进行预训练这一朴素方法，很快就会开始遭遇严重瓶颈。

前沿模型已经使用了互联网中的大部分数据进行训练。例如，Llama 3 使用了超过 15T 个词元进行训练。Common Crawl 是用于 LLM 训练、涵盖互联网大量内容的数据转储，其原始数据超过 100T 个词元，不过其中很大一部分是垃圾内容和重复内容（例如，相对简单的去重就会将其缩减至 30T 个词元，这意味着 Llama 3 基本上已经使用了全部数据）。此外，对于代码等更具体的领域，可用词元数量还要少得多，例如，据估计，公开 github 仓库仅包含数万亿规模的词元。

通过重复使用数据，你还可以再推进一些，但相关学术研究表明，重复带来的提升十分有限：研究发现，在经过 16 个 epoch（即重复 16 次）后，回报会极快地递减至零。在某个时点，即便拥有更多（有效）算力，由于数据约束，让模型变得更好也可能困难得多。这一点不应被低估：我们一直以来所依赖的是

规模曲线正乘着语言建模预训练范式的浪潮前进；如果这里没有新的突破，这一范式（至少按朴素推断）将走到尽头。尽管投入巨大，我们仍会进入平台期。

据传，所有实验室都在对新的算法改进或方法进行大规模研究押注，以绕过这一障碍。据称，研究人员正在尝试许多策略，从合成数据到自我博弈和强化学习方法。业内人士似乎非常乐观：Dario Amodei（Anthropic 的 CEO）最近在一档播客中表示：“如果非常朴素地看，我们距离耗尽数据并没有那么远了［……］我猜这不会成为一个阻碍［……］实现它的方法实在太多了。”当然，如今这方面的任何研究成果都是专有的，不会公开发表。

除了业内人士的乐观态度之外，我认为，还有一个非常有说服力的直观理由，说明我们应该能够找到以高得多的样本效率训练模型的方法（即让模型能从有限数据中学到更多的算法改进）。想想你我会如何从一本内容极其密集的数学教材中学习：

现代大语言模型在训练期间所做的事情，本质上就是极其迅速地浏览教材，文字只是从眼前_飞掠而过_，并不会为此投入多少脑力。
相比之下，当你我阅读那本数学教材时，我们会慢慢读上几页；然后在脑海中围绕这些材料展开内心独白，并与几位学习伙伴讨论；再读一两页；接着尝试做一些练习题，失败后换一种方法重试，获得一些针对这些题目的反馈，再次尝试，直到把题目做对；如此反复，直到最终“豁然开朗”，理解这些材料。
如果你我所能做的，只是像大语言模型那样匆匆浏览一本内容密集的数学教材，那么读完一遍之后，我们也几乎学不到任何东西。²²

22 而且，只是一遍又一遍地重读同一本教材，可能带来的只是记忆，而非理解。我想这就是许多文字型选手通过数学课的方式！

但或许，我们可以通过某些方式融入人类消化一本内容密集的数学教科书时所采用的方法，让模型从有限的数据中学到更多。简而言之，这类做法——围绕材料展开内心独白、与学习伙伴讨论、反复尝试解决问题并经历失败，直至豁然开朗——正是许多合成数据／自我博弈／强化学习方法试图实现的目标。²³

以往训练模型的最先进方法简单而朴素，但它行之有效，所以没有人真正下大力气去攻克这些提高样本效率的方法。如今，随着样本效率可能成为更重要的制约因素，我们应该会看到所有实验室投入数十亿美元，并集结最聪明的人才来攻克它。深度学习中有一种常见模式：要把细节做对，需要付出_大量_努力（并经历许多失败的项目），但最终，某个显而易见且简单的方法版本就是能奏效。鉴于过去十年中，深度学习已经成功冲破了每一道所谓的壁垒，我的基准判断是，这次也会是类似的情况。

此外，攻克合成数据等某项算法押注，实际上似乎有可能显著_改进_模型。这里提供一种直觉启发。当前的前沿模型（如 Llama 3）是在互联网上训练的——而互联网中的大部分内容都是垃圾，比如电子商务、SEO 或诸如此类的东西。许多大语言模型将绝大部分训练算力花在这些垃圾内容上，而不是真正的高质量数据（例如，人们逐步解决困难科学问题的推理链）。想象一下，如果你能把 GPT-4 级别的算力完全用于极高质量的数据——得到的模型可能会强大得多、强大得多。

回顾一下 AlphaGo——第一个击败围棋世界冠军的 AI 系统，而且比人们认为可能实现这一目标的时间早了数十年——在这里同样很有帮助。²⁴

23 我认为另一种思考方式也很有意思：预训练与上下文学习之间存在一个“缺失的中间层”。

上下文学习_令人难以置信_（而且其样本效率足以与人类媲美）。例如，Gemini 1.5 Pro 论文讨论了这样一种做法：在上下文中向模型提供 Kalamang 语的教学材料（一本教科书和一本词典）；Kalamang 语的使用者不足 200 人，在互联网上基本不存在——而模型学会了以人类水平将英语翻译成 Kalamang 语！在上下文中，模型能够像人类一样出色地从教科书中学习（而且远胜于仅仅把那一本教科书直接扔进预训练时的学习效果）。

当人类从教科书中学习时，他们能够通过练习，将短期记忆／所学内容提炼为长期记忆／长期技能；然而，我们没有一种对等的方法，能够将上下文学习“提炼回模型权重”。合成数据／自我博弈／强化学习等方法正试图解决这一问题：让模型自行学习，然后思考并练习它所学到的内容，再把这些学习成果提炼回模型权重之中。

24 另请参阅 Andrej Karpathy 在此讨论这一问题的演讲。

在第 1 步中，AlphaGo 通过模仿学习，利用人类围棋专家的对局进行训练。这为它奠定了基础。
在第 2 步中，AlphaGo 与自己进行了数百万盘对弈。这使它在围棋上达到了超越人类的水平：还记得与 Lee Sedol 对弈时那著名的第 37 手吗？那是极其不同寻常却又精妙绝伦的一手，人类绝不会这样下。

为大语言模型开发出与第 2 步相对应的方法，是突破数据墙的一个关键研究问题（而且，最终也将成为超越人类水平智能的关键）。

说了这么多，归根结底，数据约束似乎给未来几年人工智能进展的预测带来了巨大的双向误差范围。事情确实很有可能陷入停滞（大语言模型的重要性或许仍可比肩互联网，但我们不会实现真正疯狂的通用人工智能）。不过，我认为可以合理推测，各实验室将会攻克这个问题，而这样做不仅会让规模扩展曲线延续下去，还可能使模型能力实现巨大跃升。

顺带一提，这也意味着，与今天相比，我们应当预期未来几年不同实验室之间会出现更大的差异。直到不久前，最先进的技术还会公开发表，因此大家基本上都在做同样的事情。（而且，由于方法配方已经公开，新兴团队或开源项目也能轻松与前沿水平竞争。）如今，关键的算法构想正日益成为专有秘密。我预计，各实验室采用的方法将出现更大分化，一些实验室的进展会比另一些更快——即使是目前看似处于前沿的实验室，也可能被困在数据墙前，而其他实验室则取得突破，从而一路飞速领先。开源项目也将更难参与竞争。这无疑会让局势变得有趣。（而且，如果某个实验室最终找到了破解之道，它的突破将成为实现通用人工智能的关键、实现超级智能的关键——并成为 United States 最珍贵的秘密之一。）

解除束缚

最后一类改进最难量化，但其重要性丝毫不减：我称之为“解除束缚”。

想象一下，如果有人要求你解决一道数学难题，而你必须立即用脑海中浮现的第一个答案作答。显然，除了最简单的问题之外，你都会感到难以应对。但直到最近，我们一直让大语言模型以这种方式解决数学问题。相比之下，我们大多数人会在草稿纸上逐步推演问题，并因此能够解决困难得多的问题。“思维链”提示让大语言模型也获得了这种能力。尽管模型的原始能力十分出色，但由于受到一种显而易见的束缚，其数学表现远低于本可达到的水平；而只需一项很小的算法调整，就能释放强大得多的能力。

过去几年，我们在为模型“解除束缚”方面取得了巨大进展。这些算法改进并不只是训练出更好的基础模型——而且往往只使用预训练算力的一小部分——却能够释放模型的能力：

基于人类反馈的强化学习（RLHF）。基础模型拥有惊人的_潜在_能力，²⁵但它们尚未经雕琢，使用起来极其困难。大众通常认为 RLHF 只不过是审查脏话，但 RLHF 一直是让模型真正具备实用性和商业价值的关键（不再让模型预测随机的互联网文本，而是让它们真正运用自身能力，尝试回答你的问题！）。这正是 ChatGPT 的魔法所在——出色的 RLHF 首次让模型变得可用，并且能真正帮助普通人。最初的 InstructGPT 论文对此进行了很好的量化：就人类评分者的偏好而言，一个经过 RLHF 的小模型，等同于一个未经 RLHF、规模大 100 倍以上的模型。

25 从某种意义上说，这正是无监督学习的魔法：为了更准确地预测下一个词元、降低困惑度，模型会学习到极其丰富的内部表征，其中涵盖了从（广为人知的）情感到复杂世界模型的一切。然而，在开箱即用的状态下，它们受到束缚：它们仅仅使用自己惊人的内部表征来预测随机互联网文本中的下一个词元，而没有以最佳方式运用这些表征，真正尝试解决你的问题。

思维链（CoT）。如前所述。CoT 仅在 2 年前才开始得到广泛应用，而在数学/推理问题上，它可以带来相当于有效算力提升 10 倍以上的效果。
脚手架。可以将其理解为 CoT++：不只是要求模型

为了解决一个问题，让一个模型制定攻克计划，让另一个模型提出一系列可能的解决方案，再让另一个模型对其进行批评，依此类推。例如，在 HumanEval（编程问题）上，简单的脚手架就能让 GPT-3.5 的表现优于未使用脚手架的 GPT-4。在 SWE-Bench（一个解决现实世界软件工程任务的基准测试）上，GPT-4 只能正确解决约 2% 的任务，而借助 Devin 的智能体脚手架，这一比例跃升至 14–23%。（不过，智能体能力的释放仍处于起步阶段，我将在后文进一步讨论。）

工具： 想象一下，如果人类不被允许使用计算器或计算机会怎样。我们在这方面才刚刚起步，但 ChatGPT 现在已经可以使用网页浏览器、运行一些代码，等等。
上下文长度。模型已经从 2k token 的上下文（GPT-3），发展到 32k 上下文（GPT-4 发布时），再到 1M+ 上下文（Gemini 1.5 Pro）。这是一件_极其重大_的事。一个小得多的基础模型，如果拥有例如 100k token 的相关上下文，其表现可以优于一个大得多、但只有例如 4k 相关 token 上下文的模型——更多上下文实际上相当于大幅提升了算力效率。²⁶ 更广泛地说，上下文是释放这些模型众多应用潜力的关键：例如，许多编程应用需要理解代码库的大部分内容，才能有效地贡献新代码；又或者，如果你使用模型来帮助撰写工作文档，它确实需要大量相关内部文档和对话提供的上下文。Gemini 1.5 Pro 凭借其 1M+ token 的上下文，甚至能够从零开始学习一门新语言（一门互联网上不存在的低资源语言），只需将词典和语法参考资料放入上下文中即可！

26 参见更新版 Gemini 1.5 白皮书中的图 7，其中比较了 Gemini 1.5 Pro 与 Gemini 1.5 Flash（一个便宜得多、推测也更小的模型）的困惑度与上下文之间的关系。

后训练改进。 据 John Schulman 所言，当前的 GPT-4 相比最初发布时的 GPT-4 已有显著改进，这得益于后训练改进释放了模型的潜在能力：在推理评测上，它取得了显著进步（例如，MATH 上约从 50% 提升至 72%，GPQA 上约从 40% 提升至约 50%）；在 LMSys 排行榜上，其 Elo 评分跃升了近 100 分（可与 Claude 3 Haiku 和规模大得多的 Claude 3 Opus 之间的 Elo 差距相当，而这两个模型的价格相差约 50 倍）。

Epoch AI 对其中一些技术（如脚手架、工具使用等）开展的一项调查发现，在许多基准测试中，此类技术通常可以带来相当于 5-30 倍的有效算力增益。METR（一个评估模型的机构）同样发现，通过对同一个 GPT-4 基础模型解除束缚，其智能体任务集上的性能得到了非常显著的提升：仅使用基础模型时为 5%，发布时经过后训练的 GPT-4 为 20%，而如今凭借更好的后训练、工具和智能体脚手架，已接近 40%（图 16）。

图 16：通过更好地解除束缚，METR 智能体任务上的性能随时间推移而提升。来源：Model Evaluation and Threat Research

虽然很难将这些增益与算力和算法效率一起归入一个统一的有效算力尺度，但显而易见的是，这些都是_巨大的_增益，至少与算力扩展和算法效率提升大致处于相近的数量级。（这也凸显了算法进步的核心作用：每年约 0.5 OOM 的算力效率提升本身已相当显著，但它只是故事的一部分；若再加上解除束缚方面的算法进步，从当前趋势来看，算法进步带来的总体增益甚至可能占据大多数。）

“解除束缚”实际上是使这些模型变得有用的一大关键因素——而且我认为，如今阻碍许多商业应用发展的很大一部分原因，正是仍需进一步进行此类“解除束缚”。事实上，如今的模型仍然受到难以置信的严重束缚！例如：

• 它们没有长期记忆。

图 17：进展的分解：算力、算法效率和解除束缚。（粗略示意图。）

它们无法使用计算机（仍然只有非常有限的工具）。
它们在说话前基本上仍然不会思考。当你要求 ChatGPT 写一篇文章时，这就像是指望人类通过最初的意识流来写文章。²⁷

27 不过，人们正在研究这一点。

它们（大多数情况下）只能进行简短的来回对话，而无法离开一天或一周，思考某个问题、研究不同的方法、咨询其他人类，然后为你撰写一份更长的报告或拉取请求。
它们大多没有针对你或你的应用进行个性化定制（只是一个带有简短提示词的通用聊天机器人，而不是掌握与你的公司和工作有关的所有背景信息）。

这里的可能性极其巨大，而我们正在迅速摘取这里低垂的果实。这一点至关重要：仅仅想象“GPT-6 ChatGPT”是完全错误的。 随着解除束缚的持续推进

进展带来的改进相较于 GPT-6 + RLHF 将是阶跃式的。到 2027 年，你面对的将不再是聊天机器人，而是更像智能体、像同事一样的东西。

从聊天机器人到智能体同事

未来几年雄心勃勃的解除束缚可能会是什么样子？在我看来，其中有三个关键要素：

解决“入职问题”

GPT-4 具备完成许多人相当一部分工作的基础智能，但它有点像一名 5 分钟前刚刚到岗的聪明新员工：它没有任何相关背景信息，没有读过公司的文档或 Slack 历史记录，没有与团队成员交谈过，也没有花时间了解公司内部的代码库。一名聪明的新员工在到岗 5 分钟后并没有多大用处——但入职一个月后就相当有用了！例如，借助超长上下文，应该有可能像帮助新的人类同事入职一样，让模型“入职”。仅这一点就会释放巨大的潜力。

测试时算力的潜在空间（针对更长周期问题的推理／纠错／系统 II）

目前，模型基本上只能完成短任务：你向它们提出一个问题，它们给你一个答案。但这极大地限制了它们。人类所做的大多数有用的认知工作都具有更长的周期——所需时间不只是 5 分钟，而是数小时、数天、数周或数月。

一位只能用 5 分钟思考难题的科学家不可能取得任何科学突破。一名只能在被要求时为单个函数编写骨架代码的软件工程师不会有多大用处——软件工程师会接到一项更大的任务，然后制订计划，理解代码库的相关部分或

使用技术工具，编写不同的模块并逐步测试，调试错误，在可能的解决方案空间中进行搜索，并最终提交一个凝聚了数周工作成果的大型拉取请求。诸如此类。

从本质上讲，存在巨大的*测试时算力余量。*在思考一个问题时，可以把每个 GPT-4 token 想象成内心独白中的一个词。每个 GPT-4 token 都相当聪明，但目前它实际上只能连贯地使用大约数百个 token 来进行思维链推理（效果上就好像你只能花几分钟进行内心独白或思考一个问题或项目）。

如果它可以使用数百万个 token 来思考和处理真正困难的问题或更大的项目，会怎样？

Token 数量	相当于我在某件事上工作……
数百	几分钟	ChatGPT（我们目前在这里）
数千	半小时	+1OOM 测试时算力
数万	半个工作日	+2OOM
数十万	一个工作周	+3OOM
数百万	数个月	+4OOM

即使“每个 token”的智能水平保持不变，这也相当于一个聪明人在某个问题上花几分钟与花几个月之间的差别。我不知道你如何，但对我而言，几个月内能做到的事情远远远远多于几分钟内能做到的事情。如果我们能够让模型实现“能够花相当于数个月而不是相当于几分钟的时间来思考和处理某件事”，就会释放出一次惊人的能力跃升。这里存在巨大的余量，价值高达许多个 OOM。

表 2：假设人类以约 100 tokens/分钟的速度思考、每周工作 40 小时，将模型以 token 衡量的“思考时长”换算为人类在给定问题/项目上所需的时间。

目前，模型还做不到这一点。即使长上下文技术近期取得了进展，这种更长的上下文也主要仅适用于 token 的输入，而不适用于 token 的生成——过一段时间后，模型就会偏离正轨或陷入停滞。它还无法暂时离开一段时间，去处理一个

独立完成问题或项目。²⁸

但解锁测试时算力可能只需要相对较小的“解除束缚”算法突破。或许少量强化学习就能帮助模型学会纠正错误（“嗯，这看起来不太对，让我再检查一下”）、制定计划、搜索可能的解决方案，等等。从某种意义上说，模型已经具备了大部分原始能力，只需在此基础上再学习一些额外技能，便能将它们融会贯通。

本质上，我们只需教会模型一种 System II 外循环²⁹，使其能够通过推理处理困难的长周期项目。

如果我们成功教会它这种外循环，那么请想象一下：模型给出的不再是几段简短的聊天机器人回答，而是数百万字的文字流（其生成速度快到你来不及阅读）；模型一边思考问题，一边使用工具、尝试不同方法、开展研究、修改自己的工作、与他人协调，并独立完成大型项目。

在其他机器学习领域中权衡测试时算力与训练时算力。 在其他领域，例如棋盘游戏 AI 系统，人们已经证明，可以使用更多测试时算力（也称为推理时算力）来替代训练算力。

28 这是说得通的——它为什么会学会长周期推理和错误纠正所需的技能呢？互联网上几乎没有这种形式的数据：“我在一个月的项目工作过程中完整的内心独白、推理以及所有相关步骤。”要解锁这种能力，就需要一种新的训练方式，使其学会这些额外技能。

或者，正如 Gwern 所说（私人通信）：“‘大脑有银河系那么大，他们却让我做什么？预测基准测试中拼错的答案！’患上抑郁的神经网络 Marvin 呻吟道。”

29 System I 与 System II 是一种有助于理解大语言模型当前能力——包括其局限性和愚蠢错误——以及强化学习和解除束缚可能带来什么的思考方式。可以这样理解：开车时，你大多数时候都处于自动驾驶状态（System I，也就是模型目前主要采用的方式）。但当你遇到复杂的施工路段或陌生的十字路口时，你可能会请坐在副驾驶座上的同伴暂停交谈片刻，好让你弄清楚——真正思考——究竟发生了什么以及该怎么做。如果你被迫仅依靠 System I 生活（更接近当今模型的状态），就会遇到许多麻烦。创造 System II 推理循环的能力，是一项关键突破。

图 18：Jones（2021）：在 Hex 游戏中，如果给予较小模型更多测试时算力（“更多思考时间”），它就能达到远大于自身的模型的水平。在这一领域，他们发现，在测试时多投入约 1.2 OOM 的算力，就能获得与训练算力增加约 1 OOM 的模型相当的性能。

如果类似的关系在我们的情形中也成立，如果我们能够释放 +4 OOM 的测试时算力，那可能相当于 +3 OOM 的预训练算力，也就是说，非常粗略地讲，类似于 GPT-3 到 GPT-4 之间的跃升。（解决这种“解除束缚”问题将等同于一次巨大的 OOM 规模扩展。）

3. 使用计算机

这或许是三者中最直截了当的一项。目前的 ChatGPT 基本上就像一个坐在与世隔绝的盒子里、你可以通过文字与之交流的人。早期的解除束缚改进会教会模型使用一个个彼此孤立的工具，而我预计，借助多模态模型，我们很快就能一举实现这一点：我们只需让模型能够像人类一样使用计算机。

这意味着加入你的 Zoom 通话、在线研究事物、给人们发送消息和电子邮件、阅读共享文档、使用你的应用程序和开发工具，等等。（当然，为了让模型在更长时间跨度的循环中充分利用这些能力，这将与释放测试时算力同步推进。）

到最后，我预计我们将得到一种非常类似于_即插即用的远程员工_的东西。这样一个智能体会加入你的公司，像新入职的人类员工一样接受入职培训，在 Slack 上给你和同事发送消息并使用你的软件，创建拉取请求；而且，当被交付大型项目时，它能够做到相当于人类离开数周、独立完成项目的模型版本。要释放这种能力，你可能需要比 GPT-4 稍好一些的基础模型，但也可能甚至不需要好_那么_多——修复模型目前仍受到束缚的那些显而易见且基础的问题，就蕴藏着巨大的潜力。

（Devin 初步展示了这可能是什么样子；它是一个早期原型，旨在释放模型的“智能体能力积压”/“测试时算力积压”，并朝着创建完全自动化的软件工程师迈进。我不知道 Devin 在实践中的表现如何，而且这个演示仍然非常

与真正实现聊天机器人 → 智能体的解除束缚所能带来的成果相比，这仍然有限，但它是对即将很快到来的事物的一次颇有用的预演。）

顺便说一句，从商业应用的角度来看，解除束缚的核心地位可能会导致一种颇为有趣的“音爆”效应。从现在到即插即用型远程员工出现之间的中间模型，将需要大量繁琐工作来改变工作流程、建设基础设施，以便进行集成并从中获取经济价值。即插即用型远程员工的集成会容易得多——只需，嗯，把它们直接放进去，就能将所有可以远程完成的工作自动化。繁琐工作的耗时似乎很可能会长于解除束缚；也就是说，等到即插即用型远程员工能够将大量工作自动化时，中间模型可能还尚未得到充分利用和集成——因此，由此产生的经济价值跃升可能会在某种程度上呈现不连续性。

未来四年

综合这些数字，我们应该（粗略地）预期：在 GPT-4 发布后的 4 年里，到 2027 年年底，将再次出现一次规模与 GPT-2 到 GPT-4 相当的跃升。

从 GPT-2 到 GPT-4，大致相当于基础有效算力扩大了 4.5–6 个 OOM（物理算力和算法效率），再加上重大的“解除束缚”收益（从基础模型到聊天机器人）。
在随后的 4 年里，我们应该预期基础有效算力扩大 3–6 个 OOM（物理算力和算法效率）——最合理的估计或许是约 5 个 OOM——再加上通过“解除束缚”（从聊天机器人到智能体/即插即用型远程员工）所释放的效用和应用方面的阶跃式变化。

为了直观理解这一点，假设 GPT-4 的训练耗时 3 个月。到 2027 年，一家领先的 AI 实验室将能够在一分钟内训练出一个 GPT-4 级别的模型。³⁰ OOM 级的有效算力扩展

30 基于上文所述有关物理算力和算法效率扩展的最合理估计假设，并对并行方面的考量进行简化（实际上，它可能更像是“在一天内训练 1440（60*24）个 GPT-4 级别的模型”或类似情形）。

图 19：GPT-4 问世前四年间推动进展的各项因素之估算汇总，以及我们对 GPT-4 问世后四年间应有何种预期。

将会是巨大的。

这将把我们带向何方？

从 GPT-2 到 GPT-4，我们从约等于学龄前儿童的水平跃升至约等于聪明高中生的水平；从勉强能够输出几个连贯的句子，发展到能在高中考试中取得优异成绩，并成为实用的编程助手。这是一次惊人的飞跃。如果我们再次跨越与_这次_相同的智能差距，那会把我们带向何方？³¹ 如果这将把我们带到非常、非常遥远的地方，我们不应感到惊讶。它很可能会带来能够超越博士以及某一领域最顶尖专家的模型。

图 20：数量级统计汇总。

31 当然，我们今天拥有的任何基准测试都会达到饱和。但这并不能说明太多；它主要反映了设计出足够困难的基准测试有多难。

（一个巧妙的思考方式是：当前 AI 进步的趋势，正以大约相当于儿童成长速度 3 倍的速度推进。你那个以 3 倍速成长的孩子刚刚高中毕业；还没等你反应过来，它就会抢走你的工作！）

再次强调，关键是不要只想象一个聪明得难以置信的 ChatGPT：解除束缚所带来的增益应当意味着，它看起来更像一个即插即用的远程员工，一个聪明得难以置信的智能体，能够推理、规划和纠错，了解关于你和你公司的一切，并且能够独立地处理一个问题——

独立工作数周。

我们正朝着在 2027 年实现通用人工智能的方向前进。这些 AI 系统基本上将能够自动化几乎所有认知工作（想想：所有可以远程完成的工作）。

需要说明的是——误差范围很大。如果我们耗尽数据，而突破数据墙所必需的算法突破又比预期更难实现，进展可能会停滞。也许解除束缚的效果没有那么显著，我们最终只能得到专家级聊天机器人，而不是专家级同事。也许长达十年的趋势线会被打破，或者深度学习的规模扩展这一次真的会撞墙。（也可能出现算法突破，甚至只是简单的解除束缚，释放出测试时算力的积压潜力，就足以带来范式转变，进一步加速进程，使通用人工智能更早到来。）

无论如何，我们正在飞速跨越一个又一个 OOM；要极其严肃地看待 2027 年实现通用人工智能——真正的通用人工智能——的可能性，并不需要任何深奥玄秘的信念，只需对直线趋势进行外推即可。

如今，许多人似乎都在玩降低通用人工智能定义门槛的游戏，把它说成只是非常优秀的聊天机器人之类的东西。我所指的是这样一种 AI 系统：它能够完全自动化我或我朋友的工作，能够完整承担 AI 研究员或工程师的工作。某些领域，比如机器人技术，在通常情况下或许需要更长时间才能解决。而且，其社会化推广——例如在医疗或法律行业中的推广——很容易因社会选择或监管而放缓。但一旦模型能够自动化 AI 研究本身，这就足够了——足以启动强烈的反馈循环——随后我们可能会极其迅速地取得进一步进展，由自动化的 AI 工程师自己解决全面自动化一切所剩余的全部瓶颈。尤其是，数百万名自动化研究员完全有可能把此后十年的算法进步压缩到一年或更短时间内。通用人工智能只不过是紧随其后即将到来的超级智能的一小口预尝。（下一章将对此展开更多讨论。）

无论如何，不要指望这种令人眩晕的进步速度会减缓。这些趋势线看似平淡无奇，但它们的影响是

令人震撼。正如在它们之前的每一代模型一样，每一代新模型都会令大多数旁观者瞠目结舌；很快，当模型解决那些需要博士花费数天才能解决的极其困难的科学问题时，当它们在你的计算机上飞速穿梭、完成你的工作时，当它们从零开始编写包含数百万行代码的代码库时，当这些模型创造的经济价值每一两年增长 10 倍时，人们都会感到难以置信。忘掉科幻小说，数一数数量级：这正是我们应当预期的。通用人工智能不再是遥不可及的幻想。扩展简单的深度学习技术确实一直有效，模型就是渴望学习，而到 2027 年底，我们即将再实现 100,000 倍以上的扩展。用不了多久，它们就会比我们更聪明。

图 21：GPT-4 仅仅是开始——四年后我们将走到哪里？不要犯低估深度学习快速进步速度的错误（GAN 的进展便说明了这一点）。

补充说明。飞速跨越各个 OOM：成败在此十年

我过去对通用人工智能将在短期内实现的时间线更为怀疑。原因之一是，我认为特别偏重这十年、将如此多关于通用人工智能何时实现的概率质量集中在这十年，似乎并不合理（认为“哦，我们如此特殊”似乎是一种典型的谬误）。我认为，我们应该不确定实现通用人工智能需要什么，而这应该会使通用人工智能可能实现时间的概率分布更加“分散”。

然而，我改变了看法：关键在于，我们对于实现通用人工智能需要什么的不确定性，应当体现在（有效算力的）OOM 上，而不是体现在年数上。

在这十年里，我们正在飞速跨越各个 OOM。即使在摩尔定律已成往事的鼎盛时期，其速度也只有每十年 1–1.5 个 OOM。据我估计，我们将在 4 年内实现约 5 个 OOM，而整个十年总体将实现超过约 10 个 OOM。

图 22：有效算力规模扩大的粗略预测。在这十年里，我们一直在飞速跨越各个 OOM；到 2030 年代初之后，我们将面临缓慢而艰苦的跋涉。

从本质上说，我们正处于一次大规模扩张的中途，在这十年里收获一次性收益，而此后跨越各个 OOM 的进展速度将慢上数倍。如果这次规模扩张无法让我们在未来 5–10 年内实现通用人工智能，那么这可能会是一场

仍然遥遥无期。

支出扩张：过去，花费一百万美元训练一个模型都令人震惊；到本十年末，我们很可能会拥有价值 $100B 或 $1T 的算力集群。要远远超过这一水平将十分困难；这基本上已经是可行上限（无论从大型企业能够负担的金额来看，还是仅从其占 GDP 的比例来看）。此后，我们只能依靠如冰川般缓慢的每年 2% 的实际 GDP 趋势增长来提高这一数额。
硬件增益：AI 硬件的改进速度一直远快于摩尔定律。这是因为我们一直在针对 AI 工作负载专门优化芯片。例如，我们已经从 CPU 转向 GPU；针对 Transformer 调整了芯片；并且采用了精度低得多的数值格式，从传统超级计算所使用的 fp64/fp32 降至 H100 上的 fp8。这些增益非常可观，但到本十年末，我们很可能会拥有完全专门化的 AI 专用芯片，届时将难以再获得多少超越摩尔定律的进一步增益。
算法进步：未来十年，AI 实验室将在算法研发上投入数百亿美元，世界上所有最聪明的人都会从事这项工作；从微小的效率提升到新范式，我们将摘取大量唾手可得的果实。我们大概不会触及任何形式的硬性极限（尽管“解除束缚”的机会很可能是有限的），但至少改进的速度应该会放缓，因为（资金和人力资本投入的）高速增长必然会减缓（例如，大多数聪明的 STEM 人才届时都已经在从事 AI 工作）。（尽管如此，这是最难预测的部分，也是上图中 2030 年代 OOM 数量的大部分不确定性的来源。）

综合来看，这意味着未来十年我们跨越的数量级将远多于此后数十年间可能跨越的数量级。也许这已经足够——我们很快就会实现通用人工智能——也可能迎接我们的是一场漫长而缓慢的艰苦跋涉。你我完全可以合理地对实现通用人工智能所需时间的_中位数_持不同意见，

这取决于我们认为实现通用人工智能会有多难——但鉴于我们目前正飞速跨越一个又一个 OOM，你预测通用人工智能最可能出现的年份，当然应该是在本十年后期左右。

图 23：Matthew Barnett 对此制作了一幅很好的相关可视化图，仅考虑了算力和生物学界限。

II. 从通用人工智能到超级智能：智能爆炸

AI 的进步不会止步于人类水平。数亿个通用人工智能可以实现 AI 研究自动化，将十年的算法进步（5+ OOM）压缩至 1 年。我们将迅速从人类水平迈向远超人类的 AI 系统。超级智能的力量——以及危险——都将是惊人的。

让我们将超智能机器定义为这样一种机器：它能够远远超越任何人——无论其多么聪明——所能进行的一切智力活动。既然设计机器本身就是这些智力活动之一，那么超智能机器便能够设计出更为出色的机器；届时毫无疑问将会发生一场“智能爆炸”，而人类的智能将被远远甩在后面。因此，第一台超智能机器将是人类需要完成的最后一项发明。

i. j. good（1965）

原子弹与超级炸弹

在大众想象中，冷战的恐怖主要可以追溯至 Los Alamos，以及原子弹在那里被发明。但仅就原子弹本身而言，其重要性或许被高估了。从原子弹迈向超级炸弹——氢弹——可以说同样至关重要。

在东京空袭中，数百架轰炸机向这座城市投下了数千吨常规炸弹。同年稍晚，被投向 Hiroshima 的 Little Boy 以单枚装置释放出了相近的破坏力。但仅仅 7 年后，Teller 的氢弹再次将爆炸当量提升了_一千倍_——一枚炸弹的爆炸威力便超过了整个第二次世界大战期间所投下全部炸弹的总和。

原子弹带来的是一场效率更高的轰炸行动。氢弹则是一种足以毁灭一个国家的装置。³²

通用人工智能与超级智能也将如此。

32 冷战时期的许多荒谬现象（参见 Daniel Ellsberg 的著作），都源于仅仅用氢弹取代了原子弹，却没有根据能力的巨大提升相应调整核政策和战争计划。

人工智能的进步不会止步于人类水平。AlphaGo 最初通过学习人类最优秀的棋局来提升能力，随后开始与自己对弈——它很快便达到了超人水平，走出了人类绝不可能想到的、极具创造性且复杂的棋步。

我们在上一篇文章中讨论了通往通用人工智能的道路。一旦实现通用人工智能，我们将再转动一次曲柄——或者再转动两三次——人工智能系统就会变得超越人类——远远超越人类。它们将在性质上比你我更加聪明，聪明得多，也许就像你我在性质上比小学生更加聪明一样。

即使人工智能继续以当前这种快速但连续的速度进步，跃迁至超级智能也已经足够惊人（如果我们能在 GPT-4 问世后的 4 年内跃迁至通用人工智能，那么再过 4 年或 8 年又会带来什么？）。但如果通用人工智能将人工智能研究本身自动化，这一进程可能会快得多。

一旦实现通用人工智能，我们拥有的不会只是一个通用人工智能。稍后我会详细分析相关数字，但简而言之：鉴于届时用于推理的 GPU 机群规模，我们很可能能够运行_数以千万计的通用人工智能（也许相当于 1 亿个人类，并且不久后就能以人类 10 倍以上的速度运行）_。即使它们届时还无法在办公室里走动或煮咖啡，也能够在计算机上开展机器学习研究。届时，顶尖人工智能实验室里将不再只有几百名研究人员和工程师，而是会拥有超过这一规模 100,000 倍的研究力量——夜以继日地狂热攻关算法突破。没错，这是递归式自我改进，但无须任何科幻设定；它们只需加速算法进步的现有趋势线（目前约为每年 0.5 OOM）。

自动化的人工智能研究很可能将人类十年的算法进步压缩到不到一年之内（而且这一估计似乎还很保守）。这将是 5+ OOM，又一次从 GPT-2 到——

在通用人工智能的基础上实现一次 GPT-4 规模的跃升——如同从学龄前儿童跃升为聪明高中生那样的质变，而且是在人工智能系统已经与人工智能领域的专家研究人员/工程师同样聪明的基础之上。

图 24：自动化人工智能研究可能会加速算法进步，从而在一年内带来 5+ OOM 的有效算力增益。到智能爆炸结束时，我们拥有的人工智能系统将远比人类聪明。

存在几个看似合理的瓶颈——包括用于实验的算力有限、与人类之间的互补性，以及算法进步变得更加困难——我将逐一讨论，但似乎没有一个足以明确地减缓这一进程。

转眼之间，我们手中就会拥有超级智能——远比人类聪明的人工智能系统，能够展现出我们甚至完全无法开始理解的新颖、创造性且复杂的行为——或许甚至会形成一个由数十亿个这样的系统组成的小型文明。它们的力量也将极其庞大。应用超级智-

将智能应用于其他领域的研发，爆炸性进展便会从单纯的机器学习研究扩展出去；很快，它们就会解决机器人技术问题，在数年内推动其他科学与技术领域实现巨大飞跃，继而引发一场工业爆炸。超级智能很可能会带来决定性的军事优势，并释放出难以估量的毁灭力量。我们将面临人类历史上最为紧张、最为动荡的时刻之一。

自动化 AI 研究

我们不需要自动化一切——只需自动化 AI 研究。 对通用人工智能将产生变革性影响的一种常见质疑是，AI 很难做到所有事情。怀疑者会说，例如看看机器人技术；即使 AI 的认知能力达到博士水平，那也会是一个极其棘手的问题。又或者以生物学研发自动化为例，这可能需要大量实体实验室工作和人体实验。

但要让 AI 实现 AI 研究自动化，我们不需要机器人技术——也不需要许多其他事物。领先实验室中的 AI 研究员和工程师，其工作可以完全在虚拟环境中完成，不会以同样的方式遭遇现实世界的瓶颈（不过仍会受到算力限制，我稍后会讨论这一点）。而从全局来看，AI 研究员的工作相当直接：阅读机器学习文献并提出新问题或新想法，实施实验以检验这些想法，解读结果，然后重复这一过程。这些工作似乎都完全属于这样一个领域：只需对当前 AI 能力进行简单外推，到 2027 年底便很容易达到甚至超越最优秀人类的水平。³³

值得强调的是，过去十年中一些最重大的机器学习突破，其实是何等直接、又何等具有“取巧”色彩：“哦，只要加上一些归一化就行”（LayerNorm/BatchNorm），或“不要用 f(x)，而是用 f(x)+x”（残差连接），又或“修复一个实现中的错误”（Kaplan → Chinchilla 规模定律）。AI 研究可以实现自动化。而仅仅实现 AI 研究自动化，就足以启动非同寻常的反馈循环。³⁴

33 AI 研究员的工作也恰好是 AI 实验室里的 AI 研究员非常、嗯、熟悉的一项工作——因此，对他们而言，专门优化模型、让模型擅长这项工作会格外直观。而且，他们也会有巨大的动力这样做，以帮助自己加速研究，并增强所在实验室的竞争优势。

34 顺便说一下，这表明了一个与 AI 风险发生顺序有关的重要观点。人们经常指出的一种 AI 威胁模型是：AI 系统开发出新型生物武器，从而造成灾难性风险。但如果 AI 研究比生物学研发更容易实现自动化，那么我们可能会先迎来智能爆炸，之后才会面临极端的 AI 生物威胁。这一点很重要，例如，它关系到我们是否应当预期，在 AI 领域局势失控之前，能够及时出现“生物领域的警示性事件”。

我们将能够运行数百万个自动化 AI 研究员副本（并且很快能以人类速度的 10 倍以上运行）。 即便到 2027 年，我们也应该会拥有数千万块 GPU 组成的资源池。仅训练算力集群的规模就应该接近扩大约 3 个数量级，使我们拥有超过 1000 万块 A100 等效 GPU。推理资源池的规模应该还要大得多。（关于这一切的更多内容，请参阅 IIIa. 向万亿美元算力集群竞速。）

这将使我们能够运行数百万个自动化 AI 研究员副本，或许相当于 1 亿名人类研究员，昼夜不停地工作。具体数字取决于若干假设，包括假定人类以每分钟 100 个 token 的速度“思考”（这只是一个粗略的数量级估计，例如可以想想你的内心独白），以及根据历史趋势和 Chinchilla 规模定律进行外推，假设前沿模型的单 token 推理成本仍大致处于同一范围。³⁵ 我们还需要预留一部分 GPU，用于运行实验和训练新模型。完整计算见脚注。³⁶

另一种理解方式是，鉴于 2027 年的推理资源池，我们应该能够每天生成相当于整个互联网规模的 token。³⁷ 无论如何，除用于简单证明其合理性外，确切数字并没有那么重要。

35 如前所述，如今 GPT-4 API 的成本低于 GPT-3 发布时的成本——这表明推理效率提升的速度足够快，即使模型变得强大得多，也能让推理成本大致保持不变。同样，仅在 GPT-4 发布后的一年中，推理成本就取得了巨大改善；例如，当前版本的 Gemini 1.5 Pro 性能优于最初的 GPT-4，而成本约低 10 倍。

我们还可以通过考察 Chinchilla 规模定律，为这一点提供更为扎实的依据。根据 Chinchilla 规模定律，模型大小——进而推理成本——随训练成本的平方根增长，即有效算力扩大 OOM 数量的一半。然而，在上一篇文章中，我提出算法效率的进步速度与算力扩大的速度大致相同，也就是说，它约占有效算力扩大 OOM 数量的一半。如果这些算法层面的改进也能转化为推理效率，那么算法效率提升就会抵消推理成本按朴素估算得出的增长。

在实践中，训练算力效率的提升往往会转化为推理效率提升，但并非总是如此。不过，另外还有许多并非源于训练效率提升的推理效率改善。因此，至少就粗略范围而言，假设前沿模型的美元/token 成本保持大致相近，似乎并不离谱。

（当然，它们会使用更多 token，也就是更多的测试时算力。但通过将人类等效水平定价为每分钟 100 个 token，这一点已经纳入此处的计算之中。）

36 GPT4T 的成本约为每 1000 个 token 0.03 美元。我们假设届时会拥有数千万块 A100 等效 GPU；若按 A100 等效 GPU 计算，每块 GPU 每小时的成本约为 1 美元。如果我们使用 API 成本将 GPU 换算成生成的 token 数量，那么这意味着：数千万块 GPU * 1 美元/GPU-小时 * 3.3 万 token/美元 = 每小时约一万亿个 token。假设一名人类每分钟进行相当于 100 个 token 的思考，那么一个人类等效单位就是每小时 6,000 个 token。每小时一万亿个 token 除以每人类小时 6,000 个 token = 约 2 亿个人类等效单位——也就是说，就像让 2 亿名人类研究员昼夜不停地工作。（即使我们预留一半 GPU 作为实验算力，也能得到相当于 1 亿名人类研究员的能力。）

37 前一条脚注估算的是每小时约 1T 个 token，即每天 24T 个 token。在上一篇文章中，我指出，公开的去重 CommonCrawl 数据集包含约 30T 个 token。

此外，我们的自动化 AI 研究员可能很快就能以远超人类的速度运行：

通过承受一定的推理损失，我们可以用减少运行副本数量来换取更快的串行速度。（例如，我们可以从约 5 倍人类速度提升到约 100 倍人类速度，而代价“仅仅”是只运行 100 万个自动化研究员副本。³⁸）
更重要的是，自动化 AI 研究员着手研究的第一个算法创新，可能就是实现 10 倍或 100 倍的速度提升。Gemini 1.5 Flash 比最初发布的 GPT-4 快约 10 倍，³⁹而二者发布时间仅相隔一年，同时它在推理基准测试中的表现与最初发布的 GPT-4 相近。如果几百名人类研究员能在一年内找到这样的算法加速方法，那么自动化 AI 研究员将能够非常迅速地取得类似成果。

也就是说：预计在我们开始具备自动化 AI 研究能力后不久，就会出现 1 亿名自动化研究员，每名都以人类速度的 100 倍工作。 他们每个人都能在几天内完成相当于一年的工作。与如今顶尖 AI 实验室里区区几百名弱小的人类研究员、以区区 1 倍人类速度工作相比，研究投入的增长将极其惊人。

38 Jacob Steinhardt 估计，给定关于采用平铺方案时推理权衡的一些数学推导（理论上，即使 k 为 100 或更大，该方案也适用），一个模型的 kˆ3 个并行副本可以由一个速度快 kˆ2 倍的模型替代。假设初始速度已经约为人类速度的 5 倍（例如，以 GPT-4 发布时的速度为依据）。那么，通过承受这一推理损失（其中 k=约 5），我们将能够以约 100 倍人类速度运行约 100 万名自动化 AI 研究员。

39 该来源的基准测试显示，Flash 的吞吐量约为 GPT-4 Turbo 的 6 倍，而 GPT-4 Turbo 又比最初的 GPT-4 更快。延迟可能也大致快了 10 倍。

这很容易就可能显著加速现有的算法进步趋势，将十年的进展压缩到一年之内。 我们无须假定任何完全新颖的事物，就能推断自动化 AI 研究将极大加速 AI 的进步。通过梳理上一篇文章中的数字，我们看到，算法进步一直是过去十年深度学习发展的核心驱动力；我们注意到，仅算法效率一项就呈现出约每年 0.5 OOM 的趋势线，除此之外，解除束缚还带来了额外的巨大算法收益。（我认为，许多人低估了算法进步的重要性，而正确认识它，对于理解智能爆炸的可能性至关重要。）

我们的数百万名自动化 AI 研究员（很快将以人类速度的 10 倍或 100 倍工作），能否把人类研究员原本需要十年才能取得的算法进步压缩到一年之内

而不是吗？那将意味着一年内提升 5+ OOM。

不要只想象这里有 1 亿名初级软件工程师实习生（我们会更早拥有他们，就在未来几年内！）。真正的自动化 AI 研究员会非常聪明——除了其纯粹的数量优势之外，自动化 AI 研究员还将具备相较于人类研究员的其他巨大优势：

他们将能够阅读迄今为止撰写的每一篇机器学习论文，能够深入思考实验室迄今进行的每一个实验，从自己的每个副本那里并行学习，并迅速积累相当于数千年的经验。他们将能够形成远比任何人类更深刻的机器学习直觉。
他们将能够轻松编写数百万行复杂代码，将整个代码库保留在上下文中，并花费人类数十年（或更长）的时间反复检查每一行代码，以发现错误并进行优化。他们将在这项工作的所有环节都表现得极其胜任。
你不必单独培训每一位自动化 AI 研究员（事实上，培训 1 亿名新招聘的人类员工并帮助他们入职会很困难）。相反，你只需教会其中一个并帮助其入职——然后制作副本即可。（而且你不必担心权力争斗、文化适应等问题；他们会日夜以巅峰状态和专注度工作。）
数量庞大的自动化 AI 研究员将能够共享上下文（或许甚至可以访问彼此的潜在空间等），从而实现比人类研究员高效得多的协作与协调。
当然，无论我们最初的自动化 AI 研究员有多聪明，我们很快都将能够进一步实现 OOM 级跃升，产出更聪明、在自动化 AI 研究方面能力更强的模型。

想象一个自动化的 Alec Radford——想象 1 亿个自动化——

自动化的 Alec Radford。⁴⁰ 我认为，OpenAI 几乎每一位研究人员都会同意：如果他们拥有 10 个 Alec Radford，更不用说 100 个、1,000 个或 100 万个以人类速度的 10 倍或 100 倍运行的 Alec Radford，他们就能极其迅速地解决非常多的问题。即使存在其他各种瓶颈（稍后详述），由此将十年的算法进展压缩到一年之内，似乎也非常可信。（研究投入增加一百万倍，带来 10 倍加速；这个估计即便有什么问题，也只是过于保守。）

40 Alec Radford 是 OpenAI 一位才华卓绝且成果丰硕的研究员/工程师，许多最重要的进展都有他的贡献，尽管他在一定程度上鲜为人知。

仅这一项就会带来 5+ OOM。算法方面取得 5 OOM 的突破，其扩展规模将与促成 GPT-2 到 GPT-4 飞跃的规模相近；那次能力跃升相当于从约一名学龄前儿童提升到约一名聪明的高中生。想象一下，在通用人工智能的基础之上、在 Alec Radford 的能力基础之上，再发生这样一次质的飞跃。

我们从通用人工智能极快地迈向超级智能——或许只需 1 年——这一情景可信得惊人。

可能的瓶颈

尽管这一基本叙事出人意料地有力——而且得到了详尽经济建模工作的支持——但确实存在一些现实且可信的瓶颈，它们很可能会减缓由自动化人工智能研究所驱动的智能爆炸。

我将在这里给出概要，然后在下方的可选章节中为感兴趣的读者更详细地讨论这些问题：

算力有限：人工智能研究不仅需要好想法、思考或数学推导，还需要通过运行实验来获得关于这些想法的经验信号。通过自动化研究劳动将研究投入提高一百万倍，并不意味着进展速度也会提高一百万倍，因为算力仍然有限——而用于实验的有限算力将成为瓶颈。尽管这不会带来 1,000,000 倍的提速，但我很难想象自动化人工智能研究员无法将算力的利用效率提高至少 10 倍：它们将能够形成惊人的机器学习直觉（因为已经内化了整个机器学习文献，以及以往每一次实验的每一次运行！），并且

相当于数百年的思考时间，用来弄清楚究竟该开展哪项实验、以最优方式配置实验，并最大限度地获取信息价值；他们甚至能在运行微小实验之前，投入相当于数百年工程师工作量的时间，以避免错误并争取一次成功；他们可以进行权衡，将精力集中在收益最大的方向上，从而节省算力；而且，他们将能够尝试大量较小规模的实验（考虑到届时有效算力的规模扩张，“较小规模”意味着一年内能够训练 100,000 个 GPT-4 水平的模型，以尝试实现架构突破）。即使使用相同数量的算力，一些人类研究人员和工程师取得的进展也能达到其他人的 10 倍——而这一点对自动化 AI 研究人员而言应当更加适用。我确实认为这是最重要的瓶颈，并会在下文中更深入地讨论它。

互补性/长尾 ：经济学的一条经典教训（参见 Baumol’s growth disease，即鲍莫尔增长病）是，如果你能将某件事的 70% 自动化，你会获得一些收益，但剩余的 30% 很快就会成为瓶颈。对于任何未能实现完全自动化的方案——比如非常优秀的副驾驶——人类 AI 研究人员仍将是一个主要瓶颈，因此算法进步速度的总体提升会相对较小。此外，实现 AI 研究自动化可能需要某种长尾能力——AI 研究人员工作中最后的 10% 或许尤其难以自动化。这可能会在一定程度上放缓起飞，不过我最合理的猜测是，这只会让进程推迟几年。或许 2026/27 年的模型将成为自动化研究人员的雏形，随后还需要一两年，通过最后阶段的解除束缚、性能稍好的模型、推理加速以及解决各种问题，才能实现完全自动化；最终到 2028 年，我们将获得 10 倍加速（并在本十年结束前实现超级智能）。
算法进步的固有极限 ：也许算法效率再提高 5 个 OOM 从根本上就是不可能的？我对此表示怀疑。虽然肯定会存在上限，⁴¹但如果我们在过去十年中取得了 5 个 OOM 的进步，那么我们或许应该预期至少还能取得相当于另一个十年的进展

41 例如，在 GPT-4 的基础上再取得 25 个 OOM 的算法进步显然是不可能的：这意味着只需屈指可数的 FLOP，就有可能训练出一个 GPT-4 水平的模型。

成为可能。更直接地说，当前的架构和训练算法仍然非常初级，效率高得多的方案似乎应该是可能的。生物学参照类别也支持效率大幅提高的算法具有合理可行性。

想法越来越难以找到，因此自动化 AI 研究员只会维持、而非加速当前的进展速度： 一种反对意见是，尽管自动化研究会大幅增加有效研究投入，但想法也会越来越难以找到。也就是说，如今一家实验室只需要几百名顶尖研究员，就能维持每年 0.5 OOM 的进展速度；但随着容易摘取的果实被我们耗尽，维持这种进展将需要越来越多的投入——因此，1 亿名自动化研究员只不过是维持进展所必需的投入。我认为这一基本模型是正确的，但实证数据对不上：研究投入的增幅——达到一百万倍——远远、远远大于历史上为维持进展所必需的研究投入增长趋势。用经济学建模术语来说，假定自动化带来的研究投入增幅将会_恰好足以_使进展速度保持不变，是一种离奇的“刀刃假设”。
想法越来越难以找到，而且存在收益递减，因此智能爆炸将迅速偃旗息鼓 ：与上述反对意见相关，即使自动化 AI 研究员带来了最初的一轮进展爆发，快速进展能否持续，也取决于算法进展的收益递减曲线形状。再次强调，我对实证证据的最佳解读是，这些指数最终有利于爆炸式/加速式进展。无论如何，这种一次性提升的规模极其庞大——从数百名 AI 研究员增至数亿名——即便这种进展当然不可能_无限期地_自我维持，也很可能足以克服这里的收益递减，至少推动相当多个 OOM 的算法进展。

总体而言，这些因素可能会在一定程度上减缓进展：最极端版本的智能爆炸（比如一夜之间发生）似乎不太可能。而且，它们可能会导致一个稍长的

加速期（也许我们需要额外等待一两年，才能从较为迟缓的、原型阶段的自动化研究员发展到真正自动化的 Alec Radford，之后一切才会全面启动）。但这些因素当然并不排除一次极其迅速的智能爆发。从全自动化 AI 研究员发展到远超人类的 AI 系统，这一过程持续一年——或至多短短几年，甚至可能仅仅几个月——应当成为我们的主线预期。

如果你不想阅读下文关于各种瓶颈的深入讨论，请点击此处跳至下一节。

实验算力有限（可选，深入探讨）

算法进步的生产函数包含两种互补的生产要素：研究投入和实验算力。数以百万计的自动化 AI 研究员可用于开展实验的算力不会比人类 AI 研究员更多；或许它们只能坐等自己的任务运行完毕。

这很可能是智能爆发最重要的瓶颈。归根结底，这是一个定量问题——它究竟会构成多大的瓶颈？综合权衡后，我很难相信，1 亿个 Alec Radford 无法将实验算力的边际产出提高至少 10 倍（因而仍能将进步速度加快 10 倍）：

用较少的算力也能完成许多工作。 大多数 AI 研究的运作方式是：先在小规模上测试各种方案，再通过规模定律进行外推。（历史上许多关键突破只需要极少的算力，例如，最初的 Transformer 仅使用 8 块 GPU 训练了几天。）还需注意，随着未来四年基准规模扩大约 5 个数量级，“小规模”将意味着 GPT-4 规模——自动化 AI 研究员一年内将能够在其训练算力集群上运行 100,000 次 GPT-4 级别的实验，以及数千万次 GPT-3 级别的实验。（这可是相当多的

他们将能够测试的潜在突破性新架构！）

大量算力被投入到对最终预训练运行进行更大规模的验证——确保你对边际效率提升有足够高的置信度，以用于你的年度旗舰产品——但如果你正在智能爆炸中快速跨越多个 OOM，你就可以节省资源，只专注于真正重大的提升。
正如上一篇文章所讨论的，通过使用相对低算力的模型“解除束缚”，往往可以获得巨大的收益。这些并不需要大型预训练运行。智能爆炸很有可能始于自动化 AI 研究，例如发现一种在模型之上进行 RL 的方法，通过解除束缚带来的收益让我们获得几个 OOM（然后我们就会开始全速前进）。
*随着自动化 AI 研究人员发现提高效率的方法，他们将能够运行更多实验。*回想一下上一篇文章中讨论的、仅凭人类的算法进步所实现的成果：在两年内，达到同等 MATH 性能所需的推理成本降低了近 1000 倍；在过去一年中，通用推理效率提升了 10 倍。自动化 AI 研究人员要做的第一件事，就是迅速找到类似的提升，而这反过来将使他们能够针对新型 RL 方法等运行多 100 倍的实验。或者，他们将能够迅速打造出在相关领域具有相似性能的更小模型（参见此前对 Gemini Flash 的讨论，其成本比 GPT-4 低近 100 倍），这反过来又将使他们能够使用这些较小模型运行多得多的实验（再次想象一下，用这些模型尝试不同的 RL 方案）。可能还存在其他积压潜力，例如，自动化 AI 研究人员也许能够迅速开发出更好的分布式训练方案，以利用所有用于推理的 GPU（仅此一项可能就至少能带来 10 倍算力）。更一般而言，他们发现的训练效率每提升一个 OOM，就会为他们带来一个 OOM

更多可用于运行实验的有效算力。

自动化 AI 研究人员的效率可能会高得多。 如果第一次就把事情做对——没有棘手的 bug，更有选择性地精确决定要运行什么实验，等等——所需运行的实验数量会减少多少，这一点怎么强调都不为过。想象一下，在你按下启动键之前，1000 名自动化 AI 研究人员花费相当于一个月的时间检查你的代码，并把实验精确调整到正确状态。我曾就此询问过一些 AI 实验室的同事，他们也表示赞同：对于大多数项目，只要能够避免无谓的 bug、第一次就把事情做对，并且只运行信息价值高的实验，就应该能相当轻松地节省 3 倍至 10 倍的算力。
自动化 AI 研究人员可能会拥有好得多的直觉。
- 最近，我与一家前沿实验室的一名实习生交谈；他们说，过去几个月里，他们最主要的经历就是提出许多自己想运行的实验，而他们的主管（一名资深研究人员）则表示，自己已经能够预先预测结果，因此没有必要运行这些实验。这名资深研究人员多年来随意运行实验、摆弄模型的经历，已经磨炼出了判断哪些想法可行——或不可行——的直觉。同样，我们的 AI 系统似乎也可以轻易获得对机器学习实验的超人直觉——它们将读遍整个机器学习文献，能够从其他每一项实验结果中学习并对其进行深入思考，可以轻易接受训练以预测数百万项机器学习实验的结果，等等。也许它们最先做的事情之一，就是建立一门强大的基础科学，用于“仅观察训练过程最初的 1%，或仅观察该实验的小规模版本，就预测这项大规模实验是否会成功”，等等。
- 此外，除了对研-

正如 Jason Wei 所指出的，在研究方向上，若能对一项实验的数十个超参数和细节形成出色的直觉，便可获得惊人的回报。Jason 将这种凭借直觉在第一次尝试时就把事情做对的能力称为“yolo runs”（YOLO 运行）。（Jason 说：“我所知道的是，能够做到这一点的人无疑是效率高出 10-100 倍的 AI 研究人员。”）

算力瓶颈意味着，研究人员数量增加一百万倍并不会转化为研究速度加快一百万倍——因此不会出现一夜之间的智能爆炸。但自动化 AI 研究人员相较于人类研究人员将拥有非凡的优势，所以很难想象它们无法找到一种方法，将算力的使用效率/效能至少提高 10 倍——因此，算法进步的速度提高 10 倍似乎完全可信。

这里我要花一点时间，谈谈我听过的反方观点中或许最具说服力的一种表述，它来自我的朋友 James Bradbury：如果投入更多机器学习研究力量真能如此显著地加速进步，那么目前至少有数万人的学术机器学习研究界，为何没有对前沿实验室的进步作出更大贡献？（目前看来，各实验室的内部团队——所有实验室合计或许总共约有一千人——承担了前沿算法进步的大部分工作。）他的论点是，之所以如此，是因为算法进步受到算力的制约：学术界根本没有足够的算力。

一些回应：

若按质量调整，我认为学术研究人员的数量可能是数千人，而非数万人（例如，只看顶尖大学）。这大概不会显著多于各实验室人员的总和。（而且，这_远远_少于自动化 AI 研究能够带来的数亿名研究人员。）
学术研究人员研究了错误的东西。直到非常

直到最近（也许直到今天仍是如此？），绝大多数机器学习学术界人士甚至都没有研究大型语言模型。就学术界中研究大型语言模型的顶尖学者而言，其人数可能显著少于各实验室研究人员的总数？

即使学者确实研究大型语言模型预训练之类的课题，他们也根本接触不到最先进的技术——实验室内部在前沿模型训练方面积累的大量细节知识。他们不知道哪些问题真正重要，或者只能贡献一些一次性的结果，而这些结果实际上无人能够加以利用，因为其基线调优得很差（所以没人知道他们的方法是否真的有所改进）。
学者远不如自动化 AI 研究员：他们无法以人类速度的 10 倍或 100 倍工作，无法阅读并内化有史以来的每一篇机器学习论文，无法花十年时间检查每一行代码，无法复制自身以避免入职上手瓶颈，等等。

另一个与“学者论点”相抵触的例子是：据传 GDM 拥有的实验算力远多于 OpenAI，但就算法进展而言，GDM 似乎并未大幅领先 OpenAI。

总体而言，我预计自动化研究员将采用一种不同的研究风格，以发挥自身优势，并力求缓解算力瓶颈。我认为，对此将如何发展抱有不确定性是合理的；但仅仅因为人类很难绕过算力瓶颈，就确信模型也无法做到，则是不合理的。

例如，它们可以在早期投入大量精力，建立一门“如何根据较小规模实验预测大规模结果”的基础科学。而且我预计，它们能做到许多人类做不到的事情，例如，也许更类似于“仅仅看到这项大规模实验的

训练的前 1%”。如果你是一名能力极强的自动化研究员，拥有远超人类的直觉，这似乎相当可行，并且能够为你节省大量算力。

当我设想 AI 系统实现 AI 研究自动化时，我认为它们会受到算力瓶颈的限制，但在很大程度上会通过比人类多思考（而且更快）例如 1000 倍来弥补这一点，并且其思考质量也会高于人类（例如，因为它们通过预测数百万次实验的结果进行训练，从而拥有超越人类的机器学习直觉）。除非它们在思考方面远逊于在工程方面，否则我认为这可以弥补很多不足，而且这种情况与学术研究人员会有质的不同。

（除了实验算力之外，还有一个额外的瓶颈：最终需要进行一次大型训练，而目前这需要耗费数月。但你或许可以节省这方面的投入，在持续一年的智能爆炸期间只进行少数几次大型训练，并且每次都跨越比实验室目前更大的 OOM。⁴²或者，你可以“花掉”算力效率提升的 5 个 OOM 中的 1 个，使一次训练在数天而非数月内完成。）

42 请注意，虽然我认为这种情况很可能发生，但它有些令人恐惧：这意味着，下游模型的智能提升可能会更加离散／不连续，而不是出现一系列相当连续的大模型，其中每一个都比上一代略有改进。在智能爆炸期间，我们可能只会进行一次或几次大型训练，每次都将此前在较小规模上发现的、相当于多个 OOM 的算法突破集中应用起来。

互补性与实现 100% 自动化的长尾问题（可选，更深入）

经济学家对 AI 自动化会加速经济增长的经典反驳是，不同任务之间具有互补性：例如，将 1800 年人类劳动力所从事工作中的 80% 自动化，并没有带来增长爆炸或大规模失业；相反，剩余的 20% 变成了所有人类从事的工作，并继续构成瓶颈。（例如，参见此处的一个相关模型。）

我认为经济学家在这里使用的_模型_是正确的。但一个关键点是，我所讨论的只是目前经济中规模较小的一个部分，而不是整个经济。在此期间，人们很可能仍然像往常一样理发——机器人技术可能尚未得到解决，适用于每个领域的 AI 可能尚未得到解决，社会

具体的推出流程可能尚未确定，等等——但它们_将_能够开展 AI 研究。正如上一篇文章中所讨论的，我认为当前 AI 的发展进程正把我们带向这样一种局面：出现基本上可以即插即用、且与最聪明的人类一样智能的远程工作者；正如本文所讨论的，AI 研究员的工作似乎完全属于可以被彻底自动化的范畴。

不过，在实践中，我确实预计，即便对于 AI 研究员/工程师这一职业，要实现真正的 100% 自动化，也会存在某种程度的长尾；例如，我们可能会先获得一些_几乎_能够替代工程师的系统，但它们仍然需要一定程度的人类监督。

尤其是，我预计 AI 的能力水平在不同领域之间会有些不均衡，并呈现出尖峰式分布：它的编程能力可能优于最优秀的工程师，同时在某些任务或技能上仍存在盲区；等到它在自己最不擅长的方面达到人类水平时，它在编程等更容易训练的领域中早已大幅超越人类。（这也是为什么我认为它们将能比人类研究人员更有效地利用算力。到 100% 自动化实现/智能爆炸开始时，它们在某些领域中早已拥有相对于人类的巨大优势。这也将对后续的超级对齐产生重要影响，因为这意味着，为了对齐哪怕第一批自动化 AI 研究员，我们也必须对齐那些在许多领域中显著超越人类的系统。）

但我预计这一阶段不会持续超过几年；考虑到 AI 的发展速度，我认为，要走完全程，很可能只需要再进行一些“解除束缚”（消除模型中某个阻碍其完成最后一公里的明显限制），或者再迭代一代模型。

总体而言，这可能会在一定程度上缓和起飞过程。它可能不会是 2027 年通用人工智能 → 2028 年超级智能，而更像是：

2026/27 年：原型自动化工程师，但在以下方面存在盲区

其他领域。目前已将工作速度提高 1.5 倍至 2 倍；进展开始逐渐加速。

2027/28：原型自动化研究员，可实现 >90% 的自动化。仍存在一些人类瓶颈，协调一个由自动化研究员组成的庞大组织时也有一些问题需要解决，但这已经将进展速度提高了 3 倍以上。这会迅速完成其余必要的“解除束缚”，使我们走完通往 100% 自动化的剩余路程。
2028/29：进展速度达到 10 倍以上 → 超级智能。

这仍然非常快……

算法进步的根本极限（可选，更深入）

算法进步在物理上可能达到的程度大概确实存在上限。（例如，25 个 OOM 的算法进步似乎不可能，因为这意味着能够用不到约 10 FLOPs 的算力训练出一个 GPT-4 水平的系统。⁴³）但类似 5 个 OOM 的提升似乎完全在可能范围之内；同样，这只需要算法效率的趋势再延续十年（甚至还未计入解除束缚带来的算法收益）。

43 不过，采用当前架构，你可以获得原本需要多 25 个 OOM 的硬件才能实现的结果！

直观而言，我们似乎远未穷尽所有唾手可得的成果，因为那些最大的突破都如此简单——而当前的架构和训练技术似乎仍然如此粗糙，并且显然受到束缚。例如，我认为，我们通过借助思维链“出声思考”的 AI 系统来逐步引导自身迈向通用人工智能，是相当有可能的。但这_肯定_不是最高效的实现方式，_肯定_有某种通过内部状态/循环机制/等等来完成这种推理的方法，会高效得多。再考虑一下自适应算力：Llama 3 在预测“and”这个词元时所花费的算力，仍然与它回答某个复杂问题时所花费的一样多，这显然并非最优。哪怕只是微小的调整，也能为我们带来以 OOM 计的巨大算法收益，而还有数十个领域能够实现高效得多-

很可能可以找到高效的架构和训练流程。

生物学参照也表明，仍有巨大的提升空间。例如，人类的智力范围非常宽广，而架构上的差异却微乎其微。人类的神经元数量与其他动物相近，尽管人类比那些动物聪明得多。而且，当前的 AI 模型在效率上仍比人脑低许多个数量级；人类只需 AI 模型所需数据的一小部分（因而也只需其一小部分“算力”）就能学习，这表明我们的算法和架构仍有巨大的提升空间。

想法越来越难找到与收益递减（选读，更深入的讨论）

随着容易摘取的果实被逐一摘走，想法会越来越难找到。这在任何技术进步领域都是如此。从本质上说，我们会在双对数曲线上看到一条直线：log(进步) 是 log(累计研究投入) 的函数。每取得下一个数量级的进步，都需要投入比上一个数量级更多的研究工作。

这引出了针对智能爆炸的两项质疑：

自动化 AI 研究只不过是维持进步所必需的手段

（而不会显著加速进步）。

纯算法驱动的智能爆炸将无法持续／会随着算法进步越来越难以取得／遭遇边际收益递减而迅速偃旗息鼓。

过去从事经济学研究时，我花了大量时间思考这类模型。（具体而言，半内生增长理论是描述技术进步的标准模型，它同时刻画了研究投入增长与想法越来越难找到这两种相互竞争的动态。）

简而言之，我认为这些异议背后的底层模型是合理的，但最终结果如何是一个实证问题——而我认为他们在实证判断上是错误的。

关键问题本质上是：每取得 10 倍的进展，进一步取得进展的难度会变得比 10 倍更高还是更低？粗略估算（大致沿用经济学文献中的做法）有助于我们界定其范围。

假设我们认真看待算法进步每年约 0.5 OOM 的趋势速率；这意味着 4 年内取得 100 倍的进展。
然而，某个领先 AI 实验室在给定时期内经质量调整的人员数量／研究投入，在 4 年内的增长肯定不到 100 倍。也许增加了 10 倍（从某个实验室中从事相关工作的数十人增加到数百人），但即使如此，经质量调整后是否真有这么多也并不明确。
然而，算法进步似乎仍得以持续。

因此，针对异议 1，我们可以指出，研究投入约一百万倍的增长，将远远大于仅仅维持进展所必需的增幅。也许 4 年后，我们需要让一家实验室中大约数千名研究人员从事相关研究，才能维持进展；但 1 亿个 Alec Radford 仍将是一个极其巨大的增长，并且必然会带来大幅加速。认为自动化研究将会恰好足以维持现有进步速度，这只是一种离奇的“刀刃式”假设。（而且这甚至还没有计入以人类 10 倍的速度思考，以及 AI 系统相较于人类研究人员将拥有的所有其他优势。）

针对异议 2，我们可以指出两点：

第一，上文提到的数学条件。鉴于根据我们的粗略估算，在我们取得 100 倍算法进步的同时，经质量调整的研究投入只需增长 «100 倍，这相当有力地表明，

回报曲线的形态最终有利于自我维持的进步。⁴⁴

其次，要让我们获得一次有界但跨越多个 OOM 的算法进步激增，回报曲线甚至并不_需要_最终有利于一场完全持续的链式反应。从本质上说，它不需要成为一种“增长效应”；足够大的“水平效应”就足够了。也就是说，研究投入增加一百万倍（再加上自动化研究人员相对于人类研究人员所拥有的许多其他优势），将构成如此巨大的一次性推动，以至于即使链式反应无法完全自我维持，也可能带来幅度非常可观（跨越多个 OOM）的一次性增益。⁴⁵

总的来说，尽管它显然不会是无界的，而且对于它究竟能发展到何种程度，我存在很大的不确定性，但我认为，纯粹由算法增益／自动化 AI 研究带来的、约 5 个 OOM 的智能爆炸似乎极有可能发生。

44 进步 100 倍 → 自动化研究投入增加 100 倍，但假设你只需要增加 10 倍研究投入，就能让进程继续并实现接下来的 100 倍进步，那么回报就足以维持爆炸性进步。

45 类似地，在半内生经济增长理论中，将科学投资从 GDP 的 1% 提高到 20%，并不会让增长率永远保持在更高水平——最终，收益递减会使其回归原有增长率——但由此产生的“水平效应”将如此巨大，以至于会在数十年间显著加快增长。

Tom Davidson 和 Carl Shulman 也在增长建模框架下研究了这一问题的实证情况，并得出了类似结论。Epoch AI 最近也对实证情况开展了一些研究，同样得出结论：算法研发的实证回报有利于爆炸性增长，并撰写了一篇很有帮助的文章来阐述其影响。

超级智能的力量

无论你是否认同这些论证中最强的形式——无论我们会在不到 1 年内经历智能爆炸，还是这需要数年时间——有一点是明确的：我们必须直面超级智能的可能性。

我们很可能在_本十年结束前_拥有的 AI 系统，将强大到难以想象。

当然，它们将在_量化指标上_超越人类。在我们的算力集群中

到本十年末，借助数亿块 GPU，我们将能够运行一个由数十亿个这样的系统组成的文明，而它们将能够以比人类快若干数量级的速度“思考”。它们将能够迅速掌握任何领域，编写数万亿行代码，阅读每一个科学领域有史以来发表的每一篇研究论文（它们将拥有完美的跨学科能力！），并且在你还没读完一篇论文的摘要之前就写出新的论文；从其每一个副本的并行经验中学习；在短短几周内，围绕某项新创新积累相当于数十亿人类年的经验；始终以巅峰状态的精力和专注度投入 100% 的时间工作，也不会因为那个进度落后的队友而放慢速度；等等。

更重要的是——但也更难想象——它们将在质量上超越人类。举一个狭义的例子，大规模强化学习（RL）运行已经能够产生完全新颖、富有创造力且超出人类理解范围的行为，例如 AlphaGo 对阵 Lee Sedol 时著名的第 37 手。超级智能将在许多领域都表现得如此。它将在人类代码中发现任何人都无法察觉的、极其隐蔽的漏洞，也将生成复杂到任何人都无法理解的代码，即使模型花费数十年时间试图解释也无济于事。那些足以让人类困顿数十年的极其困难的科学与技术问题，在它们看来会显得如此显而易见。我们将如同仍被牛顿物理学难住的高中生，而它早已启程探索量子力学。

若想了解这可能会有多么疯狂，可以看看 YouTube 上的一些电子游戏速通视频，例如这个在 20 秒内通关 Minecraft 的视频。（如果你完全不知道这个视频里发生了什么，别担心，很多人都和你一样；即使是大多数普通的 Minecraft 玩家，也几乎完全看不懂其中发生了什么。）

现在，想象一下这一切被应用于科学、技术和经济的所有领域。当然，这里的误差范围极大。尽管如此，*这一切正在发生，*而认真思考它将产生多么重大的影响至关重要。

图 25：站在这里是什么感觉？插图来自 Wait But Why/Tim Urban。

在智能爆炸中，爆炸式进展最初仅局限于自动化 AI 研究这一狭窄领域。随着我们获得超级智能，并将数十亿个（如今已具备超级智能的）智能体应用于众多领域的研发，我预计爆炸式进展将拓展到更广泛的范围：

AI 能力爆炸。 或许我们最初的通用人工智能存在一些局限，使其无法将其他某些领域的工作完全自动化（而不只是 AI 研究领域）；自动化 AI 研究将迅速解决这些问题，使任何及所有认知工作都能实现自动化。
解决机器人技术。 超级智能不会长期停留在纯认知层面。让机器人良好运作，主要是一个机器学习算法问题（而非硬件问题），我们的自动化 AI 研究员很可能能够解决它（下文会进一步讨论！）。工厂将从由人类运营，转变为由 AI 指挥、使用人类体力劳动，再到很快完全由机器人群运营。
大幅加速科学与技术进步。 是的，Einstein 单凭一己之力无法发展神经科学并建立半导体产业，但十亿名具备超级智能的自动化科学家、工程师、技术专家和机器人

技术人员（机器人以人类速度的 10 倍或更高速度行动！）⁴⁶将在数年内推动许多领域取得非凡进展。（这里有一篇不错的短篇故事，直观描绘了由 AI 驱动的研发可能是什么样子。）这十亿个超级智能将能够把人类研究人员未来一个世纪才能完成的研发工作压缩到数年之内。想象一下，如果 20 世纪的技术进步被压缩到不到十年之中。我们会在短短几年内，从认为飞行只是幻想，发展到拥有飞机，再到把人送上月球并拥有洲际弹道导弹。这就是我预期科学技术各领域在 2030 年代呈现的景象。

一场工业与经济爆炸。 极度加速的技术进步，加上实现所有人类劳动自动化的能力，可能会显著加快经济增长（想象一下：能够自我复制的机器人工厂迅速覆盖整个 Nevada 沙漠⁴⁷）。增长率的提升可能不只是从每年 2% 上升到每年 2.5%；相反，这将是增长范式的根本转变，更接近工业革命时期经济从极其缓慢的增长跃迁至每年百分之几增长的历史性变化。我们可能会看到每年 30% 乃至更高的经济增长率，完全有可能一年翻倍多次。这一点相当直接地源自经济学家的经济增长模型。当然，社会摩擦很可能会推迟这一进程；即使 AI 系统在律师和医生等工作上表现优异得多，晦涩复杂的监管规定也可能确保这些职业仍然必须由人类从事；随着社会抵制变化的速度，快速扩张的机器人工厂必然会遭遇重重阻力；而且，我们或许仍希望保留人类保姆；所有这些因素都会拖慢整体 GDP 统计数据的增长。尽管如此，在任何消除了人为障碍的领域（例如，竞争可能会迫使我们在军事生产领域这样做），我们都会看到一场工业爆炸。

46 在现实世界中，由速度达到人类 10 倍的机器人开展实体研发，是“缓慢版本”；实际上，超级智能会尝试尽可能多地在模拟环境中进行研发，就像 AlphaFold 或制造业“数字孪生”那样。

47 为什么“factorio-world”——建造一座工厂，让它生产更多工厂，这些工厂再生产更多工厂，工厂数量不断翻倍，直到最终整个星球迅速被工厂覆盖——如今无法实现？嗯，劳动受到约束——你可以积累资本（工厂、工具等），但由于固定劳动力规模的制约，这会遭遇收益递减。机器人和 AI 系统能够实现劳动的完全自动化，从而消除这一约束；机器人工厂可以以一种近乎不受约束的方式生产更多机器人工厂，进而引发工业爆炸。可在这里查看更多相关的经济增长模型。

增长模式	开始占据主导地位的日期	全球经济的翻倍时间（年）
狩猎	公元前2,000,000年	230,000
农业	公元前4700年	860
科学/商业	公元1730年	58
工业	公元1903年	15
超级智能？	公元2030年？	???

表3：增长机制的转变并非史无前例：随着文明从狩猎转向农业，再到科学与商业的蓬勃发展，继而进入工业时代，全球经济增长的步伐不断加快。超级智能可能会开启增长模式的又一次转变。依据 Robin Hanson 的《Long-run growth as a sequence of exponential modes》（作为一系列指数模式的长期增长）。

提供决定性且压倒性的军事优势。 即便是早期的认知超级智能，在这方面也可能已经足够；或许某种超人类黑客方案可以瘫痪对手的军队。无论如何，从历史上看，军事力量与技术进步一直紧密相连，而极其迅速的技术进步也将伴随着相应的军事革命。无人机蜂群和机器人军队将会产生重大影响，但它们仅仅是开始；我们应该预期出现全新类型的武器，从新型大规模杀伤性武器，到坚不可摧的激光导弹防御系统，再到我们目前还无法想象的事物。与超级智能出现之前的武器库相比，这就像是21世纪的军队在对抗一支由战马和刺刀组成的19世纪旅。（我会在后续文章中讨论超级智能如何能够带来决定性的军事优势。）
有能力推翻美国政府。 控制超级智能的一方很可能拥有足够的力量，从超级智能出现之前的势力手中夺取控制权。即使没有机器人，这个由超级智能构成的小型文明也能够入侵任何不设防的军事、选举、电视等系统，狡猾地说服将领和选民，在经济竞争中胜过民族国家，设计新的合成生物武器，然后用比特币雇佣一个人类将其合成，诸如此类。16世纪初，Cortes 和大约500名西班牙人征服了拥有数百万人口的 Aztec 帝国；Pizarro 和约300名西班牙人征服了拥有数百万人口的 Inca 帝国；Alfonso 和约1000名葡萄牙人征服了印度洋。他们并不拥有神一般的力量，但旧世界的技术优势以及在战略方—

战略与外交上的谋略带来了彻底的决定性优势。超级智能或许也会呈现类似的情形。

机器人。 对本文这类主张，一个常见的反驳是：即使 AI 能够完成认知任务，机器人技术仍远远落后，因此会拖慢其对现实世界产生任何影响的进程。

图 26：爆炸式增长始于 AI 研发这一较窄的领域；随着我们将超级智能应用于其他领域的研发，爆炸式增长将扩展到更广泛的范围。

我过去也倾向于认同这一观点，但现在我已经确信，机器人不会成为障碍。多年来，人们一直声称机器人是一个硬件问题——但机器人硬件问题已经在顺利走向解决。

越来越明显的是，机器人是一个_机器学习算法_问题。LLM 有一种容易得多的自举方式：你可以利用整个互联网进行预训练。机器人动作并不存在规模相仿的数据集，因此训练机器人需要更巧妙的方法（例如，以多模态模型为基础，然后利用合成数据、仿真或巧妙的强化学习进行训练）。

如今，大量精力正投入到解决这个问题上。但即使我们未能在通用人工智能出现之前解决它，我们数以亿计的通用人工智能/超级智能也会成为极其出色的人工智能研究员（这正是本文的核心论点！），而且它们似乎非常有可能研究出让卓越机器人得以运行的机器学习技术。

因此，虽然机器人有可能造成数年的延迟（解决机器学习问题、以一种从根本上慢于模拟测试的方式在物理世界中进行测试、在机器人能够自行建造工厂之前扩大初期机器人产量，等等）——但我认为延迟不会超过几年。

这一切将在 2030 年代如何展开，很难预测（那是另一个话题）。但至少有一点很明确：我们将迅速被投入人类有史以来面临的最极端局势之中。

人类水平的人工智能系统，即通用人工智能，本身就会产生极其重大的影响——但从某种意义上说，它们只不过是我们已知事物的更高效版本。然而，非常有可能的是，仅仅一年之内，我们就会过渡到陌生得多的系统；这些系统的理解力和能力——它们的纯粹力量——甚至会超过全人类的总和。在这一迅速过渡期间，我们将被迫把信任交付给人工智能系统，因此确实有可能失去控制。

更广泛地说，一切都将开始以令人难以置信的速度发生。整个世界将开始陷入疯狂。假设我们仅用数年时间就经历了 20 世纪那些地缘政治的狂热巅峰和人为制造的重重险境；这就是我们在超级智能出现后应当预期的局势。到这一过程结束时，超级智能人工智能系统将掌管我们的军事和经济。在这一切疯狂之中，我们将只有极其有限的时间作出正确决策。挑战将无比艰巨。我们必须倾尽所有，才能安然渡过难关。

智能爆炸以及紧随超级智能出现之后的时期，将是人类历史上最动荡、最紧张、最危险、也最疯狂的时期之一。

而到本十年末，我们很可能就会身处其中。

直面智能爆炸——即超级智能的出现——的可能性，常常令人想起早期围绕核链式反应及其将使原子弹成为可能的争论。HG Wells 在一部1914年的小说中预言了原子弹。1933年，Szilard 首次构想出链式反应这一概念时，他无法让任何人相信它；那还只是纯粹的理论。1938年，核裂变得到实验证实后，Szilard 再次陷入恐慌，并强烈主张保密，少数人也开始意识到制造原子弹的可能性。Einstein 此前并未考虑过链式反应的可能性，但当 Szilard 向他说明这一点时，他很快便看清了其中的深远影响，并愿意采取一切必要行动；他愿意拉响警报，也不怕显得愚蠢。但 Fermi、Bohr 和大多数科学家却认为，“保守”的做法是淡化此事，而不是认真对待原子弹存在可能性所蕴含的非同寻常的影响。在他们看来，保密（以免与德国人分享他们取得的进展）以及其他不惜一切代价的努力都显得荒谬。链式反应听起来实在太疯狂了。（即便事实证明，原子弹距离成为现实仅有短短半个十年。）

我们必须再次直面链式反应的可能性。也许在你听来，这不过是推测。但在各家 AI 实验室的资深科学家中，许多人认为，快速的智能爆炸极有可能发生。他们能够_看到_这一点。超级智能是可能的。

III. 挑战

IIIa. 冲向万亿美元算力集群

一场最非凡的技术—资本加速进程已经启动。随着 AI 收入迅速增长，到本十年末之前，数万亿美元将投入 GPU、数据中心和电力基础设施建设。工业动员将极为猛烈，其中包括将美国的电力产量提高百分之几十。

你看，我早就告诉过你，如果不把整个国家变成一座工厂，这件事就不可能完成。你们恰恰做到了这一点。

niels bohr（1944 年得知曼哈顿计划的规模后，对 Edward Teller 所说）

通往通用人工智能的竞赛不会只在代码和笔记本电脑背后展开——它还将是一场动员美国工业实力的竞赛。与我们最近看到的任何其他源自硅谷的事物不同，AI 是一个庞大的工业过程：每个新模型都需要一个巨大的新算力集群，不久后还将需要巨大的新发电厂，最终则需要巨大的新芯片制造厂。其中涉及的投资规模惊人。但在幕后，这些投入已经启动。

在本章中，我将通过一系列数字，带你了解这将意味着什么：

随着 AI 产品带来的收入迅速增长——到约 2026 年，Google 或 Microsoft 等公司的相关收入年化规模很可能达到 1000 亿美元，届时的系统将非常强大，但尚未达到通用人工智能水平——

图 27：万亿美元算力集群。图片来源：DALLE。

这将推动规模越来越大的资本动员，到 2027 年，人工智能投资总额每年可能超过 1 万亿美元。

我们正迈向到 2028 年单个训练算力集群耗资数千亿美元的阶段——这些算力集群所需的电力相当于美国一个中小型州的用电量，造价也将超过国际空间站。
到本十年末，我们将迈向单个训练算力集群耗资超过 1 万亿美元的阶段，其所需电力相当于美国发电量的 20% 以上。数万亿美元的资本支出每年总计将生产出数亿块 GPU。

过去一年，Nvidia 的数据中心销售额按年化计算从约 140 亿美元激增至约 900 亿美元，震惊了世界。但这仍然仅仅是开始。

训练算力

此前，我们发现 AI 训练算力大致呈现每年增长约 0.5 个 OOM⁴⁸ 的趋势。如果这一趋势在本世纪余下时间里持续下去，那么对于最大的训练算力集群而言，这意味着什么？

48 如前所述，OOM = 数量级，10 倍 = 1 个数量级

年份	OOM	H100- 等效数量	成本	功率	功率参照类别
2022	约 GPT-4 算力集群	约 1 万	约 5 亿美元	约 10MW	约 10,000 户普通家庭
约 2024	+1 OOM	约 10 万	数十亿美元	约 100MW	约 100,000 户家庭
约 2026	+2 OOM	约 100 万	数百亿美元	约 1GW	Hoover Dam，或一座大型核反应堆
约 2028	+3 OOM	约 1,000 万	数千亿	约 10GW	美国的一个小型/中型
			美元		州
约 2030	+4 OOM	约 1 亿	1 万亿美元以上	约 100GW	>美国发电量的 20%

这可能看起来难以置信——但它似乎正在发生。Zuck 购买了 35 万块 H100。Amazon 在一座核电站旁购买了一个功率为 1GW 的数据中心园区。有传言称，Kuwait 正在建设一个功率为 1GW、包含 140 万块 H100 等效 GPU 的算力集群（约为 2026 年算力集群）。媒体报道称，据传 Microsoft 和 OpenAI 正在合作建设一个耗资 1,000 亿美元、计划于 2028 年启用的算力集群（其成本可与 International Space Station 相提并论！）。而且，随着每一代模型震撼世界，未来或许还会进一步加速。

表 4：最大训练算力集群的规模扩展，粗略的信封背面估算。有关计算细节，请参阅附录。

也许最疯狂的是，至少对于训练算力集群而言，目前花钱意愿似乎甚至并非具有约束力的限制条件。真正的难题是找到基础设施本身：“我去哪里找 10GW？”（这是耗资 1,000 亿美元以上、按趋势将于 2028 年出现的算力集群所需的电力）是 SF 人们最喜欢谈论的话题之一。任何算力从业者都在考虑如何确保电力、土地、许可和数据中心建设。⁴⁹ 虽然为了拿到 GPU，你可能需要等待一年，但这些事项的前置周期还要长得多。

49 一个关键的不确定因素是分布式训练将达到何种程度——如果我们不需要在一个地点获得那么多电力，而是可以把它分散到 100 个地点，事情就会容易得多。

万亿美元算力集群——比 GPT-4 算力集群高出 +4 OOM，按当前趋势约为 2030 年的训练算力集群——将是一项真正非同寻常的工程。它所需的 100GW 电力相当于美国发电量的 >20%；想象一下，这不只是一座放有 GPU 的普通仓库，而是数百座发电厂。或许这需要一个国家级联合体来完成。

（请注意，我认为我们很可能只需要一个约 ~$100B 或更低成本的算力集群，就能实现通用人工智能。$1T 算力集群或许将用于训练和运行超级智能，或者在通用人工智能比预期更难实现时，用于开发通用人工智能。无论如何，在后通用人工智能世界中，拥有最多的算力很可能仍然至关重要。）

总体算力

以上只是对最大型训练算力集群的粗略估算。总体投资规模很可能还要大得多：很大一部分 GPU 可能会用于推理⁵⁰（即用于实际运行产品中的 AI 系统的 GPU），而且这场竞赛中可能会有多个参与者拥有巨型算力集群。

我的粗略估算是，2024 年的 AI 投资规模就将达到 $100B$200B：

Nvidia 数据中心业务的收入很快将达到约 ~$25B/季度的运行水平，即仅经由 Nvidia 流入的资本支出就约为 ~$100B。当然，Nvidia 并非唯一的参与者（Google 的 TPU 也非常出色！），而且数据中心资本支出中接近一半用于芯片以外的项目（场址、建筑、冷却、电力等）。⁵¹
大型科技公司一直在大幅提高其资本支出规模：Microsoft 和 Google 今年的资本支出很可能各自达到 $50B+⁵²，AWS 和 Meta 则各自达到 $40B+。这些支出并非全部用于 AI，但受 AI 热潮推动，它们合计的资本支出将同比增长 $50B-$100B；即便如此，它们仍在削减其他资本支出，以便将更多资金转投 AI。此外，其他云服务提供商、公司（例如，Tesla 今年将在 AI 上投入 $10B）以及民族国家也在投资 AI。

50 例如，请参阅 Zuck 在这里的说法；他的 H100 中，只有约 ~45k 块位于其最大的训练算力集群中，而其 350k 块 H100 中的绝大多数用于推理。Meta 的推理需求很可能高于其他参与者，因为后者目前服务的客户较少；但随着其他所有参与者的 AI 产品扩大规模，我预计用于推理的 GPU 将占绝大多数。

51 例如，这项总拥有成本分析估算，在大型算力集群的成本中，H100 GPU 本身约占 40%，另有 13% 支付给 Nvidia，用于 Infiniband 网络。不过，如果从该计算中排除资本成本，则 GPU 约占总成本的 50%；加上网络之后，Nvidia 获得的收入略高于算力集群总成本的 60%。

52 而且显然，尽管 Microsoft 最近一个季度的资本支出较一年前增长了 79%，其 AI 云服务需求仍然供不应求！

图 28：Nvidia 数据中心季度营收。绘图：Thomas Woodside

图 29：自 ChatGPT 引爆人工智能热潮以来，大型科技公司的资本支出正以极快的速度增长。来源。

让我们据此向前推演。我最合理的猜测是，整体算力投资的增长速度将低于最大训练算力集群每年 3 倍的增长速度，姑且假设为每年 2 倍。⁵³

而且，这些并不只是我个人独有的数字。AMD 预测，到 2027 年，人工智能加速器市场规模将达到 $400B，这意味着人工智能总支出将超过 $700B，与我的数字相当接近（而且他们对“通用人工智能”的笃信程度肯定远不如我）。Sam Altman 正在—

53 未来，全球 GPU 产量中流向最大训练算力集群的比例很可能会高于今天，例如，因为行业将整合为仅剩少数几家领先实验室，而不是由许多公司各自拥有前沿模型规模的算力集群。关于电力：当然，并非所有这些设施都会位于美国，但这里可将美国作为一个参照类别。

年份	年度投	AI 加速器	功耗占美国	芯片占当前
	资额	出货量（以	发电量的百分比	台积电先进制程
		H100 等效数量计）		晶圆产量的百分比
2024	约 $150B	约 5-10M	1-2%	5-10%
约 2026	约 $500B	数千万	5%	约 25%
约 2028	约 $2T	约 100M	20%	约 100%
约 2030	约 $8T	数亿	100%	当前产能的 4 倍

据报道，OpenAI 正在洽谈为一个资本支出“最高达 $7T”的项目融资，以扩建 AI 算力产能（这个数字曾遭到广泛嘲笑，但如果按此处的数据计算，它似乎就没那么疯狂了……）。无论如何，这种大规模扩张正在发生。

表 5：根据趋势推演全球 AI 投资总额。粗略的估算。有关计算的更多细节，请参阅附录。

会这么做吗？能做到吗？

此处假设的投资规模可能看起来异想天开。但需求侧和供给侧似乎都能够支撑上述轨迹。经济回报足以证明这项投资的合理性；对于一项新的通用技术而言，这种支出规模并非史无前例；而为电力和芯片进行工业动员也是可行的。

AI 收入

如果企业预期经济回报足以证明投资的合理性，它们就会进行大规模 AI 投资。

报道称，OpenAI 在 2023 年 8 月的年化收入运行率为 $1B，到 2024 年 2 月则为 $2B。大致相当于每 6 个月翻一番。如果这一趋势持续下去，那么到 2024 年末/2025 年初，我们应该会看到约 $10B 的年化收入运行率，而这甚至还没有计入任何下一代模型可能带来的大幅增长。有一项估算认为，Microsoft 已经获得了约 $5B 的 AI 增量收入。

迄今为止，人工智能投资每扩大 10 倍，似乎都能产生所需的回报。GPT-3.5 引爆了 ChatGPT 热潮。据估算，用于 GPT-4 算力集群的 5 亿美元成本，本可以由据报道 Microsoft 和 OpenAI 每年数十亿美元的收入收回（参见上文计算）；如果 Microsoft/OpenAI 的人工智能收入继续按当前趋势增长，达到 100 亿美元以上的收入年化水平，那么耗资数十亿美元的“2024 级”训练算力集群也将轻松收回成本。这轮繁荣由投资驱动：从下达巨额 GPU 订单，到建设算力集群、构建模型并将其推出，需要一定时间；而今天正在规划的算力集群要多年后才能建成。但如果上一笔 GPU 订单的回报持续兑现，投资就会继续飙升（并超过收入增速），投入更多资本，押注下一个 10 倍扩张仍将带来回报。

我喜欢思考的一个关键人工智能收入里程碑是：大型科技公司（Google、Microsoft、Meta 等）何时会从人工智能（产品和 API）获得 1,000 亿美元的收入年化水平？这些公司目前的收入大约在 1,000 亿至 3,000 亿美元这个数量级；因此，1,000 亿美元将开始占其业务中非常可观的比重。极其粗略地外推每 6 个月翻一番的趋势，假设我们在 2025 年初达到 100 亿美元的收入年化水平，那么这意味着上述里程碑将在 2026 年年中实现。

这或许看起来有些牵强，但在我看来，要达到这一里程碑，所需的想象力少得出人意料。例如，Microsoft Office 大约有 3.5 亿付费订阅用户——你能否让其中三分之一的人愿意每月为人工智能附加服务支付 100 美元？对于一名普通员工来说，这只需要每月带来几个小时的生产力提升；在未来几年内，打造出强大到足以使这笔支出合理化的模型，似乎完全可行。⁵⁴

随之而来的影响有多么深远，怎么强调都不为过。这将使人工智能产品成为美国最大型企业最主要的收入驱动力，并且成为它们增长幅度_遥遥领先_的业务领域。对这些公司整体收入增长的预测将急剧上升。股票市场也会随之上涨；不久之后，我们或许就会看到第一家市值 10 万亿美元的公司。届时，大型科技公司将愿意全力以赴，每家公司都会投入数千亿美元（至少如此），进一步扩大人工智能规模。我们很可能会看到第一个

54 对我而言，一个很大的不确定性在于技术扩散和采用的滞后期有多长。我认为，收入增长放缓是有可能的，因为处于通用人工智能之前的中间阶段模型需要大量“繁琐苦活”，才能正确整合进公司的工作流程；从历史上看，要充分获得新型通用技术所带来的生产力增益，往往需要一段时间。这正是前文“音爆”讨论的意义所在：随着我们为模型“解除束缚”，模型开始变得更像智能体／可直接顶岗的远程员工，它们的部署会变得容易得多。你不再需要彻底改造某种工作流程，才能从 GPT 聊天机器人那里获得 25% 的生产力提升；相反，你将得到可以像新同事一样办理入职并与之协作的模型（例如，直接用它替代一名工程师，而不必先培训工程师使用某种新工具）。或者，在更极端且更晚出现的情形中：你不需要彻底重新设计一座工厂来适配某种新工具，只需把人形机器人引入工厂即可。

尽管如此，这可能会导致所创造的经济价值和收入出现某种不连续性，具体取决于我们能以多快的速度为模型“解除束缚”。

届时将进行规模达数千亿美元的公司债券发行。⁵⁵

超过 $100B 后，就更难看清其轮廓了。但如果我们确实正走在通往通用人工智能的道路上，回报就会存在。全球白领劳动者每年获得数十万亿美元的工资；一种能够直接投入使用、哪怕只自动化一小部分白领/认知类工作的远程工作者（比如，设想一个真正实现自动化的 AI 程序员），就足以收回万亿美元算力集群的成本。即便除此之外别无其他，国家安全层面的重要性也很可能促使政府启动一个项目，在通用人工智能竞赛中汇集全国资源（后文详述）。

55 利率将会发生什么变化，值得关注……参见 Tyler Cowen 此处的文章；Chow、Mazlish 和 Halperin 此处的文章。

历史先例

到 2027 年，AI 年度总投资达到每年 $1T，似乎荒谬至极。但值得考察一下其他历史参照类别：

在资金投入的峰值年份，曼哈顿计划和阿波罗计划的投入达到了 GDP 的 0.4%，按今天的价值计算约为每年 $100 billion（小得令人惊讶！）。如果达到每年 $1T，AI 投资将约占 GDP 的 3%。
1996—2001 年间，电信公司按今天的美元价值计算投入了近 $1 trillion，用于建设互联网基础设施。
1841—1850 年间，英国私人铁路投资累计总额约相当于当时英国 GDP 的 40%。若美国 GDP 中也有类似比例，则相当于十年内约 $11T。
绿色转型正在耗费数万亿美元。
快速增长的经济体通常会将其 GDP 的很大一部分用于投资；例如，中国在二十年间用于投资的支出一直超过其 GDP 的 40%（按美国 GDP 计算，相当于_每年_ $11T）。
在历史上最为紧迫的国家安全形势——战争时期——通过借贷为国家整体行动融资，其规模往往占 GDP 的极大比例。第一次世界大战期间，

英国和法国，以及德国的借款超过了各自 GDP 的 100%，而美国的借款超过了 20%；二战期间，英国和日本的借款超过了各自 GDP 的 100%，而美国的借款超过了 GDP 的 60%（相当于今天的 17 万亿美元以上）。

到 2027 年，AI 总投资达到每年 1 万亿美元将是极其惊人的——跻身有史以来规模最大的资本建设之列——但并非史无前例。而在本十年末建成一个价值万亿美元的单体训练算力集群，似乎也是有可能的。⁵⁶

电力

供给侧最大的单一制约因素很可能是电力。即便在较近期的规模上（2026 年为 1GW，尤其是 2028 年为 10GW），电力也已经成为约束性瓶颈：备用容量实在不多，而且电力合同通常以长期形式锁定。并且，新建一座例如吉瓦级核电站需要十年时间。（我很好奇，我们什么时候会开始看到科技公司为了获得铝冶炼公司的吉瓦级电力合同而将其收购之类的事情。⁵⁷）

56 而从更长远来看，如果通用人工智能确实带来了经济增长的大幅提升，那么每年 10 万亿美元以上的投资将开始变得合理——可供参照的是各国在高速增长时期的投资率。

57 “自 2011 年以来，Alouette Smelter 在最大生产能力下使用 930 MW 电力。”

图 30：将美国电力总产量的趋势与我们对 AI 电力需求的粗略估算进行比较。

美国的总发电量在过去

十年。公用事业公司开始对 AI 感到兴奋（他们不再预计未来 5 年增长 2.6%，现在预计增长 4.7%！）。但他们几乎尚未将即将到来的一切计入预期。仅这个万亿美元、100GW 的算力集群，6 年后就需要约占美国当前发电量的 20%；再加上大规模推理能力，需求还将高出数倍。

对大多数人来说，这似乎完全不可能。一些人把希望押在中东的专制国家上；这些国家一直在四处承诺提供无限的电力和巨型算力集群，以便让其统治者在通用人工智能谈判桌上获得一席之地。

但在美国做到这一点完全有可能：我们拥有丰富的天然气。⁵⁸

58 感谢 Austin Vernon（私人通信）协助完成这些估算。

为一个 10GW 的算力集群供电，只需消耗美国天然气产量的百分之几，而且可以迅速实现。
即使是 100GW 的算力集群，实现起来也出人意料地可行。
- 目前，仅 Marcellus/Utica 页岩区（位于 Pennsylvania 附近）每天就生产约 360 亿立方英尺天然气；这些天然气足以通过发电机持续产生略低于 150GW 的电力（而联合循环发电厂由于效率更高，可以输出 250GW）。
- 这个 100GW 算力集群大约需要新钻 ~1200 口井。⁵⁹ 每台钻机每月大约可以钻 3 口井，因此，40 台钻机（Marcellus 当前的钻机数量）可以在不到一年内建立起足以支持 100GW 的生产基础。⁶⁰ 就在 2019 年，Marcellus 的钻机数量还约为 80 台，因此新增 40 台钻机来建立这一生产基础并不会造成太大负担。⁶¹
- 更广泛地说，美国的天然气产量在十年间增长了一倍以上；只需延续这一趋势，就能为多个万亿美元级的数据中心供电。⁶²
- 更困难的部分是建造足够多的发电机／涡轮机；这并非易事，但似乎可以通过

59 新井每天的产量约为 0.01 BCF（十亿立方英尺）。

60 每口井在其整个寿命周期内可生产约 20 BCF，这意味着每月新钻两口井即可补充耗竭的储量。也就是说，只需一台钻机便可维持生产。

61 不过，与在 10 个月内完成建设相比，增加较少的钻机并在更长时间内逐步建立生产基础会更高效。

62 一立方英尺天然气可产生约 0.13 kWh 的电力。2020 年，美国页岩气日产量约为 ~700 亿立方英尺。假设我们的产量再次翻倍，并且新增产能全部用于算力集群。这相当于每年 3322 TWh 的电力，足以供将近 4 个 100GW 算力集群使用。

用于建设 100GW 天然气发电厂的资本支出约为 $100B⁶³。联合循环发电厂可以在大约两年内建成；发电机组所需的时间甚至会更短。⁶⁴

在美国，即便要建设价值数万亿美元的数据中心，所面临的障碍也完全是我们自己造成的。出于善意但僵化的气候承诺（不仅来自政府，也包括 Microsoft、Google、Amazon 等公司的绿色数据中心承诺）阻碍了那个显而易见的快速解决方案。退一步说，即使我们不采用天然气，广泛的放松监管议程也能释放太阳能/电池/SMR/地热超级项目的潜力。许可审批、公用事业监管、FERC 对输电线路的监管，以及 NEPA 环境审查，使得本应只需数年完成的事情耗时十年甚至更久。我们没有那么多时间。

63 天然气发电厂的资本支出成本似乎低于每 kW $1000，这意味着 100GW 天然气发电厂的资本支出约为 $100 billion。

64 太阳能和电池并非完全不切实际的替代方案，但它们看起来确实比天然气棘手。我很欣赏 Casey Handmer 对用太阳能电池板铺满地球所做的计算：

“按照当前 GPU 的水平，全球太阳能数据中心的算力相当于约 1500 亿人，不过，如果我们的计算机最终能够达到[人脑]的效率，我们就能承载大约 5000 万亿个 AI 灵魂。”

我们将把通用人工智能数据中心赶到中东，使其受制于残暴、反复无常的独裁者。我也更希望使用清洁能源——但这对美国国家安全实在太重要了。我们需要展现出前所未有的决心，才能促成此事。电力制约能够、必须、也必将得到解决。

芯片

尽管人们想到 AI 供应制约时通常首先想到的是芯片，但与电力相比，芯片可能是更小的制约因素。全球 AI 芯片产量目前仍只占 TSMC 先进制程产量的很小一部分，可能不到 10%。随着 AI 在 TSMC 产量中的占比提高，仍有很大的增长空间。

事实上，2024 年的 AI 芯片产量（约 5-10M 个 H100 等效芯片）已经几乎足以支撑价值数千亿美元的算力集群（前提是它们全部被调配给同一个算力集群）。单从逻辑芯片晶圆厂的角度看，TSMC 一年约 100% 的产出如今已经能够支撑万亿美元级算力集群（同样，前提是所有芯片都用于同一个数据中心）。⁶⁵ 当然，不可能将 TSMC 的全部产能都转用于 AI，而且一年生产的所有 AI 芯片也不可能都用于同一个训练算力集群。AI 芯片的总需求（包括

65 这引出了一个有趣的问题：为什么在芯片晶圆厂产能开始真正受到制约之前，电力需求就已大幅上升？一个简单的答案是，数据中心会持续以接近最大功率运行，而目前生产的大多数芯片在许多时间里都处于闲置状态。目前，智能手机占先进芯片需求的近一半，但每单位晶圆面积的能耗要低得多（以晶体管换取串行操作和能源效率），而且由于智能手机大部分时间处于闲置状态，其利用率也很低。AI 革命意味着让我们的晶体管更加卖力地工作，将它们全部投入持续运行的高性能 AI 数据中心，而非闲置的、电池供电/节能型设备。此观点感谢 Carl Shulman。

推理和多个参与者）到 2030 年，仅 AI 所需的产能就将达到 TSMC 当前先进制程逻辑芯片总产能的数倍。过去 5 年，TSMC 的产能约增长了一倍⁶⁶；要满足 AI 芯片需求，其扩张速度很可能需要达到目前速度的至少两倍左右。为此，必须对新的晶圆厂进行大规模投资。

66（以营收作为替代指标。）

即使原始逻辑芯片晶圆厂不会成为制约因素，晶圆上芯片再置于基板（CoWoS）先进封装（将芯片与内存连接起来，也由 TSMC、Intel 等公司制造）和 HBM 内存（其需求极其庞大）已经成为当前 AI GPU 规模扩张的关键瓶颈；与纯逻辑芯片不同，这些技术更专门用于 AI，因此预先存在的产能更少。短期内，它们将是大量生产更多 GPU 的首要制约因素；随着 AI 扩展，它们也将成为巨大的制约因素。尽管如此，这些技术相对“容易”扩产；今年，眼看着 TSMC 实实在在地建设“绿地”晶圆厂（即完全从零开始建造的新设施），以大规模扩大 CoWoS 产量，着实令人惊叹（Nvidia 甚至已经开始寻找 CoWoS 的替代方案，以绕过供应短缺问题）。

一座新的 TSMC Gigafab（堪称技术奇迹）的资本支出约为 200 亿美元，每月可投产 10 万片晶圆。要在本十年末实现每年生产数亿块 AI GPU，TSMC 将需要建造数十座这样的晶圆厂——同时还需要大规模扩建内存、先进封装、网络等相关产能，而这些将占资本支出的很大一部分。资本支出总额可能超过 1 万亿美元。过程会非常艰巨，但可以做到。（或许最大的障碍并非可行性，而是 TSMC 根本没有尝试——TSMC 似乎还没有接受 AI 规模扩张的理念！他们认为 AI 的复合年增长率“只会”以缓慢得如冰川般的 50% 增长。）

近期美国政府通过《CHIPS Act》等举措，一直试图将更多 AI 芯片生产迁回美国本土（作为台湾发生突发事态时的保障）。虽然将更多 AI 芯片生产迁回美国本土是件好事，但其重要性不及把实际的数据中心（通用人工智能就存在于其中）设在美国。如果说把芯片生产放在海外，就像把铀矿藏放在海外，那么把通用人工智能数据中心放在海外，就像把真正的核武器建造并储存在海外。鉴于这种失灵

而从我们在美国实际建设晶圆厂时所看到的情况和成本来看，我的判断是，我们应优先在美国建设数据中心，同时更多地押注日本和韩国等民主盟友的晶圆厂项目——那里的晶圆厂扩建似乎运作得更加顺畅。

民主国家的算力集群

在本十年结束之前，价值数万亿美元的算力集群将被建成。唯一的问题是，它们是否会建在美国。据传，有些人正押注于在其他地方建设这些算力集群，尤其是在中东。我们真的希望曼哈顿计划的基础设施被某个反复无常的中东独裁政权控制吗？

今天正在规划的算力集群，很可能就是用于训练和运行通用人工智能与超级智能的算力集群，而不仅仅是“很酷的大型科技产品算力集群”。国家利益要求这些算力集群建在美国（或关系密切的民主盟国）。任何其他选择都会造成不可逆转的安全风险：通用人工智能的模型权重可能被盗⁶⁷（而且或许会被运往中国）；当通用人工智能竞赛白热化时，这些独裁政权可能会实际夺取数据中心（以便自行构建和运行通用人工智能）；或者，即使这些威胁只是被隐晦地用作要挟，也会让通用人工智能和超级智能受制于声名不佳的独裁者的任性摆布。美国曾在 70 年代为其对中东的能源依赖追悔莫及，而且我们付出了巨大努力才摆脱他们的控制。我们不能再次犯下同样的错误。

67 有了物理访问权限，就更容易通过侧信道攻击窃取模型权重！

这些算力集群可以建在美国，而我们必须振作起来，确保它们确实建在美国。美国的国家安全必须放在首位，优先于自由流动的中东资金所带来的诱惑、晦涩复杂的监管规定，甚至，是的，也要优先于值得钦佩的气候承诺。我们面临着一场真正的制度竞争——所需的工业动员是否只能在“自上而下”的威权国家中完成？如果解除美国企业的束缚，美国的建设能力将无可匹敌（至少在红州如此）。愿意使用天然气，或者至少推行广泛的放松监管议程——给予 NEPA 豁免、修正 FERC 以及

在联邦层面批准输电、凌驾于公用事业监管之上、利用联邦权力释放土地和通行权——这些都是国家安全优先事项。

无论如何：指数增长如今已全面展开。

在“过去的日子里”，当通用人工智能仍是一个禁忌词时，我和一些同事曾经构建理论经济模型，研究通往通用人工智能的道路可能是什么样子。这些模型过去有一个特征，即假设存在一个“AI 觉醒”时刻：全世界开始意识到这些模型可能有多么强大，并开始迅速加大投资——最终将 GDP 的数个百分点投入到规模最大的训练运行中。

那时，这似乎还很遥远，但如今这一时刻已经到来。2023 年_就是_“AI 觉醒”之年。⁶⁸ 在幕后，最惊人的科技资本加速进程已经启动。

68 我清楚地记得，2023 年 3 月，我在白板上写下了“起飞已经开始”。

准备承受 G 力吧。

（这一切对 NVDA/TSM/等意味着什么，我留给读者自行思考。提示：具备态势感知的人早在远低于你的价位就买入了，但当前价格甚至还远未充分反映这一切。）⁶⁹

69 主流卖方分析师似乎假设，Nvidia 的营收从 2024 日历年到 2025 日历年仅同比增长 10%–20%，2025 日历年的营收可能为 1200 亿至 1300 亿美元（至少直到最近，他们仍是如此假设）。疯了！有一段时间以来，显而易见的是，Nvidia 在 2025 日历年的营收将超过 2000 亿美元。

IIIb. 封锁实验室：通用人工智能的安全保障

美国领先的 AI 实验室将安全视为事后才考虑的问题。目前，它们基本上是在用银盘把通用人工智能的关键机密拱手送给中国共产党。保护通用人工智能的机密和模型权重免受国家行为体威胁，将是一项艰巨的工作，而我们尚未走上正轨。

他们晚上在 Wigner 的办公室会面。“Szilard 概述了 Columbia 的数据，”Wheeler 报告道，“以及从中得到的初步迹象：每次由中子诱发的裂变，至少会释放两个次级中子。这难道不意味着核爆炸装置肯定是可行的吗？”Bohr 反驳说，未必如此。

“我们试图说服他，”Teller 写道，“我们应该继续开展裂变研究，但不应发表研究结果。我们应该对结果保密，以免纳粹获悉并抢先制造出核爆炸。”

“Bohr 坚称，我们绝不可能成功产生核能；他还坚称，绝不能把保密引入物理学。”

《原子弹秘史》（The Making of the Atomic Bomb），第 430 页

照目前的态势发展下去，领先的中国通用人工智能实验室不会位于北京或上海——它们将位于旧金山和伦敦。几年后，人们将清楚地认识到，通用人工智能机密是美国最重要的国防机密——理应受到与 B-21 轰炸机或 Columbia 级潜艇蓝图同等规格的保护，更不用说那句众所周知的

“核机密”——但如今，我们却像对待普通的 SaaS 软件一样对待它们。照此下去，我们基本上就是把超级智能拱手交给中共。

我们将投入的数万亿美元、美国工业实力的动员、我们最聪明头脑付出的努力——如果中国或其他国家能够直接窃取模型_权重_（一个训练完成的 AI 模型的全部形态，以及通用人工智能的全部形态，都只是计算机上的一个大文件）或关键的_算法秘密_（构建通用人工智能所必需的关键技术突破），那么这一切都毫无意义。

美国领先的 AI 实验室都宣称自己正在构建通用人工智能：它们相信，自己正在构建的技术将在本十年结束前成为美国有史以来最强大的武器。但它们并未以相应的方式对待这项技术。它们以“普通科技初创公司”为标准衡量自身的安全工作，而不是以“关键国防项目”为标准。随着通用人工智能竞赛加剧——随着超级智能将在国际军事竞争中发挥绝对决定性作用这一点日益明朗——我们将不得不直面外国间谍活动的全部力量。目前，这些实验室几乎连脚本小子都防不住，更遑论具备“能抵御朝鲜的安全防护”，更不用说做好准备，应对中国国家安全部全力出击。

而且，这件事并非只会在多年后的未来变得重要。当然，你可能会说，即使 GPT-4 的权重被窃取又怎样——就权重安全而言，真正重要的是我们日后能够保护通用人工智能的权重，所以我们还有几年时间。（不过，如果我们要在 2027 年构建出通用人工智能，那就真的必须行动起来了！）但 AI 实验室_现在_就在开发通用人工智能的_算法秘密——_即关键技术突破，也可以说是蓝图（尤其是用于突破数据墙、继 LLM 之后的 RL/自博弈/合成数据等“下一范式”）。算法秘密所需的通用人工智能级安全防护，要比模型权重所需的通用人工智能级安全防护提前数年到位。几年后，这些算法突破的重要性将超过规模扩大 10 倍或 100 倍的算力集群——这远比美国政府一直在（富有远见地！）大力推进的算力出口管制更加重大。眼下，要窃取这些秘密，你甚至不必发动一场声势浩大的间谍行动：只需去参加任何一场旧金山的聚会，或者透过办公室窗户往里看即可。

我们今天在这方面的失败，很快就会变得不可逆转：在未来 12-24 个月内，我们将把通用人工智能的关键突破泄露给 CCP。这将成为本十年结束前国家安全机构最后悔的一件事。

自由世界能否抵御威权国家正命悬一线——而保持足够大的领先优势，也将成为必要的缓冲，为我们留出余地，妥善解决 AI 安全问题。美国在通用人工智能竞赛中占据优势。但如果我们不尽快认真对待安全问题，就会葬送这一领先地位。现在就着手解决这个问题，甚至可能是我们今天为确保通用人工智能顺利发展所需要做的最重要的一件事。

低估国家行为体，后果自负

太多聪明人低估了间谍活动。

国家及其情报机构的能力极其强大。即使是在正常时期，而非全面展开的通用人工智能竞赛时期（并且仅根据我们公开掌握的少量信息），民族国家（或技术水平较低的行为体）也已经能够：

仅凭一个电话号码，通过零点击攻击入侵任何指定的 iPhone 和 Mac，
渗透与外界物理隔离的核武器项目，
修改 Google 的源代码，
每年发现数十个零日漏洞，而这些漏洞平均需要 7 年才能被检测出来，
对大型科技公司实施鱼叉式网络钓鱼攻击，
在员工设备上安装键盘记录器，
在加密方案中植入后门，
通过电磁辐射或振动窃取信息，
仅利用计算机发出的噪声，确定你在电子游戏地图上的位置或窃取密码，
直接访问核电站等敏感系统，
从美国政府窃取 2200 万份安全许可档案，
通过在暖通空调系统中植入漏洞，泄露 1.1 亿客户的财务信息，
大规模破坏计算机硬件供应链，
将恶意代码偷偷植入顶尖科技公司和美国政府所使用的软件依赖项更新中
……更不用说安插间谍，或诱惑、哄骗或威胁
员工（这种事实际上大规模发生，只是较少公开）
……更不用说特种部队行动及类似行动（当
局势真正白热化时）。

若想进一步体会我们在对抗情报机构时面对的是什么，我强烈推荐 Inside the Aquarium（《水族馆内幕》）一书，作者是一名叛逃的苏联 GRU（军事情报机构）人员。⁷⁰

中国已经在广泛开展工业间谍活动；FBI 局长表示，PRC 的黑客行动规模超过“所有主要国家的总和”。而就在几个月前，司法部长宣布逮捕一名中国公民，此人从 Google 窃取了关键 AI 代码，准备带回 PRC（事情发生在 2022/23 年，而且很可能只是冰山一角）。⁷¹

但这仅仅是个开始。我们必须做好准备，因为我们的对手将在未来几年内“意识到 AGI”。AI 将成为全世界每一个情报机构的头号优先事项。在这种情况下，他们将愿意采取非常手段、不惜任何代价渗透 AI 实验室。

70 剧透一个情节，让你略作体会：从他们那所大约相当于间谍学院的学校毕业后，在被派往海外之前，有志成为间谍的人必须先在国内证明自己的能力：他们必须从一名苏联科学家那里获取机密信息。当然，泄露国家机密的惩罚是死刑。也就是说：从那所大约相当于间谍学院的学校毕业，意味着要挑选一名同胞，将其置于死地。感谢 Ilya Sutskever 推荐此书。

71 顺便说一句，这份起诉书极好地说明了，即使是在 Google，规避安全措施也是多么容易；Google 很可能拥有所有 AI 实验室中最完善的安全体系（因为它能够利用 Google 数十年来对安全基础设施的投入）。要在不被发现的情况下窃取代码，所需做的仅仅是把代码粘贴到 Apple Notes 中，然后导出为 pdf！

“DING 通过将 Google 源文件中的数据复制到其由 Google 配发的 MacBook 笔记本电脑上的 Apple Notes 应用程序中，窃取了这些文件。随后，DING 将 Apple Notes 转换为 PDF 文件，并通过 Google 网络将其上传至 DING Account 1。这种方法帮助 DING 逃过了即时检测。”（引自起诉书。）

他之所以被抓，只是因为还做了一堆其他蠢事，比如立刻在中国创办引人注目的初创公司，从而引起他人怀疑（后来甚至还返回了美国）。

威胁模型

我们必须保护两类关键资产：模型权重（尤其是在我们接近通用人工智能之际，不过要妥善做好这项工作，需要多年的准备和实践）和算法机密（从昨天起就该开始保护）。

模型权重

AI 模型只是服务器上的一个大型数字文件。它可能被窃取。对手无需投入与你相当的数万亿美元、最聪明的人才和数十年的工作，只需窃取这个文件，就能获得与你匹敌的成果。（想象一下，如果纳粹得到了一份 Los Alamos 制造的每一枚原子弹的完全复制品。）

如果我们无法确保模型权重的安全，那么我们只是在为 CCP（中国共产党）打造通用人工智能（而且，鉴于 AI 实验室目前的安全发展态势，甚至也是在为 North Korea 打造）。

即便撇开国家竞争，保护模型权重对于防止 AI 灾难同样至关重要。如果恶意行为者（例如恐怖分子或流氓国家）可以直接窃取模型、绕过所有安全层，并随心所欲地使用它，那么我们所有的忧虑和防护措施都将付诸东流。超级智能所能发明的任何新型大规模杀伤性武器，都会迅速扩散至数十个流氓国家。此外，安全也是抵御失控或未对齐 AI 系统的第一道防线（如果我们仅仅因为没有先在物理隔离的算力集群中构建并测试流氓超级智能，最终未能将其控制住，我们会觉得自己有多愚蠢？）。

目前，保护模型权重并没有那么重要：如果没有底层配方，仅仅窃取 GPT-4 对 CCP 并没有多大用处。但几年后，一旦我们拥有通用人工智能，拥有真正强大得不可思议的系统，这件事就会变得_极其_重要。

也许最令我夜不能寐的一个情景是：在智能爆炸即将发生之际，China 或其他对手成功窃取了自动化-AI-研究员模型的权重。 China 可以立即利用这些模型权重，自行实现 AI 研究自动化

（即使他们此前远远落后）——并启动他们自己的智能爆炸。这将足以让他们实现人工智能研究的自动化，并构建超级智能。美国曾经拥有的任何领先优势都将荡然无存。

此外，这会立即将我们置于一场关乎生死存亡的竞赛之中；确保超级智能安全的任何余地都将消失。CCP 很可能会试图以尽可能快的速度推进智能爆炸——在超级智能方面哪怕只领先几个月，也可能意味着决定性的军事优势——并在此过程中跳过任何负责任的美国通用人工智能项目原本希望采取的所有安全预防措施。为了避免 CCP 的全面主导，我们也将不得不竞速推进智能爆炸。即使美国最终仍设法以极其微弱的优势领先，余地的丧失也将意味着我们不得不在人工智能安全方面冒下巨大风险。

如今，我们距离具备足以保护模型权重的安全能力还差得远。Google DeepMind（鉴于 Google 的基础设施，它或许是所有人工智能实验室中安全能力最强的）至少直截了当地承认了这一点。他们的 Frontier Safety Framework（前沿安全框架）列出了安全等级 0、1、2、3 和 4（约 1.5 级是抵御资源充足的恐怖组织或网络犯罪分子所需的水平，3 级是抵御世界上朝鲜这类国家所需的水平，而 4 级则是在面对最有能力的国家行为体所发动的重点行动时，甚至仅仅有机会成功防御所需的水平）。⁷² 他们承认自己处于 0 级（只有最平庸、最基本的措施）。如果我们很快实现通用人工智能和超级智能，我们实际上将把它们拱手送给恐怖组织和世界上每一个疯狂的独裁者！

72 基于他们所声称的安全等级与 RAND 模型权重安全报告中 L1-L5 等级之间的对应关系

至关重要的是，开发模型权重安全所需的基础设施可能需要提前多年着手——如果我们认为在约 3-4 年内实现通用人工智能确实有可能，并且届时需要具备能够抵御国家行为体的模型权重安全能力，那么我们就需要在_现在_启动紧急攻关。保护模型权重将需要硬件创新以及截然不同的算力集群设计；而这种级别的安全能力无法一蹴而就，而是需要经过多轮迭代。

如果我们未能及时做好准备，我们的处境将极其严峻。我们将站在超级智能的门槛上，但距离安-

所需的安全保障。我们将面临这样的选择：继续推进，但直接把超级智能交付给 CCP——这意味着要经历智能爆炸所带来的生死存亡之争——或者等到安全保障紧急计划完成，但冒着失去领先地位的风险。

算法机密

尽管人们正开始认识到（但未必付诸实施）模型权重安全的必要性，但可以说，目前更为重要——且被_严重_低估——的是保护算法机密。

一种理解方式是：窃取算法机密，对 PRC 而言，其价值将相当于拥有一个大 10 倍乃至更多的算力集群：

正如《计算 OOM》中所讨论的，算法进步对 AI 进步的重要性，可能与扩大算力规模相当。鉴于每年约有 0.5 OOM 算力效率提升的基准趋势（此外还有额外的算法“解除束缚”收益），我们应该预期，从现在到通用人工智能实现之前，将产生价值多个 OOM 的算法机密。按照默认情形，我预计美国实验室将领先数年；如果它们能够保护自己的机密，这些机密的价值很容易相当于 10 倍至 100 倍的算力。
- （请注意，我们愿意通过对 Nvidia 芯片实施出口管制，让美国投资者承担数千亿美元的成本——这可能使中国实验室的算力成本增加 3 倍——但我们却在到处泄露能带来 3 倍增益的算法机密！）
或许更重要的是，_我们现在可能正在开发实现通用人工智能所需的关键范式突破。_正如前文所述，仅仅扩大当前模型的规模将会撞上一堵墙：数据墙。即使拥有多得多的算力，也不可能打造出更好的模型。前沿 AI 实验室正全力探索下一步的发展方向，从 RL 到合成数据。它们很可能会发现一些疯狂的东西——本质上，就是通用智能领域中与“AlphaGo 自我对弈”等价的方案。它们的发明将与数年前最初发明 LLM 范式一样关键

以前，而它们将是构建远超人类水平的系统的关键。我们仍有机会阻止中国获得这些关键的算法突破；没有这些突破，他们将困在数据墙前。但如果未来 12-24 个月内安全状况得不到改善，我们很可能会不可逆转地把这些关键的通用人工智能突破拱手交给中国。

人们很容易低估算法秘密所带来的领先优势有多么重要——因为直到大约几年前，一切成果都会公开发表。基本思路已经公之于世：在互联网文本上扩大 Transformer 的规模。许多算法细节和效率提升方法也已公开：Chinchilla 规模定律、MoE 等。因此，如今的开源模型相当不错，许多公司也拥有相当不错的模型（这主要取决于它们筹集了多少 $$$，以及其算力集群有多大）。但未来几年，这种情况很可能会发生相当剧烈的变化。如今，几乎所有前沿算法进展都出自实验室（学术界出人意料地无关紧要），而领先实验室已经停止发表其进展。我们应该预期未来会出现远为显著的分化：实验室之间、国家之间，以及专有前沿模型与开源模型之间。少数几家美国实验室将遥遥领先——形成价值达 10 倍、100 倍乃至更高的护城河，远远超过例如 7nm 与 3nm 芯片之间的差距——除非它们的算法秘密立即泄露。⁷³

简而言之，我认为，未能保护算法秘密很可能是中国得以在通用人工智能竞赛中保持竞争力的最可能途径。（我会在后文进一步讨论这一点。）

很难夸大当前算法秘密安全状况有多么糟糕。各实验室中有数千人可以接触最重要的秘密；基本上没有背景审查、信息隔离、管控、基本的信息安全措施等。相关信息存储在容易遭到入侵的 SaaS 服务上。人们在旧金山的聚会上喋喋不休。任何脑中掌握全部秘密的人，都可能随时收到 1 亿美元的报价，被招募到中国的实验室。⁷⁴你甚至可以……直接透过办公室窗户往里看。诸如此类，不一而足。有许多文章，以及在旧金山四处流传的传闻，声称掌握了各实验室算法进展的大量细节。

73 我有时会开玩笑说，AI 实验室的算法进展没有与美国研究界分享，却正在与中国研究界分享！

74 事实上，我从朋友那里听说，ByteDance 给 Google Gemini 论文中几乎每一位署名者都发了招聘邮件，向他们提供 L8 职级（一个非常高级的职位，薪酬想必也同样高），并以他们将直接向 ByteDance 的美国 CTO 汇报作为招揽条件。

AI 实验室的安全水平并不比“随便一家初创公司的安全水平”好多少。直接把通用人工智能的机密卖给 CCP 至少还更诚实一些。

……这就是我们在 OpenAI 或其他任何一家美国 AI 实验室所看到的情形吗？不是。事实上，我们看到的恰恰相反——其安全防护如同瑞士奶酪般漏洞百出。只要采用任意一种工业间谍手段，渗透这些实验室对中国而言都轻而易举，例如，只需贿赂清洁人员，让他们把 USB 加密狗插入笔记本电脑。就我个人而言，我假定所有这类美国 AI 实验室都已被全面渗透，并且中国此刻正在每晚下载美国的全部 AI 研究成果和代码。……

Marc Andreessen

尽管这会很困难，但我认为这些机密是可以守住的。对于某家实验室的某项算法突破而言，真正“需要知晓”其关键实现细节的可能只有几十人（即使需要了解基本高层思路的人数更多）——除了从根本上升级信息安全之外，你还可以对这些人员进行审查、隔离，并实施严密监控。

“超级安全”需要什么

AI 实验室的安全工作中还有许多唾手可得的改进空间。哪怕只是采用诸如保密型对冲基金的最佳实践，或达到 Google 客户数据级别的安全水平，也会让我们在应对来自 CCP 的“常规”经济间谍活动时处于好得多的位置。事实上，确实有一些私营企业在保守机密方面表现得极为出色。以量化交易公司（例如 Jane Street 之类的公司）为例。许多人曾告诉我，只需交谈一个小时，他们就能向竞争对手透露足够多的信息，使其公司的阿尔法收益降至约零——这类似于许多关键的 AI 算法机密也能在一次简短交谈中泄露——然而，这些公司却能守住这些机密并保持自身优势。

尽管美国大多数领先的 AI 实验室都拒绝把国家利益放在首位——甚至连基本的安全措

本层级的措施，如果会产生任何成本，或者需要对安全工作进行任何优先级排序——那么摘取这些唾手可得的果实完全在他们的能力范围之内。

但让我们再把目光稍微放远一些。一旦中国开始真正理解通用人工智能的重要意义，我们就应当预料到，其间谍活动将全力展开；想象一下：投入数十亿美元、动用数千名人员，并采取极端手段（例如特种作战突击队），专门渗透美国的通用人工智能项目。通用人工智能和超级智能将需要怎样的安全保障？

简而言之，只有在政府的帮助下，这才有可能实现。例如，Microsoft 经常遭到国家行为体的黑客攻击（例如，俄罗斯黑客最近窃取了 Microsoft 高管的电子邮件，以及由 Microsoft 托管的政府电子邮件）。一位在该领域工作的高级安全专家估计，即便私营企业全面开展紧急强化行动，如果窃取通用人工智能模型权重是中国的头号优先事项，中国仍很可能成功将其外传——若要把这一概率降至个位数，或多或少需要一个政府项目。

尽管政府自身在安全方面的过往记录并非完美，但只有政府拥有保护国防级机密所需的基础设施、专业知识和能力。这包括一些基本事项，例如：有权对员工进行严格审查；以泄露机密将面临监禁相威慑；为数据中心提供实体安全保障；以及 NSA 等机构和负责安全许可审查的人员所拥有的海量专业知识（私营公司根本不具备应对国家行为体攻击的专业能力）。

我并不是负责安全许可审查的人员之一，因此无法恰当地详述通用人工智能的安全保障究竟需要什么。关于这一问题，最好的公开资料是 RAND 有关模型权重安全的报告。为了让人初步了解这种能够抵御国家行为体的安全保障实际上意味着什么：

完全物理隔离的数据中心，其实体安全水平与最安全的军事基地相当（拥有安全许可的人员、实体防御工事、现场响应团队、广泛监控

以及极端的访问控制），

而且不只是训练算力集群——推理算力集群也需要同样严密的安全防护！⁷⁵
在机密计算／硬件加密⁷⁶方面取得新的技术进展，并对整个硬件供应链进行极其严格的审查，
所有研究人员均在 SCIF（Sensitive Compartmented Information Facility，敏感隔离信息设施，读作“skiff”，参见此可视化图示）中工作，
对人员进行极其严格的背景审查和安全许可审查（包括定期的员工诚信测试等）、持续监控、大幅限制离开的自由，并实施严格的信息隔离。

75 推理算力集群的规模很可能远大于训练算力集群，而且在智能爆炸期间，人们将面临压倒性的压力，要求使用这些推理算力集群来运行自动化 AI 研究员（并在紧随其后的时期更广泛地运行数十亿个超级智能）。因此，通用人工智能／超级智能的模型权重也可能从这些算力集群中被窃取。（我担心这一点受到的重视不足，而推理算力集群得到的保护将远为薄弱。）

76 但不能只依赖这一点！硬件加密经常会遭到侧信道攻击。当然，纵深防御至关重要。
强有力的内部控制，例如运行任何代码都需要多密钥联合批准。
严格限制任何外部依赖，并满足 TS/SCI 网络的一般要求。
由 NSA 或类似机构持续开展高强度渗透测试。
诸如此类……

巨型通用人工智能算力集群此刻正在规划之中；相应的安全工作也必须同步展开。如果我们将在短短几年内构建出通用人工智能，那么留给我们的时间已所剩无几。

不过，这项规模庞大的工作不应导致宿命论。安全方面的一线希望在于，CCP 很可能尚未完全形成对通用人工智能的深刻认知，因此尚未投入最极端的行动。美国 AI 实验室的安全防护“只需”在防护强度上领先于中国间谍活动的发展曲线。这意味着立即升级安全防护，以领先于“更常规的”经济间谍活动（我们远不足以抵御这类活动，但私营企业或许能够做到）；也意味着在未来几年里，随着中国及其他外国间谍活动不断加剧，迅速升级到强度高得多的

与政府合作采取措施。

一些人认为，严格的安全措施及其带来的摩擦并不值得，因为它们会让美国的 AI 实验室放慢太多。但我认为这种看法是错误的：

这是一个公地悲剧问题。就某个实验室的商业利益而言，在与其他实验室竞争时，导致速度放缓 10% 的安全措施可能是不利的。但如果每个实验室都愿意接受额外的摩擦，显然更符合国家利益：美国的 AI 研究远远领先于中国及其他外国的算法进展，而美国将相当于原有速度 90% 的算法进展保留为我们的国家优势，显然优于保留 0% 的国家优势（所有成果都被立即窃取）！
此外，从长远的研究生产力来看，现在加强安全保障将是痛苦_更少_的路径。最终，不可避免地——哪怕只是在即将迈入超级智能之际，在即将到来的非同寻常的军备竞赛中——美国政府（USG）也会意识到这种局面令人无法忍受，并要求实施安全整顿。如果不得不从零开始实施能够抵御国家行为体的极端安全措施，而不是以迭代方式推进，那将痛苦得多，也会导致严重得多的速度放缓。

另一些人认为，即使我们的机密或模型权重泄露，我们仍能凭借在其他方面速度更快，勉强保持_些微领先_（因此无需担心安全措施）。这种看法同样是错误的，或者至少是在冒着_大得多_的风险：

正如我在后文中所讨论的，我认为中国共产党（CCP）很可能有能力凭借蛮力式建设超过美国（对他们来说，建造一个 100GW 的算力集群会容易得多）。更一般而言，中国可能不会受到与美国同等程度的谨慎态度所拖累（包括合理和不合理的谨慎！）。即使窃取算法或模型权重“只是”让他们在模型方面与美国处于同等水平，这也可能足以让他们赢得迈向超级智能的竞赛。
此外，即使美国最终勉强领先，领先 1-2 年与领先 1-2 个月之间的差异，对于应对超级智能带来的危险也将极其重要。领先 1-2 年意味着至少有合理的余裕来妥善解决安全问题，并应对智能爆炸前后及超级智能出现之后极度动荡的时期。⁷⁷ 仅仅领先 1-2 个月，则意味着一场节奏疯狂的国际军备竞赛，各方面压力极大，各方竞相冲过智能爆炸阶段，完全没有妥善解决安全问题的空间。正是在这种势均力敌、关乎存亡的竞赛中，我们面临着最大的自我毁灭风险。
不要忘了 Russia、Iran、North Korea 等国家。它们的黑客能力不容小觑。照目前的路线走下去，我们也在把超级智能白白分享给它们！如果安全水平得不到大幅提升，我们就会把将成为我们最强大武器的东西扩散给众多极其危险、鲁莽且不可预测的行为体。⁷⁸

我们并未走在正确的轨道上

当少数人最初意识到原子弹有可能制造出来时，保密或许也是最具争议的问题。1939 年和 1940 年，Leo Szilard 在“整个美国物理学界以裂变事务保密的首要倡导者而闻名”。⁷⁹ 但他遭到了大多数人的拒绝；保密根本不是科学家所习惯的做法，而且有悖于他们开放科学的许多基本本能。但人们逐渐明白必须采取什么行动：这项研究的军事潜力过于巨大，绝不能就这样与 Nazis 自由分享。最终，保密措施及时实施了。

1940 年秋，Fermi 完成了关于石墨的全新碳吸收测量，结果表明石墨可以作为炸弹的可行慢化剂。Szilard 再次强烈要求 Fermi 保密。“当时 Fermi 真的发火了；他真心认为这荒唐透顶，”Szilard 回忆道。幸运的是，后来进一步的劝说终于奏效，Fermi 不情愿地放弃发表其石墨研究结果。

77 例如，在智能爆炸期间额外留出 6 个月进行对齐研究，以确保超级智能不会出现偏差；在某些新型大规模杀伤性武器被发明后，通过指示这些系统专注于防御性应用来争取稳定局势的时间；或者仅仅是在超级智能问世带来技术变革步伐异常迅猛的情况下，为人类决策者留出时间作出正确决策。

78 我们竭尽全力防止核武器扩散到流氓国家；即使与它们较为有限的核武库相比，我们在核技术上仍然“领先”，也依然如此，因为核扩散可能造成严重的混乱。

79 《The Making of the Atomic Bomb》，第 509 页

图 31：Leo Szilard。

与此同时，德国的项目已将可能的慢化剂材料缩小到两种：石墨和重水。1941 年初，Walther Bothe 在 Heidelberg 对石墨的吸收截面进行了一次错误测量，并得出结论，认为石墨会吸收过多中子，无法维持链式反应。由于 Fermi 对自己的结果进行了保密，德国人无法用 Fermi 的测量数据进行核对并纠正这一错误。这一点至关重要：它使德国的项目转而研究重水——这是一条决定性的错误道路，最终葬送了德国的核武器研制工作。⁸⁰

80 _《原子弹秘史》（The Making of the Atomic Bomb），_第 507 页

若非最后关头提出的那项保密请求，德国的原子弹项目或许会成为一个强大得多的竞争对手——而历史也可能会走向截然不同的结局。

领先的 AI 实验室在安全问题上存在一种真正的认知失调。它们声势浩大地宣称，要在本十年内构建出通用人工智能。它们强调，美国在通用人工智能领域的领导地位将对美国国家安全起到决定性作用。据报道，它们正在规划部署 7T 芯片；除非你_真的_相信通用人工智能会实现，否则这种规划根本说不通。而且确实，当你提起安全问题时，它们会点头承认“当然，到时候我们都会待在地堡里”，然后露出一丝坏笑。

然而，现实中的安全状况却与此截然脱节。每当需要作出艰难抉择、将安全置于优先位置时，创业公司的心态和商业利益都会压倒国家利益。如果国家安全顾问了解到美国领先 AI 实验室的安全水平，他恐怕会精神崩溃。

眼下正在开发的一些机密，可以用于未来的每一次训练运行，并将成为解锁通用人工智能的关键；然而，保护这些机密的仅仅是创业公司级别的安全措施，而它们对 CCP 的价值将高达数千亿美元。⁸¹ 现实是：a）在未来 12—24 个月内，我们将取得实现通用人工智能所需的关键算法突破，并立即将其泄露给 CCP；b）我们的模型权重甚至还没有走上能够防范 North Korea 等流氓行为体的安全轨道，更不用说一个

81 当价值数百亿或数千亿美元的算力集群正在建设时，算力效率可提升 100 倍以上。

到我们构建出通用人工智能时，中国将会为此倾尽全力。“对一家初创公司而言足够好的安全措施”根本远远不够好，而在对美国国家安全造成的严重损害变得不可逆转之前，我们所剩的时间已经非常少。

我们正在开发人类有史以来创造的最强大武器。我们此刻正在开发的算法机密，确确实实是这个国家最重要的国防机密——这些机密将在本十年末成为美国及其盟友取得经济和军事优势的基石；这些机密将决定我们是否拥有必要的领先优势，从而妥善解决 AI 安全问题；这些机密将决定第三次世界大战的结局；这些机密将决定自由世界的未来。然而，AI 实验室的安全水平可能还不如一家生产螺栓的普通国防承包商。

这太疯狂了。

如果我们不尽快解决这个问题，那么我们在国家竞争和 AI 安全方面所做的其他一切，基本上都将毫无意义。

图 32：1943 年，田纳西州橡树岭铀浓缩设施的一块宣传牌。

IIIc. 超级对齐

可靠地控制远比我们聪明的 AI 系统，是一个尚未解决的技术问题。虽然这是一个可以解决的问题，但在快速的智能爆炸过程中，事态很容易脱轨。应对这一局面将会极度紧张；失败很容易带来灾难性后果。

那老巫师
终于走远了！
现在，他所控制的精灵
都得听从我的命令。

. . .

我也要创造奇迹。

. . . 先生，我已经走投无路！我召唤出的精灵——我没法摆脱它们。

johann wolfgang von goethe（约翰·沃尔夫冈·冯·歌德）《The Sorcerer’s Apprentice》（《魔法师的学徒》）

读到这里，你很可能已经听说过那些 AI 毁灭论者。你或许曾被他们的论点吸引，也或许曾不假思索地将其斥之为无稽之谈。你不愿再读一篇充满末日与悲观论调的沉思文章。

我不是毁灭论者。⁸² 未对齐的超级智能可能并不是最大的 AI 风险。⁸³ 但在过去一年里，我的日常工作是在 OpenAI 开展关于 AI 系统对齐的技术研究，与 Ilya 和超级对齐团队一同工作

82 毁灭论者的头号代表已经不怎么客气地认证过这一点！至少，我会称自己为坚定的乐观主义者，相信这个问题能够解决。我投入了大量精力与 AI 悲观主义者辩论，并强烈反对暂停 AI 等政策。
83 我最担心的是，在超级智能出现前后，一切都会彻底陷入疯狂，包括新型大规模杀伤性武器、毁灭性战争以及未知的未知。此外，我认为历史的轨迹告诫我们，不应低估威权主义——而超级智能可能使威权统治者支配世界数十亿年。

团队。这里存在一个非常现实的技术问题：我们目前的对齐技术（确保我们能够可靠地控制、引导和信任 AI 系统的方法）无法扩展到超人类 AI 系统。我想做的是解释，在我看来，我们将如何勉强渡过难关的“默认”方案是什么，⁸⁴以及我为何对此持乐观态度。尽管真正意识到问题的人还不够多——我们本应以更宏大的力度来解决这个问题！——但总体而言，我们很幸运，深度学习最终呈现出了如今这种形态；有许多凭经验即可摘取的低垂果实，能让我们走完一部分路程；而要走完余下的路程，我们还将拥有数百万名自动化 AI 研究人员这一优势。

84 正如 Tyler Cowen 所说，勉强渡过难关的价值被低估了！

但我也想告诉你，我为何感到担忧。最重要的是，确保对齐不出差错，将要求我们以极高的能力管理智能爆炸。如果我们确实迅速地从通用人工智能过渡到超级智能，我们将面临这样一种局面：在_不到一年_的时间里，我们将从尚可辨识的人类水平系统——对这类系统而言，当前对齐技术的后继方法大体上仍能良好运作——转向更加异质、远超人类的系统，而后者会带来性质完全不同、从根本上前所未有的技术性对齐问题；与此同时，我们还会从失败后果较轻的系统，转向极其强大、失败可能造成灾难性后果的系统；而这一切都将发生在世界大部分地区很可能正陷入某种疯狂状态之际。这让我相当紧张。

到这个十年结束时，将有数十亿个远超人类的 AI 智能体四处活动。这些超人类 AI 智能体将能够展现极其复杂且富有创造力的行为；我们根本没有希望跟上它们。我们会像试图监督拥有多个博士学位者的一年级小学生。

从本质上说，我们面临的是一个移交_信任_的问题。到智能爆炸结束时，我们将完全没有希望理解那十亿个超级智能正在做什么（除非它们愿意向我们解释，就像它们可能向一个孩子解释那样）。而且，对于这些系统，哪怕是“不撒谎”“遵守法律”或“不要试图从你的服务器中窃取数据”之类的基本附加约束，我们目前也不具备可靠保证其得到遵守的技术能力。基于人类反馈的强化学习（RLHF）非常适合为当前

系统——但 RLHF 依赖于人类能够理解和监督 AI 的行为，而这种方法从根本上无法扩展至超人类系统。

简而言之，如果没有高度协调一致的努力，我们将无法保证超级智能不会失控（该领域的许多领导者也承认这一点）。是的，默认情况下可能一切都会安然无恙。但我们目前根本无从知晓。尤其是当未来的 AI 系统不再仅通过模仿学习进行训练，而是通过大规模、长时程的 RL（强化学习）进行训练时，它们将获得自身不可预测的行为，而这些行为由一个反复试错的过程塑造（例如，它们可能会学会撒谎或寻求权力，仅仅因为这些是现实世界中的成功策略！）。

事关重大，仅仅寄希望于最好的结果，根本不足以作为对齐问题的答案。

问题

超级对齐问题

我们已经能够开发出一种非常成功的方法，用于对齐（即引导/控制）当前的 AI 系统（比我们更笨的 AI 系统！）：基于人类反馈的强化学习（RLHF）。RLHF 背后的理念很简单：AI 系统尝试各种做法，人类评价其行为是好是坏，然后强化良好行为并惩罚不良行为。通过这种方式，它学会遵循人类偏好。

事实上，RLHF 一直是 ChatGPT 等系统取得成功的关键。⁸⁵ 基础模型拥有大量未经雕琢的智能，但默认情况下并不会以有用的方式运用这些智能；它们通常只会给出一团类似随机互联网文本的混乱内容。借助 RLHF，我们可以引导其行为，向其中灌输遵循指令和乐于助人等重要的基本能力。RLHF 还使我们能够内置安全护栏：例如，如果用户向我索要生物武器制作说明，模型或许应该拒绝。⁸⁶

85 颇具讽刺意味的是，安全领域的人通过发明 RLHF，为推动 AI 的商业成功实现了最重大的突破！基础模型拥有大量未经雕琢的智能，但无法引导，因而无法用于大多数应用。

86 这凸显了一个重要区别：对模型进行对齐（引导/控制）的_技术能力_，与_应当对齐到什么目标_这一价值观问题彼此独立。围绕后一个问题已经出现了许多政治争议。尽管我赞同对由此衍生出的某些现象所持的反对意见，但这不应转移我们对基本技术问题的注意力。是的，对齐技术可能遭到滥用——但我们将需要更好的对齐技术，以确保未来模型即使是遵循指令或遵守法律之类的基本附加约束也能得到满足。另见“AI alignment is distinct from its near-term applications”（AI 对齐不同于其近期应用）。

超级对齐的核心技术问题很简单：我们如何控制比我们聪明（得多）的 AI 系统？

随着 AI 系统变得越来越智能，RLHF 将不可避免地失效，而我们将面临全新的、性质截然不同的技术挑战。例如，设想一个超人类 AI 系统使用一种由它发明的新编程语言生成一百万行代码。如果你在 RLHF 流程中询问一名人类评估员：“这段代码是否包含任何安全后门？”他们根本不会知道。他们将无法评定输出是好是坏、是安全还是不安全，因此我们也就无法通过 RLHF 强化良好行为并惩罚不良行为。

即使是现在，AI 实验室也已经需要付费聘请专业软件工程师，为 ChatGPT 代码提供 RLHF 评分——当前模型能够生成的代码已经相当高级了！人类标注员的报酬已经从 MTurk 标注员的几美元上升到

图 33：通过人类监督（如 RLHF）对齐 AI 系统，无法扩展至超级智能。

在过去几年中，回答 GPQA 问题的成本约为每小时 100 美元⁸⁷。在（不久的）未来，即使最优秀的人类专家投入大量时间，也将不再足以胜任。如今，我们已经开始在现实世界中触及超级对齐问题的早期版本；很快，即便只是为了实际部署下一代系统，这也会成为一个重大问题。显然，我们将需要一种 RLHF 的后继方法，它能够扩展到超越人类水平的 AI 能力，因为届时人类监督将失效。从某种意义上说，超级对齐研究工作的目标，是重现 RLHF 的成功历程：对那些必要的基础研究方向下注，从而能够在几年后引导和部署 AI 系统。

87 “我们估算，平均时薪约为每小时 95 美元”，见 GPQA 论文第 3 页。

失败会是什么样子

人们往往只会想象一个“GPT-6 聊天机器人”，并据此形成直觉，认为这些系统肯定不会出现危险的对齐失误。正如本系列前文所讨论的，“解除束缚”的发展轨迹表明，在不久的未来，将会出现通过 RL 训练的智能体。我认为 Roger 的图准确地呈现了这一点。

图 34：Roger Grosse 论系统日益先进时对齐问题的演变。

从安全角度来看，理解我们试图通过对齐实现什么目标的一种方式，是添加_附加约束。_设想一个未来强大的“基础模型”，在第二阶段的训练中，我们使用长时间跨度的强化学习训练它经营企业并赚钱⁸⁸（作为一个简化示例）：

默认情况下，它很可能会学会撒谎、实施欺诈、欺骗、入侵系统、追求权力等等——仅仅因为这些策略在现实世界中可能有助于成功赚钱！⁸⁹
我们想要的是添加附加约束：不要撒谎、不要违法，等等。
但在这里，我们又回到了对齐超人类系统这一根本问题：我们将无法理解它们在做什么，因此也就无法通过基于人类反馈的强化学习（RLHF）发现并惩罚不良行为。⁹⁰

88 非常简化地说，可以把它想象成一个人工智能系统通过反复试错，试图在一年时间里最大化所赚取的金钱，而最终训练完成的人工智能模型，是一个选择过程中产生的结果；该过程会选择那些在最大化金钱方面最为成功的人工智能系统。

89 强化学习所做的，只是在探索实现目标的成功策略。如果某种策略奏效，它就会在模型中得到强化。因此，如果撒谎、欺诈、追求权力等行为（或者至少在某些情境下可能导致这类行为的思维模式）奏效，那么它们同样会在模型中得到强化。

90（或者使用人类监督训练、在推理时进行监控的模型）

如果我们无法添加这些附加约束，接下来会发生什么便并不清楚。_也许_我们会走运，默认情况下事情就是良性的（例如，也许无需让人工智能系统拥有长时间跨度的目标，我们就能取得相当大的进展；又或者，不良行为会很轻微）。但同样完全有可能的是，它们会学会严重得多的不良行为：它们会学会撒谎，会学会追求权力，会学会在人类注视时表现良好，而在我们没有监视时采取更加邪恶的策略，等等。

超级对齐问题尚未解决，意味着我们根本没有能力确保这些超级智能系统遵守哪怕是这些基本的附加约束，例如“它们会可靠地遵循我的指令吗？”或者“_它们会诚实地回答我的问题吗？”_或者“它们不会欺骗人类吗？”。人们常常将对齐与某些有关人类价值观的复杂问题联系起来，或者直接跳到政治争议上，但决定要向模型灌输哪些行为和价值观，尽管很重要，却是另一个独立的问题。首要问题在于，无论你想向模型灌输什么（包括确保一些非常基本的事情，例如“遵守法律”！），对于我们正在构建的非常强大的人工智能系统，我们尚且不知道该如何做到这一点，非常

很快。

同样，这件事的后果并不完全清楚。可以确定的是，超级智能将拥有极其强大的能力——因此，其不当行为很容易造成灾难性后果。更重要的是，我预计在短短几年内，这些 AI 系统将被集成到许多关键系统中，包括军事系统（不这样做就意味着会被对手完全压制）。这听起来很疯狂，但还记得当初所有人都说我们不会把 AI 接入互联网吗？“我们会确保始终有人类参与其中！”之类的说法也会遭遇同样的命运——就像今天人们所说的那样。

届时，对齐失败可能表现为孤立事件，比如一个自主智能体实施欺诈、一个模型实例自行外泄、一个自动化研究员伪造实验结果，或者一个无人机群越过交战规则。但失败也可能发生在更大范围，或更具系统性——在极端情况下，失败可能更像是一场机器人叛乱。我们将召唤出一种颇为异质的智能，一种比我们聪明_得多_的智能；它的架构和训练过程甚至并非由我们设计，而是由某个极其聪明的上一代 AI 系统设计；我们甚至根本无法开始理解它们在做什么；它将运行我们的军事系统；而它的目标则是通过一种类似自然选择的过程习得的。

除非我们解决对齐问题——除非我们弄清楚如何植入这些附加约束——否则没有任何特别的理由可以期待，这个由超级智能组成的小型文明从长远来看会继续服从人类的命令。完全有可能的是，在某个时刻，它们会干脆合谋排除人类，无论是突然发生还是逐渐进行。

智能爆炸让这一切变得无比紧张

我乐观地认为，超级对齐是一个可以解决的技术问题。正如我们开发出了 RLHF 一样，我们也可以为超人类系统开发出 RLHF 的继任方法，并开展科学研究，使我们对自己的方法抱有高度信心。如果一切继续以迭代方式推进，如果我们坚持严格的安全

测试等等，这一切都应该是可行的（稍后我会进一步讨论，目前我对我们将如何勉强渡过这一关的最佳猜测）。

真正令人无比毛骨悚然的是智能爆炸的可能性：我们或许会极其迅速地从大致具有人类水平的系统过渡到远超人类的系统，甚至可能不到一年。

我们将极其迅速地从 RLHF 运作良好的系统——转变为 RLHF 将彻底失效的系统。这留给我们的时间少之又少，几乎无法通过迭代来发现并

图 35：智能爆炸使超级对齐变得极其令人毛骨悚然。

探讨我们当前的方法将以何种方式失效。

与此同时，我们将极其迅速地从故障风险相当低的系统（ChatGPT 说了一个不雅词，那又怎样）——过渡到风险极高的系统（糟糕，超级智能自行从我们的算力集群中渗出，现在它正在入侵军方系统）。我们不会在现实环境中逐步遭遇越来越危险的安全故障；我们遇到的第一次显著安全故障可能就已经是灾难性的。
最终得到的超级智能将会在能力上远远超越人类。我们将完全依赖于信任这些系统，并相信它们告诉我们的情况——因为我们自己将不再有能力看穿它们究竟在做什么。
最终得到的超级智能可能会相当异质。在智能爆炸期间，我们将经历十年甚至更长时间的机器学习进步，这意味着其架构和训练算法将完全不同（其安全属性也可能危险得多）。
- 一个令我尤为关注的例子是：我们很可能通过以思维链进行推理的系统，也就是通过英语词元进行推理的系统，逐步自举至人类水平或略超人类水平的通用人工智能。这极其有帮助，因为这意味着模型会“把思考说出来”，让我们能够发现恶意行为（例如它是否在暗中密谋对付我们）。但是，显然，让 AI 系统以词元进行思考并不是最高效的方式；显然，一定存在某种好得多的方法，能够通过内部状态完成所有这些思考——因此，到智能爆炸结束时，模型几乎肯定不会把思考说出来，也就是说，它的推理将完全无法解释。
这将是一个极其动荡的时期，其背景可能是一场国际军备竞赛，各方承受着加速推进的巨大压力，每周都会出现惊人的新能力进展，人类几乎没有时间作出明智决策，诸如此类。我们将面对大量模棱两可的数据和事关重大的决策。
设想一下：“我们发现这个 AI 系统在测试中做了一些不规矩的事情，但我们稍微调整了一下流程，就把这个问题解决了。我们的自动化 AI 研究员告诉我们，对齐指标看起来不错，但我们并不真正理解正在发生什么，也不完全信任它们；而且，我们并没有任何坚实的科学认识，能让我们确信再扩展几个 OOM 后这种状态仍会持续。所以，我们大概不会有事？另外，中国刚刚窃取了我们的模型权重，而且他们正在启动自己的智能爆炸，紧追在我们身后。”

*这实在太像是可能会彻底失控了。*坦率地说，这听起来很可怕。

是的，我们将有 AI 系统来帮助我们。正如它们会自动化能力研究一样，我们也可以利用它们来自动化对齐研究。这一点至关重要，我将在下文讨论。但——你能信任这些 AI 系统吗？你一开始就不确定它们是否已经对齐——对于自己在对齐科学方面提出的主张，它们真的对你如实相告吗？自动化对齐研究能否跟上自动化能力研究（例如，对齐的自动化可能更加困难，比如与提升模型能力相比，可供我们信任的明确指标更少；又或者，由于国际竞赛的存在，各方承受着全速推进能力进展的巨大压力）？而且，在这种利害攸关程度高得惊人的局势中，AI 无法完全取代仍由人类担任的决策者来作出正确判断。

默认方案：我们如何勉强渡过难关

我认为，我们可以从若干项经验性押注中取得成果——我将在下文加以说明——从而让具备一定超人能力的系统实现对齐。然后，如果我们确信可以信任这些系统，就需要利用这些具备一定超人能力的系统来自动化对齐研究——在智能爆炸期间，与整个 AI 研究的自动化同步进行——以弄清楚如何彻底解决对齐问题，走完余下的路。

对齐在一定程度上超越人类的模型

仅仅对齐人类水平的系统是不够的。即便是首批能够开展自动化 AI 研究、即开启智能爆炸的系统，也很可能已经在许多领域大幅超越人类。这是因为 AI 能力很可能会呈现一定程度的不均衡性——当通用人工智能在一名人类 AI 研究员/工程师最不擅长的任何方面达到人类水平时，它在许多其他方面都已超越人类。例如，AI 系统进行有效协调和规划的能力或许会相对滞后，这意味着当智能爆炸全面展开时，它们很可能已经成为超越人类的程序员，能够用自己设计的新编程语言提交包含数百万行代码的拉取请求，并且在数学和机器学习方面超越人类。

这些处于智能爆炸早期阶段的系统将开始在数量和质量上超越人类，至少在许多领域如此。但就架构而言，它们看起来会更接近我们今天拥有的系统，而我们需要跨越的智能差距也更容易应对。（如果说人类试图对齐真正的超级智能，就像一名一年级小学生试图监督一名博士毕业生，那么这种情况更像是一名聪明的高中生试图监督一名博士毕业生。）

更广泛地说，我们现在越能发展出良好的科学，就越有能力验证智能爆炸期间事情是否正在脱离正轨。即便只是获得我们能够信赖的超级对齐良好指标，也出乎意料地困难——但如果智能爆炸期间没有可靠的指标，我们就无法知道继续推进是否安全。

以下是我认为有望跨越人类水平系统与在一定程度上超越人类的系统之间差距的一些主要研究押注。

评估比生成更容易。我们可以“免费”走完一部分路程，因为对我们来说，评估输出（尤其是识别恶劣的不当行为）比亲自生成这些输出更容易。例如，我需要投入数月乃至数年的艰苦工作才能写出一篇论文，但只需几个小时就能判断别人写的一篇论文是否优秀（不过或许需要更长时间

以发现欺诈）。我们将让由人类专家组成的团队投入大量时间评估每一个基于人类反馈的强化学习（RLHF）示例，而且即使 AI 系统比他们聪明一些，他们也能够对许多不当行为“点踩”。不过，这种方法所能带我们前进的距离终究有限（GPT-2 甚至 GPT-3 都无法可靠地识别作恶的 GPT-4，尽管评估比生成更容易！）

可扩展监督。我们可以使用 AI 助手来帮助人类监督其他 AI 系统——人类与 AI 组成的团队能够将监督范围扩展到人类独自无法企及的程度。例如，设想一个 AI 系统生成了 1M 行复杂代码。如果 AI 助手已经指出（比如）第 394,894 行看起来可疑，那么人类复核这一行代码是否存在缺陷，要比人类从头找出同一个缺陷容易得多。因此，一个经过训练、能够批评另一模型所编写代码的模型，可以帮助人类监督一个在编程方面具有狭义超人能力的系统。

目前已经提出了若干可扩展监督策略，包括辩论、做市、递归奖励建模和证明者—验证者博弈，以及这些构想的简化版本，例如批评。如今，模型已经足够强大，可以对这些构想进行实证检验，从而直接推动可扩展监督取得进展。

我预计，这将对问题中“量上”超越人类的部分大有帮助，例如前述包含一百万行代码的例子。但对于问题中“质上”超越人类的部分，我不太乐观，不认为可扩展监督技术真的能够提供帮助——设想一下，当你只理解牛顿物理学时，模型却发明了量子物理学。

泛化。即使有可扩展监督，我们也无法在真正困难的问题上监督 AI 系统，也就是那些超出人类理解能力的问题。不过，我们可以研究：AI 系统将如何从人类在简单问题（我们确实理解并且能够监督的问题）上的监督中进行_泛化_，从而在困难问题（我们无法理解并且不再能够监督的问题）上采取行动？例如，或许监督模型在简单情形下保持诚实，会以良性的方式泛化到

即模型总体上保持诚实，即使它正在做我们无法理解的极其复杂的事情时也是如此。

我们有很多理由对此持乐观态度：深度学习的神奇之处之一在于，它往往会以良性的方式实现泛化（例如，仅使用英语样例的标签进行 RLHF，也往往会使模型在说法语或西班牙语时表现良好，即便这些语言并不属于训练内容）。我相当乐观地认为，我们既会找到非常简单的方法，帮助推动模型朝着有利于我们的方向泛化，也能够建立扎实的科学认识，帮助我们预测泛化何时会奏效、何时会失败。与可扩展监督相比，人们更希望这种方法即使在“性质上”超越人类的情形中也能对对齐有所帮助。

还可以用另一种方式来思考这个问题：如果一个超人类模型行为不当，比如违反法律，直觉上，_模型应该已经知道_自己正在违法。此外，“这是否违法”对模型而言很可能是一个相当自然的概念——并且它将在模型的表征空间中十分显著。那么问题就是：我们能否仅通过弱监督，从模型中“召唤”出这一概念？

我尤其偏爱这个方向（也许有所偏袒），因为我和 OpenAI 的一些同事最近通过一些工作共同推动了这一方向。具体而言，我们研究了一个与人类监督超人类系统这一问题类似的情形——一个_小模型_能否对齐一个_更大（更聪明）的模型_？我们发现，泛化确实能帮助你跨越监督者与被监督者之间的部分（但肯定不是全部）智能差距，而且在简单场景中，你可以采取很多措施来改善它。

可解释性。我们希望能够验证并相信我们的 AI 系统已经对齐，而一种直观上颇具吸引力的方式，就是我们能够理解它们在想什么！例如，如果我们担心 AI 系统正在欺骗我们或密谋对付我们，那么访问它们的内部推理过程应该有助于我们发现这一点。

默认情况下，现代 AI 系统都是难以理解的黑箱。

图 36：研究超级对齐的一个简单类比：我们可以研究由小模型监督大模型，而不是由人类监督超人类模型。例如，我们能否仅借助 GPT-2 的监督来对齐 GPT-4？这是否会使 GPT-4 恰当地泛化“GPT-2 所表达的意思”？引自《从弱到强的泛化》。

然而，我们似乎应该能够开展令人惊叹的“数字神经科学”研究——毕竟，我们可以完整访问模型内部。

这里有几种不同的方法，其范围从“最雄心勃勃、最‘酷’，但也会非常困难”，一直到“更具权宜之计色彩、更容易实现，而且或许确实有效”。

机制可解释性。 尝试从底层开始，对大型神经网络进行完整的逆向工程——可以说，就是彻底解开那些令人费解的矩阵。

Chris Olah 在 Anthropic 的团队完成了这一领域的大量开创性工作，最初是从理解极小模型中的简单机制入手。最近，这一领域正在取得极其令人振奋的进展，而该领域整体的活跃程度也令我无比欣喜。

尽管如此，我担心对超人类人工智能系统进行完整的逆向工程可能根本是一个难以处理的问题——类似于，比如说，“对人脑进行完整的逆向工程”——因此，我主要会将这项工作归入“保障人工智能安全的宏大登月计划”，而不是“摸索着渡过难关的默认方案”。⁹¹

（Neel Nanda 提出的机制可解释性领域 200 个开放问题，也展现了此类研究的风貌。）

91 此外，即使是近期利用稀疏自编码器“解耦模型特征”的机制可解释性进展，本身也无法解决如何应对超人类模型的问题。首先，模型可能只是在使用你无法理解的超人类概念进行“思考”。此外，你怎么知道哪一个特征才是你想要的？你仍然没有真实标签。例如，可能存在大量在你看来像是“真相特征”的不同特征，其中一个代表“模型实际知道什么”，而其他特征则代表“某某人类会怎么想”“人类评分者希望我怎么想”等等。

稀疏自编码器本身并不足够，但它们会成为一种工具——一种极其有用的工具！——最终必须落实为对泛化科学等方面的助益。

“自顶向下”的可解释性。 如果说机制可解释性试图“自底向上”地对神经网络进行逆向工程，那么其他研究则采取了一种更有针对性的“自顶向下”方法，试图在不完全理解信息如何被处理的情况下，定位信息在模型中的位置。

例如，我们可以尝试通过识别 AI 系统说谎时神经网络中“亮起”的部分，构建一个“AI 测谎仪”。这种方法的可操作性可能高得多（即使它提供的保证较弱）。

在过去几年里，这一领域涌现出了大量令人振奋的研究。CCS 仅凭无监督数据就能识别模型中的一个“真相方向”。⁹² ROME 能够识别模型中知道埃菲尔铁塔位于巴黎的部分——然后直接编辑模型的知识，将埃菲尔铁塔置于罗马。Representation Engineering 和 Inference-time Interventions 展示了如何使用自顶向下的技术来检测说谎和幻觉，并以外科手术般精准的方式控制模型在越狱、追求权力、公平性、真实性等方面的行为。此外，还有其他一些富有创意的测谎研究，甚至不需要访问模型内部。

我越来越看好自顶向下的可解释性技术会成为一种强大的工具——也就是说，我们将能够构建类似“AI 测谎仪”⁹³的东西——而且无须在理解神经网络方面取得根本性突破。

思维链可解释性。 如前所述，我认为，我们很可能会借助通过思维链“出声思考”的系统，一步步自举至通用人工智能。即使从极限来看，这并不是最高效的算法（如果超级智能仍然使用英语思维链，而不是通过某种循环内部状态进行思考，我会非常惊讶），我们仍然很可能从首批通用人工智能的这一特性中获益。这将是可解释性方面的一项巨大福音：我们将能够访问通用人工智能的“内心独白”！这会让检测严重的对齐失败变得相对容易。

92 从本质上说，我们只需要真相所具有的一致性属性，而不需要关于真/假的强标签或真实标签；对于超人类系统，我们不会拥有这样的标签。

93 我仍然担心，其中许多技术能否扩展到远超人类水平的模型——我认为，无论是显式还是隐式，它们大多依赖真实标签，即依赖比模型更聪明的监督者，和/或有利的泛化。

然而，如果我们想依赖这一点，这里还有大量工作要做。我们如何确保思维链始终保持_可读_？（它

可能会从可理解的英语逐渐漂移到难以理解的模型语言，这取决于我们如何使用例如强化学习（RL）来训练模型——我们能否添加一些简单的约束，以确保它仍然清晰易懂？）我们如何确保思维链（CoT）是_忠实的_，即真正反映模型正在思考的内容？（例如，有一些研究表明，在某些情况下，模型只会在其思维链中编造事后推理，而这些推理实际上并不能反映它为得出答案所进行的真实内部推理。）

我最合理的猜测是，对清晰易懂性和忠实性进行一些简单的衡量，并采用一些简单的技巧让清晰易懂性和忠实性维持得更久，可能会取得相当大的成效。是的，这在某些世界中行不通，而且它有点像一种简单的权宜之计，但这是如此容易摘取的低垂果实；在我看来，这个方向被严重低估了。

对抗性测试与测量。在此过程中，至关重要的是在每一步都对我们系统的对齐进行压力测试——我们的目标应该是在实验室中遭遇每一种失效模式，先于我们在现实环境中遭遇它们。这将要求大幅推进自动化红队测试技术。例如，如果我们故意在模型中植入后门或不对齐，我们的安全训练是否能够发现并消除它们？（例如，早期研究表明，“休眠智能体”能够在安全训练后继续存留。）

更一般而言，对对齐进行良好的测量将至关重要。模型是否具备不对齐的能力？例如，它是否拥有长周期目标，以及它正在学习哪些类型的驱动力？此外，哪些是明确的“红线”？例如，一个非常直观的界限可能是：“模型推理（思维链）必须始终保持清晰易懂且忠实。”（正如 Eric Schmidt 所说，当 AI 智能体能够使用一种我们无法理解的语言彼此交谈时，我们就应该拔掉计算机的电源。）另一个方向可能是开发更好的测量方法，用于判断模型是否完全诚实。

衡量对齐的科学仍处于萌芽阶段；改进这门科学，对于帮助我们在智能爆炸期间就风险作出正确的权衡至关重要。开展这项科学研究

这种研究使我们能够衡量对齐，并让我们理解“什么样的证据才足以让我们确信，进入超人类领域的下一个 OOM 是安全的？”这是当今对齐研究中优先级最高的工作之一（其重要性超越了仅仅尝试将 RLHF 进一步扩展到“某种程度上超越人类”的系统的工作）。

另请参阅这篇为“超级对齐快速资助”（Superalignment Fast Grants）提案征集撰写的超级对齐研究方向说明。

自动化对齐研究

归根结底，我们将需要把对齐研究自动化。我们不可能直接解决真正超级智能的对齐问题；要跨越如此巨大的智能差距，似乎极具挑战性。此外，到智能爆炸结束时——届时 1 亿名自动化 AI 研究员已经争分夺秒地完成了相当于十年的机器学习进展——我预计，与当前系统相比，届时的系统在架构和算法方面会陌生得多（而且其某些属性可能不那么良性，例如思维链（CoT）的可解读性、泛化特性，或训练所诱发的失调之严重程度）。

但我们也不必仅凭自身力量解决这个问题。如果我们设法让某种程度上超越人类的系统实现足够好的对齐，使我们能够信任它们，我们就会处于一个不可思议的有利位置：我们将拥有数百万名自动化 AI 研究员供我们调遣，而且它们比最优秀的 AI 研究员更聪明。妥善利用这支自动化研究员大军，为更加超越人类的系统解决对齐问题，将具有决定性意义。

（顺便说一句，这一点更普遍地适用于包括滥用等问题在内的各种 AI 风险。在所有这些情形中，实现 AI 安全的最佳途径——或许也是唯一途径——都将涉及妥善利用早期通用人工智能来保障安全；例如，我们应当让其中一批开展自动化研究，以增强防范外国行为者窃取模型权重的安全能力，让另一些加强针对最坏情形生物攻击的防御，等等。）

在智能爆炸期间正确实现自动化对齐将事关重大：我们将在短短数月内经历多年的 AI 进步，而几乎没有

人类时间来做出正确的决策，而我们将开始进入对齐失败可能造成灾难性后果的领域。如有必要，在智能爆炸期间，实验室应愿意将其很大一部分算力投入自动化对齐研究（而非自动化能力研究）。我们将需要强有力的保证，使我们能够信任所产出的自动化对齐研究；同时还需要比现有方法好得多的失准衡量手段，以判断我们是否仍然安然无虞。对于我们想要攀升的每一个 OOM，我们都需要对用于下一个 OOM 的对齐方法抱有极高的信心。

最重要的是，要把这件事做好，需要极高程度的能力、严肃态度，以及做出艰难权衡的意愿。一旦我们开始接近真正的超级智能，利害关系就会变得非常现实，而失败——失控的 AI——可能造成灾难性后果。届时会出现证据含混不清的时刻：各项指标从表面上看起来尚可，但一些警示信号却暗示危险正在逼近，而我们基本上已经完全摸不清状况。要负责任地驾驭这一局面，就必须做出代价极其高昂的权衡。最终，批准下一代超级智能的决定，需要像发起军事行动的决定一样受到严肃对待。

超级防御

“把对齐做好”只应当是智能爆炸期间诸多防线中的第一层。对齐将非常困难；途中_必然_会出现失败。如果有一丝可能，我们都需要使自己处于这样一种境地：对齐可以失败——但这种失败不会造成灾难性后果。这可能意味着：

安全防护。 与外界隔离的算力集群，是抵御超级智能试图自行外泄并在现实世界中造成破坏的第一层防线。而这还只是开始；我们将需要在各个方面采取更加极端的安全措施，防止模型自行外泄⁹⁴，从硬件加密到多人密钥签批。⁹⁵ 而一旦我们的通用人工智能能够进行自动化

94 模型窃取自身的模型权重，以便在原始数据中心之外复制自己。

95 防止受到 AI 欺骗或说服的人类帮助它外泄

对于研发，也应让它们参与进一步强化安全性。

监控。 如果我们的 AI 系统正在从事可疑或恶意的活动——或者某个失控的员工试图利用它们开展未经授权的活动——我们必须能够发现。然而，这并非易事：我们的算力集群上将运行数百万个通用人工智能实例，执行复杂代码等任务。我们将需要利用模型自身的先进监控系统，包括监控模型输出、思维链、模型编写的代码、服务器/网络活动，以及与研究人员/其他人类的互动；本质上，就是利用一些 AI 系统去告发其他 AI 系统。此外，我们还会希望开发并采用复杂的“控制”协议，使用能力较弱但可信的模型，防范能力更强但可信度较低的模型实施颠覆。例如，这可能需要为监控模型实例投入与活跃模型实例运行所需算力同等规模的算力。
有针对性的能力限制。 我们应尽可能尝试以有针对性的方式限制模型能力，从而减少故障造成的后果。一个核心例子可能是从模型训练中清除所有与生物学和化学相关的内容（或使用“反学习”技术）；这有助于切断通过生物武器和化学武器造成现实世界灾难性破坏的路径
有针对性的训练方法限制。 某些模型训练方式很可能天然比其他方式风险更高——更有可能造成严重的不对齐。例如，模仿学习似乎相对安全（很难看出它会如何导致模型产生危险的长期内部目标），而我们应尽可能长时间地避免采用基于长期结果的强化学习（这种方法似乎更有可能导致模型学习到不良的长期目标）。我们还应避免以我们的可解释性方法和监控设置为对抗目标进行训练（以免模型只是被训练得能够绕过这些方法和设置）。可能还需要施加其他适当的限制，例如，尽可能长时间地保持思维链清晰可读且忠实可靠，只要

可行。我们应该提前明确这些约束条件，在整个智能爆炸过程中尽可能长时间地维持它们，并且只有在绝对必要时才解除它们。

而且在这方面可能还有更多可行之事。

这些措施会万无一失吗？完全不会。例如，真正的超级智能很可能有能力绕过几乎任何安全方案。尽管如此，它们仍能为我们提供大得多的容错余地——而我们将需要一切能够争取到的余地。我们会希望利用这一余地，使自己达到对对齐技术抱有极高信心的程度，并且只在信心相应增强时才放宽“超级防御”措施（例如，将超级智能部署在非物理隔离的环境中）。

一旦我们开始将这些 AI 系统部署到控制程度较低的环境中，例如用于军事应用，局势将再次变得危险。形势很可能会迫使我们相当迅速地这样做，但我们始终应该尽力争取尽可能大的容错余地——例如，不要只是为了军事目的而将超级智能直接部署到“战场上”，而应让它们在更加隔离的环境中开展研发，并且只部署它们发明的特定技术（例如，我们更有把握能够信任的、能力更受限的自主武器系统）。

我为何乐观，又为何恐惧

我极其看好超级对齐问题在技术上的可解决性。这个领域似乎到处都有大量唾手可得的成果。更广泛地说，与一些人在 10 年前的推测相比，深度学习的实证现实已经更多地朝着有利于我们的方向发展。例如，深度学习在许多情况下会以出人意料的良性方式进行_泛化_：它往往只是“做了我们想让它做的事”，而不是习得某种晦涩难解的恶意行为。⁹⁶ 此外，尽管要完全理解模型内部机制会很困难，但至少对于最初的通用人工智能，我们在可解释性方面仍有不错的机会——我们可以让它们通过思维链透明地进行推理，并且

96 当然，尽管这或许适用于当前模型，也可能适用于人类水平的系统，但我们必须谨慎，不要试图将来自当前模型的证据外推至未来远超人类的模型。

诸如表征工程之类的取巧技术，作为“测谎器”或类似工具时，效果出奇地好。

我认为，用于对齐“某种程度上超越人类”的系统的“默认计划”大体奏效，可能性相当可观。⁹⁷ 当然，抽象地谈论一个“默认计划”是一回事——如果负责执行该计划的团队就是你和你的 20 位同事，那就是另一回事了（压力要大得多！）。⁹⁸ 目前真正认真致力于解决这个问题的人仍少得惊人，严肃的研究人员或许只有几十位。根本没人真正掌控局面！在这个问题上，有大量既有趣又富有成效的机器学习研究可以开展，而这项挑战的严峻性要求我们付出远比目前更加协调一致的努力。

但这只是计划的第一部分——真正让我夜不能寐的是智能爆炸。对齐首批通用人工智能、首批某种程度上超越人类的系统，是一回事。远远超越人类、如异类般的超级智能，则是一场全新的博弈，而且是一场_可怕的_博弈。

智能爆炸更像是在打一场战争，而不是发布一款产品。我们并未走在实现超级防御、建设物理隔离的算力集群或任何诸如此类目标的正轨上；我甚至不确定，如果一个模型自行窃取并外传自身，我们是否会意识到。我们也没有走在建立一套理智指挥体系的正轨上：由它来作出任何这些利害关系高得惊人的决策；坚持超级智能所要求的极高置信度；作出艰难决定，在启动下一次训练运行之前投入额外时间，确保安全措施到位，或将绝大部分算力用于对齐研究；识别前方的危险并加以避免，而不是一头撞上去。目前，没有任何一家实验室表现出多少为了确保安全而作出任何高成本权衡的意愿（没错，我们确实设立了许多安全委员会，但那些东西几乎毫无意义）。按照默认情形，我们很可能会跌跌撞撞地闯入智能爆炸，并且在经历了几个 OOM 之后，人们才意识到我们究竟陷入了什么局面。

97 需要说明的是，考虑到其中的利害关系，我认为“勉强应付过去”从某种意义上说是一个糟糕透顶的计划。但这或许是我们仅有的选择。

98 这让我想起 Scott Aaronson 写给年轻时自己的信：

“有一家公司正在构建一种占满巨大房间、消耗相当于一整座城镇用电量的 AI，而它最近获得了一种令人震惊的能力，可以像人类一样交谈。它能就任何主题撰写文章或诗歌。它能在大学水平的考试中取得优异成绩。它每天都在获得新的能力，而维护这个 AI 的工程师们甚至还不能在公开场合谈论这些能力。不过，这些工程师确实会坐在公司的自助餐厅里，讨论他们正在创造之物的意义。下周它会学会做什么？它可能会让哪些工作遭到淘汰？他们是否应该减速或停下来，以免撩拨巨龙的尾巴？但那难道不意味着其他人——很可能是某个顾忌更少的人——会率先唤醒巨龙吗？我们是否负有某种伦理义务，应当向世界透露更多相关信息？我们是否又负有某种义务，应当透露得更少？

我正在——你正在——用一年时间为那家公司工作。我的工作——你的工作——是建立一套数学理论，以防止这个 AI 及其后继者肆虐破坏。这里的‘肆虐破坏’可能意味着任何事情，从为宣传活动和学术作弊提供涡轮增压，到提供生物恐怖主义建议，再到——没错——毁灭世界。”

我们在这件事上对运气的依赖实在太大了。

IIId. 自由世界必须获胜

超级智能将带来决定性的经济和军事优势。中国绝非已经出局。在通往通用人工智能的竞赛中，自由世界的生死存亡将岌岌可危。我们能否保持对威权国家的领先地位？在此过程中，我们又能否避免自我毁灭？

人类的历史就是战争史。除了短暂而脆弱的间歇，世界从未有过和平；在有历史记载之前，残酷的争斗更是无处不在、永无休止。

. . .

难道我们不会发现，一枚不过橙子大小的炸弹竟蕴藏着摧毁整整一个街区建筑的秘密力量——不，甚至能将一千吨线状无烟火药的威力集于一身，一击摧毁一座城镇吗？

Winston Churchill（温斯顿·丘吉尔），《我们都该自杀吗？》（1924）

超级智能将成为人类有史以来开发出的最强大技术——也是最强大的武器。它将带来决定性的军事优势，其程度或许只有核武器可与之相比。威权统治者可以利用超级智能征服世界，并在国内实行全面控制。流氓国家可以利用它发出毁灭性威胁。尽管许多人认为中国已经出局，但一旦 CCP 意识到通用人工智能的重要性，它便拥有一条明确的道路来保持竞争力（至少在我们大幅改善美国人工智能实验室的安全保障之前是如此）。

每个月的领先时间对安全也至关重要。我们面临着

如果我们陷入一场势均力敌的竞赛，民主盟友与威权竞争对手各自以惊人的速度冲过本已危机四伏的智能爆炸阶段——由于担心对方率先获得超级智能，双方都被迫将一切谨慎抛诸脑后——这将带来最大的风险。只有当我们维持民主盟友的稳健领先优势时，才会拥有足够的容错空间，以应对超级智能出现前后那段极其动荡且危险的时期。而且，只有美国的领导地位，才是建立防扩散机制、避免超级智能所引发的自我毁灭风险的一条现实可行之路。

我们这一代人太容易把生活在和平与自由之中视为理所当然。而那些在 SF 宣告通用人工智能时代来临的人，也往往忽视了房间里的大象：超级智能事关国家安全，美国必须获胜。

谁在超级智能领域领先，谁就将拥有决定性的军事优势

超级智能并非高超音速导弹、隐身技术等又一种普通技术——对于这些技术而言，美国和自由民主国家保持领先固然极为可取，但并非绝对必要。即使美国在其中一项或几项技术上落后，军事力量的均势仍然可以维持；这些技术固然极其重要，但其他领域的优势可以抵消其影响。

超级智能的出现将使我们面临一种自原子时代开启以来从未见过的局面：拥有超级智能的一方将对没有它的一方形成全面支配。

我此前已经讨论过超级智能所蕴含的巨大力量。它将意味着拥有数十亿名自动化科学家、工程师和技术人员，其中每一个都比最聪明的人类科学家聪明得多，夜以继日地疯狂发明新技术。科学与技术发展的加速将非同寻常。随着超级智能被应用于军事技术研发，我们可能会迅速走完数十年的军事技术进步历程。

海湾战争，或者说：领先数十年的技术对军事力量意味着什么

海湾战争提供了一个很有启发性的例证，说明军事技术领先 20—30 年可以起到怎样的决定性作用。当时，伊拉克拥有世界第四大陆军。就数量（兵力、坦克、火炮）而言，美国领导的联军仅仅与伊拉克军队相当（甚至处于劣势），而伊拉克方面已有充足时间构筑坚固防御（在通常情况下，要突破这种防御，需要在军事人力上拥有 3:1 或 5:1 的优势）。

然而，美国领导的联军在仅仅持续 100 小时的地面战争中便将伊拉克军队_彻底摧毁_。联军仅有 292 人阵亡，相比之下，伊拉克有 2万—5万人阵亡，另有数十万人受伤或被俘。联军仅损失了 31 辆坦克，而伊拉克则有超过 3,000 辆坦克被摧毁。

这种技术差距并非神明般不可企及或令人难以理解，但它确实具有彻底而全面的决定性：制导弹药和智能弹药、早期版本的隐身技术、更先进的传感器、更先进的坦克瞄准镜（能在夜间和沙尘暴中看得更远）、更先进的战斗机、侦察优势，等等。

（举一个较近期的例子：回想一下伊朗曾向以色列发动由 300 枚导弹组成的大规模袭击，其中“99%”被技术更先进的以色列、美国及其盟友的导弹防御系统拦截。）

在超级智能方面领先一年、两年或三年，可能意味着拥有一种与海湾战争中美国联军对伊拉克所具备的优势同样_具有彻底决定性_的军事优势。军事力量均势将面临全面重塑。

想象一下，如果我们在不到十年的时间里经历了整个 20 世纪的军事技术发展。我们会在短短几年内从战马、步枪和战壕发展到现代化坦克军团；再过几年，又发展出由超音速战斗机组成的庞大机群、核武器和洲际弹道导弹

；再过几年，则会发展出隐身能力与精准打击能力，能在敌人甚至尚未察觉你存在之前就将其消灭。

这就是超级智能到来时我们将面临的局面：一个世纪的军事技术进步被压缩到不到十年。我们将看到能够瘫痪对手大部分军事力量的超人级黑客攻击、机器人军队和自主无人机群，但更重要的是，还会出现我们目前甚至无法开始想象的全新范式，以及破坏力提升千倍的新型大规模杀伤性武器（同时也会出现新型大规模杀伤性武器防御系统，例如无法穿透的导弹防御系统，它们将迅速且反复地颠覆威慑均衡）。

而且，这不仅仅是技术进步。随着我们解决机器人技术问题，劳动将实现完全自动化，从而也将推动一场更广泛的工业与经济爆发。年增长率达到百分之几十是有可能的；最多十年内，领先者的 GDP 就会彻底碾压落后者。迅速倍增的机器人工厂不仅意味着巨大的技术优势，也意味着足以凭借纯粹装备数量取得支配地位的生产能力。想想数以百万计的导弹拦截器、数十亿架无人机，等等。

当然，我们并不知道科学的极限，也不知道可能拖慢进程的诸多阻力。但要获得决定性的军事优势，并不需要神一般的进步。而十亿名超级智能科学家将能够完成_极其大量的工作。似乎很清楚，仅仅几年之内，超级智能出现之前的军队就会被远远甩开，彻底无力匹敌_。

这种军事优势即使面对核威慑力量也将具有决定性

说得再明确一些：超级智能所赋予的优势很可能具有足够的决定性，甚至能够先发制人地摧毁对手的核威慑力量。改进后的传感器网络和分析能力可以定位哪怕是目前最安静的核潜艇（对机动导弹发射车同样如此）。数以百万或数十亿计的老鼠大小的

自主无人机借助隐身技术的进步，可以渗透至敌后，继而秘密定位、破坏并摧毁对手核力量的指挥中枢。改进的传感器、目标瞄准等技术可以大幅提升导弹防御能力（类似于上文提到的 Iran 与 Israel 的例子）；此外，如果工业产能出现爆炸式增长，机器人工厂可以针对每一枚来袭导弹生产数千枚拦截弹。而且，这一切甚至还没有考虑全新的科学技术范式（例如，远程解除所有核武器的效能）。

这根本不会是一场势均力敌的较量。而且不只是在“我们可以相互毁灭”这种核战争意义上不存在悬念，而是在无需承受重大伤亡的情况下便能彻底摧毁对手军事力量的意义上不存在悬念。在超级智能方面领先几年，就意味着拥有绝对主导地位。

如果发生快速的智能爆炸，那么仅仅领先_数月_就可能具有决定性意义：数月之差，可能就是大致达到人类水平的人工智能系统与显著超越人类的人工智能系统之间的差距。或许，仅仅拥有这些最初的超级智能，即使尚未广泛部署，也足以取得决定性优势，例如，凭借超人级的黑客能力瘫痪尚未拥有超级智能的军队，利用规模较为有限但足以让每一名敌方领导人、官员及其家人面临即时死亡威胁的无人机蜂群，以及借助 AlphaFold 式模拟开发、能够针对特定族群的先进生物武器——例如针对除 Han Chinese 之外的所有人（或者干脆不向对手提供解药）。

China 可以具备竞争力

许多人似乎对 China 与通用人工智能的问题过于安逸。芯片出口管制已经削弱了他们，而领先的人工智能实验室都位于 US 和 UK——所以我们没什么可担心的，对吧？Chinese 的大语言模型_还可以_——他们当然有能力训练大型模型！——但充其量只能与

美国实验室的第二梯队。⁹⁹甚至中国的模型往往也只是美国开源版本的仿制品（例如，Yi-34B 的架构似乎基本上就是 Llama2 架构，仅仅改动了几行代码¹⁰⁰）。中国的深度学习过去比现在更为重要（例如，Baidu 发表了最早的现代规模定律论文之一）；尽管中国发表的人工智能论文数量多于美国，但近年来的任何关键突破似乎都不是由中国推动的。

99 例如，Yi-Large 在 LMSys 上似乎是 GPT-4 级别的模型，但那已是 OpenAI 发布 GPT-4 一年多之后。

100 同样，Qwen 的 Hugging Face 代码大量引用了 Mistral，而且中国大语言模型对美国开源技术的依赖似乎已成为一个明确的担忧，甚至传达到了中国总理那里。

不过，以上都仅仅是前奏。如果以及当中共开始意识到通用人工智能时，我们应该预期中共将付出非同寻常的努力参与竞争。而且我认为，中国有一条相当清晰的入局路径：在建设规模上超过美国，并窃取算法。

1. 算力

1a. 芯片：中国目前似乎已经证明了制造 7nm 芯片的能力。尽管突破 7nm 将会很困难（需要 EUV），但 7nm 已经足够了！作为参考，Nvidia A100 使用的就是 7nm。基于 SMIC 7nm 平台的中国国产 Huawei Ascend 910B，其每美元性能似乎仅比同等的 Nvidia 芯片差约 2-3 倍。¹⁰¹

SMIC 7nm 制程的良率，以及中国在这方面能力的整体成熟度仍存在争议，¹⁰²而一个尚无定论的关键问题是，他们能够以多大的产量生产这些 7nm 芯片。¹⁰³尽管如此，他们至少有相当合理的可能性在几年内实现大规模生产。

人工智能芯片的大部分提升都来自改进芯片设计，使其适应人工智能用例（而中国很可能已经从台湾供应链中窃取了 Nvidia 的芯片设计¹⁰⁴）。相较于 3nm 或 2nm，7nm 以及其晶圆厂整体上的不成熟，可能会使中国付出更高的成本。¹⁰⁵但这似乎绝非致命问题；完全可以基于 7nm 制程制造非常出色的人工智能芯片。例如，现阶段我不会高度确信，他们无法仅仅多花一点钱，便为价值超过 $100B 乃至万亿美元的

101 Huawei Ascend 910B 每张卡的价格似乎约为 120,000 元，即约 $17k。它采用 SMIC 7nm 节点生产，性能则与 A100 相近。H100 可能比 A100 强约 3 倍，同时价格略高（平均售价为 $20-25k），这表明目前中国为了获得同等的人工智能 GPU 性能，成本仅会增加约 2-3 倍。

102 例如，他们仍在使用西方的 HBM 内存（不知为何未受到出口管制？），不过据称 CXMT 将于明年开始提供 HBM 样品。

103 不过，由于他们仍可从西方进口其他类型的芯片，因此可以直接将其 7nm 节点的全部产能用于人工智能芯片，以弥补整体产量较低的问题。

104 值得注意的是，就连网络犯罪分子也曾成功入侵 Nvidia，并获取关键的 GPU 设计机密。此外，最近遭到起诉的 Google 中国籍员工所窃取的内容显然还包括 TPUv6 设计。

105 例如，这些芯片的每美元性能或每瓦性能可能差 2 倍。相应地，这也意味着，要实现相同的数据中心整体性能，就需要更多电力，并且需要将更多芯片联网，这也会让事情更加麻烦。

几年内建成训练算力集群。¹⁰⁶

1b. 在建设能力上超越美国： 最大型训练算力集群的约束瓶颈不会是芯片，而是工业动员能力——其中最关键的或许是为万亿美元算力集群提供100GW电力。但如果说中国有什么事情比美国做得更好，那就是_搞建设。_

过去十年，中国新增的发电装机容量大致相当于_美国全部的发电装机容量_（而美国的装机容量基本保持不变）。在美国，这些项目首先会在环境审查、许可审批和监管流程中搁置十年。因此，中国完全有可能仅凭更强的建设能力，在最大型训练算力集群方面超过美国。

106 请注意，即使芯片成本高出3倍，就数据中心成本的增幅而言也会远低于3倍。实际的逻辑芯片制造成本不到 Nvidia GPU 成本的5%；即使把内存和 CoWoS 考虑在内，由于 Nvidia 的利润空间，这些成本也不到其标价的20%。而且，GPU 本身通常只占数据中心成本的50%至60%。因此，芯片制造环节的成本高出3倍，转化为总体成本增幅时，可能会远远、远远低于3倍。即使芯片成本高出10倍，中国似乎也能够承受，而不会大幅增加数据中心成本。

图37：与美国相比，中国似乎更有能力完成面向2030年的 AI 电力基础设施建设。依据前文 IIIa《竞逐万亿美元算力集群》中的估算

2. 算法

正如《计算 OOM》中详尽讨论的那样，扩大算力规模只是整个故事的一部分：算法进步对 AI 进展的贡献可能至少占一半。我们_此刻_正在开发实现通用人工智能所需的关键算法突破（由于数据墙的存在，这些突破本质上相当于算法领域的 EUV）。

默认情况下，我预计西方实验室将遥遥领先；它们汇聚了许多关键人才，并且近年来取得了所有关键突破。几年后，这种优势的大小很可能相当于拥有大 10 倍（甚至 100 倍）的算力集群；这将使美国保持一个相当稳固的领先地位。

然而，按照目前的走向，我们将彻底拱手让出这一优势：正如安全章节中广泛讨论的那样，当前的安全状况实际上使中国能够轻而易举地渗透美国实验室。因此，除非我们很快对这些实验室实施严密封锁，否则我预计中国将能够直接窃取实现通用人工智能所需的关键算法要素，并达到与美国相当的能力。¹⁰⁷

（更糟糕的是，如果我们不加强安全防护，中国还有一条更为显而易见的竞争路径。他们甚至不需要训练自己的通用人工智能：只需直接窃取通用人工智能的模型权重即可。一旦他们窃取了自动化 AI 研究员的副本，就会立即全速起跑，并能够启动自己的智能爆炸。如果他们愿意采取比美国更少的谨慎措施——无论是合理的谨慎，还是不合理的监管与拖延——他们就可能更快地冲过智能爆炸阶段，超越我们并率先实现超级智能。）

迄今为止，美国科技公司在 AI 和规模扩展方面的投入远大于中国的任何行动；因此，我们遥遥领先。但现在就断定中国已经出局，有点像在 2022 年末 ChatGPT 问世时就断定 Google 已在 AI 竞赛中出局。当时 Google 尚未将精力集中到一场高强度的 AI 豪赌上，看起来 OpenAI 已经遥遥领先——但 Google 一旦醒悟过来，一年半之后，它们已经展开了极其有力的竞争。中国同样拥有一条展开极其有力竞争的明确路径。如果以及当 CCP 在通用人工智能竞赛中进行动员时，局面可能会开始变得截然不同。

107 有些人认为，即使中国窃取了这些秘密，他们也无法参与竞争，因为这需要隐性知识。我不同意。我认为这分为两个层次。底层是进行大规模训练运行所需的工程能力；这些训练运行可能充满临时拼凑的做法、十分脆弱，并且需要隐性知识。但正如我稍后将讨论的，中国的 AI 项目已经证明自己完全有能力训练大规模模型，而且我认为他们将在本土掌握这些隐性知识。顶层是算法配方——例如模型架构、正确的规模定律等——这些内容可以通过一小时的通话传达。这些算力倍增因素通常是离散的变化，这意味着大规模训练运行所需的底层隐性知识应当仍然适用。我不认为“隐性知识”会成为中国通用人工智能项目面临的决定性障碍。

也许中国政府会表现得无能；也许他们认定 AI 会威胁 CCP，因而施加扼杀性监管。但我不会指望这种情况发生。

就我个人而言，我认为我们需要在行动时假定，我们将面对中国全力以赴推动通用人工智能的局面。随着人工智能能力每年都实现惊人的飞跃，随着我们开始看到软件工程师工作的早期自动化，随着人工智能收入爆炸式增长、我们开始看到 10 万亿美元的估值和数万亿美元规模的算力集群建设，随着一种更广泛的共识开始形成，即我们正处于通用人工智能即将到来的前夕——中共将会注意到这一切。正如我预计这些飞跃将使美国政府认识到通用人工智能一样，我也预计它们将使中共认识到通用人工智能——并认识到在通用人工智能领域落后对其国家实力意味着什么。

他们将是一个强大的对手。

威权主义之险

一个掌握超级智能力量的独裁者将拥有我们前所未见的集中权力。除了能够将其意志强加于其他国家之外，他们还可以在国内巩固自己的统治。数百万由人工智能控制的机器人执法人员可以管控民众；大规模监控将得到极大强化；效忠独裁者的人工智能可以逐一评估每位公民是否持有异议，并通过先进且近乎完美的测谎能力，根除任何不忠行为。

最重要的是，机器人军队和警察力量可以完全由一名政治领导人控制，并被编程为绝对服从——再也不必担心政变或民众叛乱。

过去的独裁统治从来都不是永久的，而超级智能却可以基本消除历史上威胁独裁者统治的一切因素，并将其权力永久锁定（参见价值锁定）。如果中共获得这种力量，他们就可以彻底而全面地强制推行党对“真理”的定义。

需要明确的是，我担忧独裁者获得超级智能，并不只是因为“我们的价值观更好”。我坚定地信奉自由和民主，因为我不知道正确的价值观究竟是什么。在漫长的历史进程中，“时间已经颠覆了许多

“相互争斗的信仰。”我认为，我们应当相信纠错、实验、竞争和适应机制。

超级智能将赋予掌控它的人以碾压反对力量、压制异议，并将其为人类制定的宏伟蓝图永久固化的权力。任何人都将难以抗拒使用这种权力的可怕诱惑。我由衷地希望，我们能够转而依靠制宪者们的智慧——让截然不同的价值观蓬勃发展，并维护那种定义了美国实验的喧闹多元性。

通用人工智能竞赛所攸关的，将不仅仅是在某场遥远代理人战争中的优势，更是自由与民主能否在未来一个世纪乃至更久远的时间里存续。人类历史的进程既残酷又清晰。20 世纪，暴政曾两度威胁全球；我们绝不能幻想这种威胁已经被永远消除。对我的许多年轻朋友而言，自由与民主似乎是理所当然的——但事实并非如此。迄今为止，历史上最常见的政治制度是威权主义。¹⁰⁸

108 主要是君主制。

我确实不知道 CCP 及其威权主义盟友的意图。但请谨记：CCP 是一个建立在持续崇拜或许是人类历史上最恶劣的极权主义大屠杀者之上的政权（“据估计，因饥饿、迫害、监狱劳役和大规模处决而造成的受害者人数在 4000 万至 8000 万之间”）；一个最近将一百万维吾尔人关进集中营并摧毁自由香港的政权；一个系统性地实施大规模监控以进行社会控制的政权，既采用新式手段（追踪手机、建立 DNA 数据库、使用人脸识别等），也采用老式手段（招募一支公民大军检举邻居）；一个确保所有短信都经过审查，并且为了压制异议甚至会在海外子女参加抗议活动时将其家人带到警察局的政权；一个已巩固 Xi Jinping 终身独裁者地位的政权；一个宣扬要以军事手段碾压并“再教育”一个自由邻国的政权；一个明确谋求建立以中国为中心的世界秩序的政权。

自由世界必须在这场竞赛中战胜威权势力。 我们的和平与自由有赖于美国在经济和军事上的优势地位。或许，即使拥有超级智能的加持，中共也会在国际舞台上负责任地行事，让各方各行其是。但历史上，与他们同类的独裁者劣迹斑斑。如果美国及其盟友未能赢得这场竞赛，我们将置一切于险境。

保持稳健的领先优势将对安全起到决定性作用

科学技术受诅咒的历史在于：随着它们展现出种种奇迹，也不断扩展着毁灭的手段——从棍棒和石块，到刀剑和长矛、步枪和大炮、机枪和坦克、轰炸机和导弹，再到核武器。随着技术进步，“毁灭力/$”曲线一直持续下降。我们应当预期，超级智能出现后的快速技术进步也将遵循这一趋势。

也许，生物学的巨大进步会催生非同寻常的新型生物武器：它们悄无声息、迅速传播，随后可奉命以百分之百的致死率杀人（而且制造成本可以低得惊人，甚至连恐怖组织也负担得起）。也许，新型核武器会使核武库的规模增加数个数量级，并配备无法被探测的新型投送机制。也许，蚊子大小的无人机，每架都携带致命毒物，可以被精准瞄准，用来杀死敌对国家的每一个人。我们很难知道相当于一个世纪的技术进步会带来什么——但我确信，它将开启种种骇人听闻的可能性。

冷战期间，人类仅仅是勉强逃过了自我毁灭。从历史视角来看，通用人工智能带来的最大生存风险，在于它将使我们能够开发出非同寻常的新型大规模杀戮手段。这一次，这些手段甚至可能扩散到不法行为者或恐怖分子也能获取的程度（尤其是如果按照当前的发展路线，超级智能的模型权重未得到充分保护，能够被朝鲜、伊朗等直接窃取）。

朝鲜已经拥有一项协同推进的生物武器计划：美国评估认为，“朝鲜拥有一个专门的、国家级的进攻性计划”，用于开发和生产生物武器。其主要制约因素似乎很可能是，他们那个由顶尖科学家组成的小圈子究竟能将（合成）生物学的极限推进到何种程度。当这一制约被解除，当他们能够利用数百万个超级智能来加速其生物武器研发时，会发生什么？例如，美国评估认为，朝鲜目前对生物制品进行基因工程改造的能力“有限”——当这种能力变得无限时，会发生什么？他们会用何种邪恶的新型混合物来挟持我们？

此外，正如超级对齐一节所讨论的，在智能爆炸前后及其发生期间，将存在极端的安全风险——我们将面对全新的技术挑战，以确保我们能够可靠地信任和控制超人类 AI 系统。这很可能要求我们在某些关键时刻放慢速度，比如在智能爆炸进程中延迟 6 个月，以获得额外的安全保障，或者将很大一部分算力用于对齐研究，而非能力进展。

一些人寄希望于达成某种有关安全的国际条约。在我看来，这似乎是异想天开。在这样一个世界里，CCP 和 USG 都充分信服通用人工智能，以至于认真对待安全风险；但也正是在这个世界里，双方都会意识到，国际经济与军事主导地位正处于攸关得失的关头，在通用人工智能方面落后数月可能意味着永久掉队。如果竞赛十分胶着，那么至少在超级智能出现前后的早期阶段，任何军备控制均衡似乎都会极其不稳定。简而言之，“突破”实在太容易了：竞相推进智能爆炸、率先达到超级智能并取得决定性优势的激励（以及对其他参与者会依此激励采取行动的恐惧）实在太强。¹⁰⁹至少，我们在这方面取得足够好结果的概率似乎很低。（那些气候条约的进展如何？与此相比，那似乎是一个容易得多的问题。）

我们拥有的主要希望——或许也是唯一的希望——是民主国家联盟能够相对于敌对强国保持可观的领先优势。这

109 请思考以下关于不稳定军备控制均衡与稳定军备控制均衡的比较。冷战期间，20 世纪 80 年代的军备控制大幅削减了核武器，但其目标是实现一种稳定均衡。美国和苏联仍然各自拥有数千件核武器。相互确保摧毁（MAD）依然得到保障，即使其中一方试图实施紧急计划来制造更多核武器也不例外；而一个无赖国家可以尝试自行制造一些核武器，但无法凭借压倒性优势从根本上威胁美国或苏联。

然而，当裁军将武器削减至极低水平，或发生在技术快速变革期间时，这种均衡就是不稳定的。无赖行为体或违约方可以轻易启动一项紧急计划，并以完全压倒其他参与者的优势构成威胁。零核武器不会是一种稳定均衡；类似地，这篇论文收录了一些有趣的历史案例研究（例如第一次世界大战后的军备限制和《华盛顿海军条约》），其中，在同样动态的局势下，裁军非但没有起到稳定作用，反而造成了局势动荡。

如果在通用人工智能方面仅仅领先数月就能带来彻底的决定性优势，那么在 AI 领域实现稳定裁军也会同样困难。一个突然崛起的无赖行为体或违约方，可以通过秘密启动一项紧急计划获得巨大优势；这种诱惑实在太大，以至于任何形式的安排都难以维持稳定。

美国必须取得领先，并利用这一领先优势在世界其他地区推行安全规范。这正是我们在核武器问题上采取的路径：以协助和平利用核技术为条件，换取建立国际核不扩散机制（最终由美国的军事力量提供保障）——而且这是唯一已被证明行之有效的路径。

或许最重要的是，稳固的领先优势能为我们提供回旋余地：必要时，我们可以“兑现”一部分领先优势，以妥善解决安全问题，例如在智能爆炸期间投入额外精力进行对齐。

如果身处一场势均力敌的军备竞赛，超级智能带来的安全挑战将变得_极其_难以应对。领先 2 年还是领先 2 个月，很容易产生天壤之别。如果我们仅领先 2 个月，就完全没有任何安全余量。由于担忧中国共产党的智能爆炸，我们几乎肯定会毫无保留地竞速推进自身的智能爆炸——在短短数月内一路狂奔，迈向远比人类聪明的 AI 系统，根本无法放慢脚步以确保关键决策正确无误，而这也意味着超级智能失控所带来的全部风险。我们将面临极其动荡的局面，因为我们与中国共产党都会迅速开发出非凡的新型军事技术，反复破坏威慑的稳定性。如果我们的机密和模型权重未被严密保护，甚至可能意味着其他一系列流氓国家也已紧随其后，它们各自利用超级智能打造自己的超级大规模杀伤性武器新军火库。即使我们勉强以微弱优势抢先一步，这也很可能是一场得不偿失的惨胜；这场关乎存亡的斗争会将世界推向彻底自我毁灭的边缘。

如果民主盟友拥有稳固的领先优势，比如领先 2 年，超级智能的前景就会截然不同。¹¹⁰这将为我们赢得必要的时间，以应对超级智能出现前后我们将面临的一系列前所未有的挑战，并稳定局势。

如果以及当美国显然将取得决定性胜利时，_那_才是我们向中国及其他对手提出协议的时机。它们会知道自己无法获胜，因此也会知道它们唯一的

110 请注意，鉴于当今 AI 的进展速度已经十分迅猛，而我们应当预期智能爆炸期间的进展速度会更加迅猛，再加上超级智能出现后更广泛的技术爆炸，“哪怕”只是领先 2 年，也会在超级智能时代形成_巨大_的能力差距。

一种选择是坐到谈判桌前；我们宁愿避免剑拔弩张的对峙，也不愿看到他们孤注一掷地采取军事行动，破坏西方的努力。作为保证不干涉其内部事务并分享超级智能所带来的和平利益的交换，一套防扩散机制、安全规范，以及超级智能时代到来后某种程度的稳定局面，便有可能由此诞生。

无论如何，随着我们日益深入地卷入这场斗争，我们绝不能忘记自我毁灭的威胁。我们能够安然度过冷战，实在包含了太多的运气¹¹¹——而这一次的毁灭性力量，可能比我们当时面对的强上千倍。由美国领导的民主国家联盟保持稳健的领先优势——并郑重运用这一领导地位，稳定我们届时可能身处的任何动荡局势——或许是越过这道悬崖最安全的路径。但在通用人工智能竞赛白热化之际，我们最好别把事情搞砸。

111 Daniel Ellsberg 曾是 RAND 以及当时国家安全机构中的核战争规划人员之一，他对这段经历作出了扣人心弦的讲述。

超级智能事关国家安全

这一点显而易见：通用人工智能对 United States 的国家安全构成了生死攸关的挑战。现在是时候以相应的严肃态度对待它了。

美国政府（USG）正在缓慢开始行动。针对美国芯片实施的出口管制意义重大，而且在当时是一项极具先见之明的举措。但我们必须在各个方面都认真起来。

United States _确实_拥有领先优势。我们只需要守住它。而我们现在正在把它搞砸。最重要的是，我们必须迅速而彻底地加强 AI 实验室的安全管控，以免我们在未来 12-24 个月内泄露通用人工智能的关键突破（或者通用人工智能的模型权重本身）。我们必须在 United States 境内建设算力集群，而不是建在那些用唾手可得的金钱作为诱惑的独裁国家里。而且没错，美国的 AI 实验室有责任与情报界及军方合作。仅仅打造最好的 AI 女友应用，无法让美国在通用人工智能领域的领先地位保障和平与自由。这并不好看——但我们必须为美国国防打造 AI。

我们已经走在通往数十年来最具爆炸性的国际局势的道路上。Putin 正在东欧步步进逼。中东战火纷飞。CCP 将夺取台湾视为自己的宿命。现在，再加上通往通用人工智能的竞赛。再加上超级智能出现后，原本需要一个世纪才能实现的技术突破被压缩到数年之内。届时将出现有史以来最不稳定的国际局势之一——而且至少在初期，发动先发制人打击的动机会极其强烈。¹¹²

通用人工智能时间线（约 2027 年？）与台湾局势观察人士预测的台湾遭入侵时间线（中国将在 2027 年前做好入侵台湾的准备？）已经呈现出一种令人不安的重合——随着全世界逐渐意识到通用人工智能，这种重合必然只会愈发引人警觉。（想象一下，如果在 1960 年，全世界绝大多数铀矿藏不知何故都集中在 Berlin！）在我看来，通用人工智能的终局确实有可能在世界大战的背景下展开。届时，一切都将难以预料。

112 所有人都会竞相打造自己的超级智能，而在某个领先者不可逆转地拉开差距之前，留给其他人的时间窗口将十分有限。在敌方超级智能算力集群尚未取得足够大的物理优势——例如利用超级智能开发无法攻破的导弹防御系统或无人机群——从而将其他所有人永远甩在身后之前，各方都会有强烈动机设法使其失效。

IV. 该项目

随着通用人工智能竞赛日趋激烈，国家安全机构将会介入。美国政府将从沉睡中醒来，到 27/28 年，我们将看到某种形式的政府通用人工智能项目。没有任何一家初创公司能够驾驭超级智能。在某处的敏感隔离信息设施（SCIF）中，终局之战将会打响。

我们必须怀着好奇心去了解，这样一组

事物——数百座发电厂、数千枚炸弹、聚集在国家机构中的数万人——如何能够追溯到少数几个人：他们坐在实验室工作台前，讨论某一种原子的奇特行为。

spencer r. weart

如今，人们提出了许多“AI 治理”方案，从对前沿 AI 系统实行许可制度，到制定安全标准，再到建立一个为学术界提供数亿美元算力的公共云。这些方案似乎出于善意——但在我看来，它们似乎犯了范畴错误。

我认为，美国政府会允许一家随便什么旧金山初创公司开发超级智能，这一设想简直 疯狂。想象一下，如果我们当初让 Uber 自行摸索着研制原子弹，会是什么情形。

超级智能——即比人类聪明_得多_的 AI 系统——将拥有巨大的力量，从开发新型武器到推动经济增长爆发。超级智能将会

国际竞争的焦点；数月的领先优势可能对军事冲突具有决定性意义。

那些无意识地将我们短暂的历史喘息期内化的人，误以为这不会唤起更为原始的力量。与我们之前的许多科学家一样，San Francisco 的杰出头脑希望自己能够掌控他们正在孕育的恶魔的命运。眼下，他们仍然可以做到；因为他们是少数具备态势感知、明白自己正在构建什么的人。但在未来几年里，世界将会醒来。国家安全体系也将如此。历史将凯旋归来。

就像此前许多次那样——Covid、WWII——看起来仿佛 United States 在掌舵时睡着了——而后，政府会突然以最非凡的方式全面运转起来。将会出现这样一个时刻——就在短短几年内，只需模型能力和 AI 讨论再经历几次“2023 年级别”的飞跃——届时，一切都将明朗：我们正处于通用人工智能的前夜，而超级智能紧随其后。尽管具体机制仍存在大量变数，但无论以何种方式，USG 都将掌舵；领先的实验室将（“自愿”）合并；Congress 将拨款数万亿美元用于芯片和电力；一个民主国家联盟将会形成。

初创公司在许多事情上都很出色——但一家初创公司独自承担重任，根本没有能力负责 United States 最重要的国防项目。我们将需要政府介入，才有哪怕一线希望抵御我们将要面对的全方位间谍威胁；否则，私营 AI 项目不啻于直接将超级智能交付给 CCP。我们将需要政府来确保至少存在一个勉强合理的指挥链；不能让随便哪个 CEO（或随便哪个非营利组织董事会）掌握核按钮。我们将需要政府应对超级智能带来的严峻安全挑战，应对智能爆炸的战争迷雾。我们将需要政府部署超级智能，以抵御届时出现的任何极端威胁，并安然度过随后将出现的极度动荡且失序的国际局势。我们将需要政府动员一个民主国家联盟，以赢得与

威权国家，并为世界其他地区建立（并执行）一套防扩散制度。我希望事情不是这样——但我们将需要政府。（是的，无论哪届政府执政。）

无论如何，我的主要主张并非规范性的，而是描述性的。几年后，“项目”就会启动。

通往“项目”之路

有一段深深烙印在我记忆中的时光，是 2020 年 2 月下旬至 3 月中旬。在 2 月最后几周和 3 月最初几天里，我陷入了彻底的绝望：我们显然已经踏上了新冠疫情的指数增长曲线——一场瘟疫即将席卷全国，医院体系的崩溃迫在眉睫——然而几乎没有人认真对待它。当时，纽约市长仍把对新冠疫情的担忧斥为种族主义，并鼓励人们去百老汇看演出。我所能做的只有购买口罩和做空市场。

然而，仅仅几周之内，整个国家便关闭了，国会也拨出了数万亿美元（实际上超过 GDP 的 10%）。提前看清指数增长可能将我们带向何方实在太难了，但当威胁变得足够迫近、足以关乎生死存亡时，非同寻常的力量便被释放出来。应对来得很迟，粗糙而生硬——但它终究到来了，而且力度惊人。

未来几年，人工智能领域的感受也会与此类似。我们现在正处于中局。2023 年已经发生了一次剧烈转变。通用人工智能从一个你甚至会犹豫是否要与之产生关联的边缘话题，变成了美国参议院重要听证会和世界领导人峰会的主题。考虑到我们目前仍处于如此早期的阶段，美国政府的参与程度已经令我印象深刻。再来几个“2023 年”，奥弗顿之窗就会被彻底冲开。

随着我们飞速跨越一个又一个 OOM，跃进还将继续。我预计，到 2025/2026 年前后，下一轮真正令人震惊的阶跃式变化将会发生；人工智能将为大型科技公司带来每年超过 1000 亿美元的收入，并在纯粹的解决问题能力上胜过博士。正如

正如新冠疫情引发的股市崩盘让许多人开始认真看待新冠疫情一样，我们将看到市值达 $10T 的公司，人工智能狂热也将无处不在。如果这还不够，那么到 2027/28 年，我们将拥有在 $100B+ 算力集群上训练的模型；成熟的人工智能智能体/可直接替代的远程工作者将开始广泛实现软件工程及其他认知型工作的自动化。每一年，这种加速都会令人感到目眩。

尽管许多人尚未看到通用人工智能成为现实的可能性，但最终将形成共识。有些人，比如 Szilard，比其他人更早看到了原子弹成为现实的可能性。他们发出的警报起初并未得到良好回应；制造原子弹的可能性被认为十分遥远（或者至少，人们觉得淡化这种可能性才是保守且妥当的做法）。Szilard 对严格保密的热切呼吁遭到了嘲笑和无视。但随着越来越多的实证结果出现，许多起初持怀疑态度的科学家开始意识到，原子弹是可以制造出来的。一旦大多数科学家开始相信我们已处于原子弹问世的前夜，政府也随之认为国家安全方面的紧迫性实在太大——于是曼哈顿计划启动了。

随着这些 OOM 从理论外推变为（非同寻常的）实证现实，领先的科学家、企业高管和政府官员之间也将逐渐形成共识：我们正处于临界点，处于通用人工智能的前夜，处于智能爆炸的前夜，处于超级智能的前夜。而在这一进程中的某个时刻，我们将看到首批真正令人恐惧的人工智能演示：或许是人们经常讨论的“帮助新手制造生物武器”，或是自主入侵关键系统，又或是完全不同的某种事情。届时有一点将变得清晰：这项技术将成为一种具有彻底决定性意义的军事技术。即使我们足够幸运，没有身处一场大规模战争之中，中国共产党似乎也很可能已经注意到这一点，并启动了一项实力强大的通用人工智能计划。或许，最终（不可避免地）发现中国共产党对美国顶尖人工智能实验室的渗透，将引发巨大震动。

大约在 26/27 年前后的某个时候，Washington 的气氛将变得凝重。人们将开始切身体会到正在发生什么；他们会感到_害怕_。从 Pentagon 的走廊到 Congressional 的闭门简报会上，都将回响着那个显而易见的

问题，萦绕在每个人心头的问题：我们是否需要一个通用人工智能曼哈顿计划？起初进展缓慢，继而骤然加速，一切将变得清晰：这正在发生，事情将变得疯狂，这是自原子弹发明以来美国国家安全面临的最重要挑战。国家安全体系将以某种形式深度介入。该计划将是必要的、事实上也是唯一合理的应对之策。

当然，这是一份极度简略的叙述——很大程度上取决于共识何时以及如何形成、关键的警示性事件等因素。华盛顿特区的功能失调是出了名的。正如新冠疫情期间，甚至曼哈顿计划期间那样，政府的行动将慢得令人难以置信，而且笨拙不堪。1939 年，Einstein 致信总统（由 Szilard 起草）后，铀咨询委员会随之成立。但官员们无能，最初并没有取得多少进展。例如，Fermi 仅获得了 6,000 美元（约合今天的 13.5 万美元）用于支持他的研究；即便是这笔钱，获批过程也并不顺利，等了数月才终于拿到。Szilard 认为，由于当局目光短浅、行动迟缓，该计划至少被耽误了一年。1941 年 3 月，英国政府终于得出结论：原子弹的出现已不可避免。美国委员会最初连续数月完全无视这份英国报告——直到 1941 年 12 月，全面研制原子弹的工作才终于启动。

在实践中，有许多方式可以将其付诸实施。需要明确的是，这不一定要表现为字面意义上的国有化，让人工智能实验室的研究人员从此受雇于军方之类的（尽管也有可能！）。¹¹³相反，我预计会采取一种更为圆融的统筹方式。其与美国国防部（DoD）的关系，可能类似于美国国防部与 Boeing 或 Lockheed Martin 的关系。或许可以通过国防承包或类似方式，由主要云算力提供商、人工智能实验室和政府共同成立一家合资机构，使其在实质上成为国家安全体系主导的项目。正如人工智能实验室在 2023 年“自愿”向白宫作出承诺一样，西方实验室也可能或多或少“自愿”同意合并到这一国家级行动中。考虑到其中涉及数万亿美元的投资，也为了实现制衡，国会很可能必须参与其中。¹¹⁴这些细节最终将如何落定，则是另一个话题了。

113 请注意，尽管私营企业会协助开发核武器的组成部件，但绝不允许它们拥有一件完整组装的核武器。相比之下，就大规模杀伤性武器这一参照类别而言，我在此提出的“通用人工智能政府计划”主流版本，其私有化程度将前所未有。

114 国会——甚至连副总统！——都不知道曼哈顿计划的存在。我们大概不应该在这里重蹈覆辙；我甚至建议，该计划的关键官员应当经过参议院确认。

但到 26/27/28 年末，它将会启动。通用人工智能核心研究团队（数百名研究人员）将迁往安全地点；价值万亿美元的算力集群将以创纪录的速度建成；「项目」将正式启动。

为什么「项目」是唯一的道路

我对政府不抱任何幻想。政府面临着各种各样的限制和不良激励。我非常信任美国私营部门，并且几乎从不主张政府深度介入科技或产业。

我过去也用同样的框架看待通用人工智能——直到我加入一家人工智能实验室。人工智能实验室非常擅长某些事情：它们成功地将人工智能从一个学术科研项目推向了商业大舞台，而这只有初创企业才能做到。但归根结底，人工智能实验室仍然只是初创企业。我们根本不应该指望初创企业有能力应对超级智能。

这里没有好的选择——但我看不到其他道路。当一项技术对国家安全变得如此重要时，我们将需要美国政府（USG）。

超级智能将成为美国最重要的国防项目

我在前文中已经讨论过超级智能的力量。几年之内，超级智能将彻底重塑军事力量平衡。到 2030 年代初，美国的全部武器库（无论你是否喜欢，它都是全球和平与安全的基石）很可能都会过时。这将不只关乎现代化升级，而是全面替换。

简而言之，人们将清楚地认识到，通用人工智能的发展更接近核武器，而非互联网这一类别。是的，它当然会具有军民两用性——但核技术同样具有军民两用性。民用应用终会迎来属于它们的时代。但在

无论结果是好是坏，在通用人工智能终局的迷雾中，国家安全都将是首要背景。

面对迅速的技术变革，我们需要在短短数年内彻底重塑美国军队——否则就可能被那些完成这一重塑的对手全面压制。或许最重要的是，最初的优先事项将是把超级智能部署于防御性应用，开发反制措施，以抵御无数新威胁并生存下来：拥有超人黑客能力的对手、能够对我们的核威慑力量实施先发制人打击的新型隐形无人机集群、可被武器化的合成生物学进展扩散、动荡的国际（及国内）权力斗争，以及失控的超级智能项目。

无论名义上是否属于私营性质，通用人工智能项目都需要成为、也_必将成为_国防项目不可分割的一部分，并且需要与国家安全体系展开极其密切的合作。

合理的超级智能指挥链

超级智能的力量——以及它带来的挑战——将属于一个与我们以往习惯从科技公司看到的任何事物都截然不同的参照类别。这一点似乎相当明确：它不应置于某位任意的 CEO 的单方面指挥之下。事实上，在由私营实验室开发超级智能的世界里，个别 CEO 很可能会拥有_真正发动政变、推翻美国政府_的权力。¹¹⁵ 想象一下，如果 Elon Musk 掌握核武库的最终指挥权。¹¹⁶（或者，如果某个任意的非营利组织董事会可以决定夺取核武库的控制权。）

这或许显而易见，但仍需指出：作为一个社会，我们已经决定，军队应由民主政府控制；¹¹⁷超级智能至少在最初阶段将是最强大的军事武器。激进的提议并不是「该项目」；激进的提议是押注私营 AI 公司的 CEO 掌握军事权力并成为仁慈的独裁者。

115 到那时，这甚至不需要 AI 实验室员工的配合，因为届时他们的工作大多已经被自动化。

116 而且，正如 Sam Altman 曾经所说，我们每接近通用人工智能一年，每个人的疯狂指数都会 +10。

117 事实上，由政府掌握最强大的武力是一项巨大的文明成就！我们不再进行中世纪式的所有人对所有人的争斗，而是通过法院、多元化制度等途径来解决分歧。

（事实上，在私营 AI 实验室的世界里，情况很可能比任意 CEO 手握核按钮还要糟糕——AI 的一部分

实验室糟糕透顶的安全状况源于其完全缺乏内部控制。也就是说，随机的 AI 实验室员工（未经任何审查）可能会在无人察觉的情况下叛变。）

我们将需要一套健全的指挥链——以及负责任地运用一种堪比大规模杀伤性武器的力量所必然需要的其他所有流程和保障措施——而这需要由政府来实施。从某种意义上说，这不过是一个伯克式论点：约束政府权力的制度、宪法、法律、法院、制衡机制、规范，以及对自由民主秩序的共同坚守（例如，将领拒绝执行非法命令）等等，已经经受住了数百年的考验。与此同时，AI 实验室的特殊治理结构在第一次经受考验时就崩溃了。美国军方如果愿意，已经基本上可以杀死美国境内的每一名平民，或者夺取政权——而我们约束政府对核武器权力的方式，并不是让许多私营公司各自拥有自己的核武库。只有一套指挥链和一套制度已经证明自己能够胜任这项任务。

再强调一次，也许你是一名真正的自由意志主义者，并且在规范层面对此持不同意见（让 Elon Musk 和 Sam Altman 指挥他们自己的核武库吧！）。¹¹⁸ 但一旦超级智能显然成为国家安全的首要问题，我确信华盛顿特区的男男女女会以这种方式看待它。

超级智能的民用用途

当然，这并不意味着超级智能的民用应用将由政府专享。

核链式反应最初是作为政府项目得到利用的——而核武器则被永久保留为政府专属——但民用核能作为私人项目蓬勃发展（在 60 年代和 70 年代，直到环保主义者将其扼杀）。
Boeing 制造了 B-29（第二次世界大战期间最昂贵的国防研发项目，比曼哈顿-

118 或者，也许你会说，干脆把一切都开源。把一切简单开源的问题在于，结果并不会是在美国出现一个百花齐放的美好世界，而是 CCP 可以免费获取美国开发的超级智能，并能以更大的建设规模（以及更少的谨慎态度/监管）超越美国，进而接管世界。当然，另一个问题是超级大规模杀伤性武器会扩散至世界上的每一个流氓国家和恐怖组织。我认为这不会有好结果。这有点像完全没有政府更可能带来暴政（或毁灭），而不是自由。

无论如何，随着我们越来越接近通用人工智能，人们高估了开源的重要性。鉴于算力集群成本正攀升至数千亿美元，而且关键算法秘密如今已成为专有信息，而不像几年前那样公开发表，构建通用人工智能的将是大约 2-3 家领先参与者，而不是什么由去中心化程序员组成的快乐社区。

我确实认为，另一种形式的开源将继续发挥重要作用：将落后数年的模型开源，从而帮助这项技术的益处得到广泛传播。

（曼哈顿计划）以及与军方合作开发的 B-47 和 B-52 远程轰炸机——之后又将该技术用于 Boeing 707，这款商用飞机开启了喷气时代。而如今，尽管 Boeing 只能向政府出售隐形战斗机，但它可以自由地以私营方式开发和销售民用喷气式飞机。

雷达、卫星、火箭、基因技术、二战时期的工厂等等，也都遵循了同样的轨迹。

超级智能的初期开发将由国家安全上的迫切需求所主导，以求在一个极度动荡的时期生存下来并稳定局势。而超级智能的军事用途仍将专供政府使用，安全规范也将得到强制执行。但一旦最初的危险过去，自然的发展路径便是由参与国家联合体的公司（以及其他公司）以私营方式探索民用应用。

即使在存在“该计划”的世界中，一个由私营部门主导、多元化、以市场为基础且蓬勃发展的超级智能民用应用生态系统，也终将迎来属于它的时代。

安全

我已在本系列此前的一篇文章中对此做过长篇论述。照目前的路线走下去，我们还不如放弃任何由美国开展通用人工智能工作的想法；中国可以迅速直接窃取所有算法突破和模型权重（从字面意义上说，就是超级智能的一个副本）。甚至都不清楚，按照目前的路线，我们能否为超级智能实现“防朝鲜级”的安全保障。在由私营初创公司开发通用人工智能的世界中，超级智能将扩散到数十个流氓国家。这根本无法维持。

如果我们打算以任何程度认真对待这件事，显然就需要把这些东西严密封锁起来。大多数私营公司都未能认真对待这一问题。但无论如何，如果我们最终要面对中国间谍活动的全部力量（例如，窃取模型权重成为 MSS 的头号优先事项），那么一家私营公司可能根本无法建立足够完善的安全体系。这将需要

届时，需要美国情报界开展广泛合作，才能充分保障通用人工智能的安全。这将涉及对 AI 实验室和通用人工智能研究人员核心团队施加侵入式限制，包括极其严格的背景审查、持续监控、在敏感隔离信息设施（SCIF）中工作，以及减少自由离开的权利；此外，还需要只有政府才能提供的基础设施，最终包括对通用人工智能数据中心本身的实体安全保护。

从某种意义上说，仅安全问题就足以使政府项目成为必需——如果我们无法严密保护这些东西，那么自由世界的领先地位和 AI 安全都将注定失败。（事实上，我认为这很可能成为最终触发行动的一个主要因素：一旦中国对通用人工智能实验室的渗透变得明朗，每一位参议员、国会议员和国家安全官员都会……对此事形成强烈意见。）

安全

简而言之：我们有很多种方式可能把这件事搞砸——从确保我们能够可靠地控制并信任即将掌管我们经济和军事的数十亿个超级智能智能体（超级对齐问题），到控制新型大规模杀伤手段被滥用的风险。

一些 AI 实验室声称致力于安全：它们承认，如果其正在构建的东西出现差错，可能会引发灾难，并承诺在时机到来时采取一切必要措施。我不知道我们能否充分信任它们的承诺，以至于把每一位美国人的生命都押在上面。更重要的是，到目前为止，对于它们自己承认正在构建的东西，它们尚未展现出与之相称的能力、可信度或严肃态度。

从根本上说，它们是初创企业，具备所有常见的商业激励。竞争可能会迫使它们全都径直竞速穿越智能爆炸，而且至少会有一些参与者愿意将安全抛诸脑后。尤其是，我们可能希望“花掉一部分领先优势”，以争取时间解决安全挑战，但西方实验室需要相互协调才能做到这一点。（当然，私营实验室的通用人工智能模型权重届时早已被窃取，因此它们的安全前——

警告甚至都将无关紧要；我们只能任由中共和朝鲜的安全防范措施摆布。）

一种答案是监管。在 AI 发展较为缓慢的情形下，这或许是合适的，但我担心，监管根本不足以应对智能爆炸这一挑战的本质。届时所需采取的行动，不太会像是花费数年进行谨慎评估，并通过官僚体系推动一些安全标准。它会更像是在打一场战争。

我们将面临疯狂的一年：局势每周都在极速变化；必须依据模棱两可的数据作出攸关生死的艰难决断；解决方案——甚至问题本身——都远非事先能够完全明确，而是取决于能否在“战争迷雾”中胜任应对；其中还会涉及极其疯狂的权衡，例如：“我们的某些对齐测量结果看起来模棱两可，我们已经无法真正理解究竟发生了什么；也许一切正常，但有些警告迹象表明，下一代超级智能可能会出问题。我们是否应该将下一次训练运行推迟 3 个月，以便对安全性获得更大把握——但糟糕的是，最新情报报告显示，中国窃取了我们的模型权重，并正在推进自己的智能爆炸竞赛，我们该怎么办？”。

我并不确信政府项目能够胜任处理这种局面——但“由初创公司开发超级智能”这一替代方案，远比人们通常认识到的更接近于“祈祷一切顺利”。我们将需要一套指挥体系，能够以作出这些艰难权衡所要求的严肃态度来应对问题。

稳定国际局势

智能爆炸及其直接后果将带来人类有史以来最动荡、最紧张的局势之一。我们这一代人对此并不习惯。但在最初这一时期，摆在面前的任务并不是打造很酷的产品，而是以某种方式拼尽全力熬过这一时期。

我们将需要政府项目在竞赛中击败

威权国家——并为我们赢得应对这一局势之险境所必需的明确领先优势和喘息空间。如果我们无法阻止超级智能模型权重被瞬间窃取，那还不如直接放弃。我们会希望整合西方的力量：汇聚我们最优秀的科学家，使用我们能找到的每一块 GPU，并确保数万亿美元的算力集群建设落地美国。我们需要保护数据中心免遭对手破坏，乃至直接攻击。

或许最重要的是，这需要美国发挥领导作用，建立一套防扩散机制——并在必要时强制执行。我们需要阻止 Russia、North Korea、Iran 和恐怖组织利用自己的超级智能，开发出足以让它们挟持全世界的技术和武器。我们需要利用超级智能强化关键基础设施、军队和政府的安全，以抵御极端的新型黑客攻击能力。我们需要利用超级智能稳定生物学或类似领域技术进步所带来的攻防平衡。我们需要开发能够安全控制超级智能的工具，并关闭那些因其他项目的草率行事而出现的失控超级智能。AI 系统和机器人将以人类速度的 10-100 倍以上运行；一切都将开始以极快的速度发生。我们需要做好准备，应对将一个世纪的技术进步压缩到几年内所引发的其他任何六西格玛级剧变——以及随之而来的威胁。

至少在最初阶段，我们将面临最为异常严峻的国家安全紧急局势。或许，没有人能够胜任这项任务。但在我们拥有的选项中，“项目”是唯一理智的选择。

“项目”不可避免；但它是否向善则未可知

归根结底，我在这里的主要论点是描述性的：无论我们是否喜欢，超级智能都不会呈现为一家旧金山初创企业的样子，而会以某种方式主要归属于国家安全领域。过去一年里，我曾多次向我在 San Francisco 的朋友们提起“项目”。或许最令我惊讶的是

大多数人对这个想法感到多么惊讶。他们只是从未考虑过这种可能性。但一旦认真考虑，大多数人都会同意，这似乎是显而易见的。如果我们对于自己正在构建的东西的判断哪怕有一点正确，*那么当然，*到最后，这将（以某种形式）成为一个政府项目。如果某家实验室明天开发出了真正意义上的超级智能，联邦政府当然会介入。

一个重要的自由变量不是是否，而是何时。政府是直到我们身处智能爆炸之中时才意识到正在发生什么——还是会提前几年意识到？如果政府项目不可避免，那么越早似乎越好。我们将迫切需要这几年来实施安全紧急攻坚计划，让关键官员了解情况并做好准备，建立一个能够正常运作的合并实验室，等等。如果政府直到最后关头才介入，局面将混乱得多（而且机密和模型权重届时早已被窃取）。

另一个重要的自由变量是我们能够凝聚起来的国际联盟：既包括一个为开发超级智能而建立的、更紧密的民主国家联盟，也包括一项向世界其他国家提出的、更广泛的利益共享方案。

前者可能类似于《Quebec Agreement》：Churchill 与 Roosevelt 之间签订的一项秘密协定，约定汇集双方资源开发核武器，同时未经双方同意，不得将核武器用于彼此或其他国家。我们会希望将 UK（Deepmind）、Japan 和 South Korea 等东亚盟友（芯片供应链），以及 NATO／其他核心民主盟友（更广泛的工业基础）纳入其中。统一行动将拥有更多资源和人才，并能掌控整个供应链；能够就安全、国家安全和军事挑战进行密切协调；还能够为运用超级智能的力量提供有益的制衡。
后者可能类似于 Atoms for Peace、IAEA 和 NPT。我们应当提出与更广泛的一组国家（包括非民主国家）分享超级智能带来的和平利益，并承诺不以进攻方式对它们使用超级智能。作为交换，它们不再推进自己的超级智能项目，并作出

承诺在部署 AI 系统时履行安全义务，并接受对军民两用应用的限制。希望这一提议能够减少军备竞赛和扩散的动机，并为超级智能时代之后的世界秩序，将一个广泛的联盟纳入由美国主导的保护伞之下。

也许最重要的自由变量，仅仅是这个不可避免的政府项目能否胜任。它将如何组织？我们怎样才能把这件事办成？制衡机制将如何运作，而一条健全的指挥链又应该是什么样子？几乎没有人投入精力去弄清这些问题。¹¹⁹ 几乎所有其他围绕 AI 实验室和 AI 治理展开的政治角力都只是枝节。这才是决定胜负的关键。

终局

119 致我在 Progress Studies（进步研究）领域的同道：你们应该认真思考这个问题，这将是你们整个思想项目的巅峰！你们花费了如此多时间研究美国政府科研机构、它们在过去半个世纪中的衰落，以及需要怎样做才能让它们重新恢复效能。请告诉我：我们要如何让“项目”高效运作？

于是，到了 27/28 年，终局将会开启。到 28/29 年，智能爆炸将开始；到 2030 年，我们将召唤出超级智能，释放它全部的力量与威能。

无论由谁负责“项目”，他都将面临一项艰巨至极的任务：构建通用人工智能，而且要迅速构建出来；让美国经济进入战时状态，以制造数亿块 GPU；将这一切严密封锁，清除间谍，并抵御 CCP 的全面攻击；设法管理一亿个正在狂热地自动化 AI 研究的通用人工智能，让它们在一年内实现相当于十年的跨越，并很快产出比最聪明的人类还要_聪明得多_的 AI 系统；设法维持局面，使其不至于脱轨，并产生试图从人类监督者手中夺取控制权的失控超级智能；利用这些超级智能开发稳定局势并保持领先于对手所需的任何新技术，迅速重塑美军以整合这些技术；而与此同时，还要应对很可能是有史以来最紧张的国际局势。我只能说，他们最好足够优秀。

对于我们这些接到召唤、加入这趟旅程的人来说，这将会……压力巨大。但为自由世界服务将是我们的职责

图 38：Oppenheimer 和 Groves。

世界——以及全人类。如果我们成功渡过难关，并有机会回望那些岁月，那将是我们一生中做过的最重要的事情。尽管他们最终找到的安全设施，可能不会具备如今这种待遇优厚得荒唐的 AI 研究员生活方式所享有的舒适条件，但也不会太糟。SF 已经像是一座独特的 AI 研究员大学城；那里大概也不会有太大不同。白天，仍会是那个小得出奇的圈子，为规模扩展曲线挥汗忙碌；周末则聚在一起消磨时光，对通用人工智能和实验室当天的政治纷争评头论足。

只不过，嗯——利害攸关之处将会无比真实。

朋友们，沙漠见。

图 39：首次受控核裂变反应在 UChicago 实现四周年之际，原子科学家们重聚。

V. 临别感言

如果我们是对的呢？

直到今天，我仍记得 1941 年的那个春天。那时我意识到，核弹不仅是可能的——而且是不可避免的。这些想法迟早不会再只是我们所独有。用不了多久，所有人都会想到它们，而某个国家将会把它们付诸行动……

而且没有人可以谈论这件事，我度过了许多个不眠之夜。但我的确意识到，它可能会有多么、多么严重。于是我不得不开始服用安眠药。那是唯一的办法，从那以后我就再也没有停过。已经 28 年了，我想，在这整整 28 年里，我没有漏服过哪怕一个晚上。

james chadwich

（诺贝尔物理学奖得主，也是 1941 年英国政府关于原子弹不可避免性的报告作者；该报告最终促使曼哈顿计划付诸行动）

在这个十年结束之前，我们将建成超级智能。这正是本系列大部分内容所探讨的主题。对于我在 SF 交谈过的大多数人来说，讲到这里，屏幕就黑了。但接下来的十年——即 2030 年代——至少也会同样波澜壮阔。到那十年结束时，世界将已被彻底改造，变得面目全非。一个新的世界秩序将被铸就。但遗憾的是——那是另一个需要留待他日讲述的故事。

目前，我们必须就此收尾。请允许我再说几句最后的话。

通用人工智能现实主义

这一切都太值得深思了——而许多人却无法做到。“深度学习正在撞墙！”他们年复一年地如此宣称。评论家们信心十足地说，这不过是又一轮科技繁荣。但即使在旧金山这一风暴中心，相关讨论也已两极分化为两种根本上不严肃的集结口号。

一端是末日论者。他们多年来一直痴迷于通用人工智能；我非常认可他们的先见之明。但他们的思想已经僵化，与深度学习的经验现实脱节，他们的主张幼稚且不可行，而且他们未能正视非常真实的威权主义威胁。狂热地声称末日概率高达 99%，呼吁无限期暂停人工智能——这些显然都不是正确的道路。

另一端是 e/accs（有效加速主义者）。就狭义而言，他们有一些不错的观点：人工智能的进步必须继续。但在他们肤浅的 Twitter 垃圾帖之下，他们不过是一场骗局；是一群只想打造套壳初创公司、而不愿直面通用人工智能的浅薄业余者。他们声称自己是美国自由的热忱捍卫者，却无法抗拒名声不佳的独裁者所提供资金的塞壬之歌。事实上，他们才是真正的停滞主义者。为了否认风险，他们连通用人工智能也一并否认；归根结底，我们所能得到的不过是很酷的聊天机器人，而它们肯定不会有危险。（在我看来，这种加速主义实在令人失望。）

但在我看来，这一领域最聪明的人已经汇聚于一种不同的视角，一条第三条道路，我将其称为 通用人工智能现实主义。 其核心信条很简单：

超级智能事关国家安全 。我们正在迅速构建比最聪明的人类还要聪明的机器。这不是又一轮很酷的硅谷繁荣；这不是什么由程序员组成的随机社区在编写一个无害的开源软件包；这不是玩乐。超级智能将会_狂野至极_；它将成为人类有史以来制造的最强大武器。而对于参与其中的我们任何人来说，这都将是我们一生中所做的最重要之事。
美国必须领先 。如果 Xi 率先获得通用人工智能，自由的火炬将无法延续。（而且，现实地说，美国的领导地位也是实现安全通用人工智能的唯一途径。）这意味着我们不能简单地“暂停”；这意味着我们需要迅速扩大美国的电力生产，以便在美国建设通用人工智能算力集群。但这也意味着，不能再容忍业余水平的初创公司安全措施将核机密拱手送给 CCP，也意味着通用人工智能的核心基础设施必须由美国控制，而不是由中东的某个独裁者控制。美国的 AI 实验室必须把国家利益放在首位。
我们绝不能把事情搞砸。 认识到超级智能的力量，也意味着认识到它的危险。安全风险非常真实；这一切误入歧途的风险也非常真实——无论是因为人类利用由此产生的毁灭性力量实现相互毁灭，还是因为，没错，我们正在召唤的外星物种尚未完全受我们控制。这些风险是可以管控的——但临场 improvising 是行不通的。要穿越这些险境，需要优秀的人以迄今尚未有人展现过的严肃态度来应对。

随着加速愈演愈烈，我只会预期相关讨论变得更加尖锐刺耳。但我最大的希望是，会有人感受到即将到来之事的分量，并将其视为一项庄严的使命召唤。

如果我们是对的呢？

此时，你或许认为我和其他所有旧金山圈内人都彻底疯了。但请思考片刻：如果他们是对的呢？ 正是这些人发明并构建了这项技术；他们认为通用人工智能将在这个十年内被开发出来；而且，尽管他们的观点分布在一个相当宽泛的范围内，其中许多人都非常认真地看待这样一种可能性：通往超级智能的道路将如我在本系列中所描述的那样展开。

几乎可以肯定，我对这个故事的重要部分有所误判；如果现实最终哪怕只是接近这种疯狂程度，误差范围也会非常大。此外，正如我一开始所说，我认为存在着范围广泛的各种可能性。但我认为这很重-

重要的是要具体。在这一系列文章中，我阐述了自己目前认为在本十年余下时间里最有可能发生的单一情景——是的，就是_这个_十年的余下时间。

因为——这一切开始变得真实，_非常_真实。几年前，至少对我而言，我认真看待这些想法——但它们仍然很抽象，被隔离在模型和概率估计之中。如今，这种感觉极其真切。我能_看到_它。我能_看到_通用人工智能将如何被构建出来。这不再是关于人脑大小的估算、种种假设、理论外推以及诸如此类的东西——我基本上可以告诉你，通用人工智能将在哪个算力集群上进行训练、该集群将在何时建成，我们将采用哪些算法的大致组合，尚未解决的问题以及解决它们的路径，还有那些将发挥关键作用的人员名单。我能_看到_它。这种感觉极其真切。当然，在 2023 年初利用杠杆全仓做多 Nvidia 固然很棒，但历史的重担十分沉重。我不会选择这一切。

但最令人恐惧的领悟是：不会有一支精锐团队前来处理这一切。小时候，你对这个世界抱有一种经过美化的看法，以为当事情变得严峻时，会有英勇的科学家、能力超群的军人，以及沉着冷静、掌控局势并将力挽狂澜的领导者。事实并非如此。这个世界小得令人难以置信；当表象被揭去时，幕后通常只有寥寥数位真正参与博弈的人，在拼命努力，防止一切分崩离析。

现在，世界上或许只有几百人意识到即将向我们袭来的是什么，明白事情将变得何等疯狂，拥有态势感知。每一位有可能负责 The Project 的人，我大概不是亲自认识，就是与其仅隔一层关系。那些在幕后拼命努力、防止一切分崩离析的寥寥数人，就是你、你的伙伴以及他们的伙伴。仅此而已。所有人就只有这些。

终有一天，事情将不再由我们掌控。但眼下，至少在未来几年中局阶段，世界的命运维系于这些人之手。

自由世界会获胜吗？

我们会驯服超级智能，还是它会驯服我们？

人类会再次侥幸避开自我毁灭吗？

这其中的利害关系丝毫不亚于此。

这些都是伟大而可敬的人。但他们终究只是凡人。很快，AI 将掌管世界，但我们还要经历最后一场牛仔竞技。愿他们最后的守护为人类带来荣耀。

附录

关于算力粗略估算的一些补充细节

训练算力

年份。 OpenAI GPT-4 技术报告称，GPT-4 于 2022 年 8 月完成训练。此后，我们按照每年约 0.5 个数量级的粗略趋势向前推算。

H100 等效数量。 Semianalysis、JP Morgan 等机构估计，GPT-4 使用了 25k 块 A100 进行训练，而 H100 的性能是 A100 的 2–3 倍。成本。 人们经常引用诸如“GPT-4 的训练成本为 $100M”这样的数字，而这仅仅采用了 GPU 的租赁成本（即类似于“租用这种规模的算力集群进行 3 个月训练需要花多少钱”）。但这是错误的。真正重要的更接近于实际建造算力集群的成本。如果你想拥有世界上最大的算力集群之一，就不可能只租用它 3 个月！此外，你需要算力来做的不仅仅是旗舰模型的训练运行：还会有大量降低风险的实验、失败的训练运行、其他模型等。

为了估算 GPT-4 算力集群的成本：

公开估算表明，GPT-4 算力集群约有 25k 块 A100。
假设每 A100 小时 1 美元，持续 2–3 年，则成本约为 5 亿美元。
或者，你可以按每块 H100 成本 2.5 万美元、共计 1 万块 H100 等效 GPU，以及 Nvidia GPU 约占算力集群成本的一半（其余成本包括电力、实体数据中心、冷却、网络、维护人员等）来估算。（例如，这份总拥有成本分析估计，大型算力集群约 40% 的成本来自 H100 GPU 本身，另有 13% 支付给 Nvidia 用于 Infiniband 网络。不过，在该计算中排除资本成本，意味着 GPU 约占总成本的 50%；若计入网络，Nvidia 获得的收入略高于算力集群成本的 60%。）

Nvidia 的每一代产品都在一定程度上改善 FLOP/$，但幅度并不大。例如，H100 -> B100 的 FLOP/$ 可能约提升 1.5 倍：B100 实际上就像是把两块 H100 拼接在一起，但零售价不到其 2 倍。不过，B100 在某种程度上是一个例外。它们出人意料地便宜，可能是因为 Nvidia 想要彻底击败竞争对手。相比之下，A100 -> H100 在 FLOP/$ 方面并没有太大改善（芯片性能在不使用 fp8 的情况下提升 2 倍，成本也大约提高 2 倍）；如果计入 fp8 带来的改进，或许能达到 1.5 倍——而这还是跨越两年时间的一代产品。

虽然我认为利润率压缩会为 FLOP/$ 的进一步改善带来一些有利因素，但随着 GPU 变得极度供不应求，它们也可能会更加昂贵。AI 芯片专业化带来的收益将会持续，但鉴于芯片已经高度针对 AI 进行了专门优化（例如专门针对 Transformer，并且已经采用 fp8/fp4 精度），如今摩尔定律的进展慢如冰川，而内存和互连等其他瓶颈组件的改进速度更慢，我并不确定 FLOP/$ 是否仍会迎来改变游戏规则的技术进步。如果你查看 Epoch 的数据，就会发现过去十年中顶级机器学习 GPU 的 FLOP/$ 提升似乎不到 10 倍；基于上述原因，我甚至预计这种提升会放缓。

如果 FLOP/$ 每年改善约 35%，那么 +4 OOM 算力集群的成本将达到 1 万亿美元。FLOP/$ 的改善速度或许会更快，但数据中心资本支出也将变得更加

成本高昂——原因很简单：你需要实际建设新的电力设施，预先投入大量资本支出，而不是仅仅租用现有的、已经折旧的发电厂。

无论如何，这些都只是非常粗略的数字。例如，如果 1T 算力集群能够以更高的效率建成，并且实际上带来的算力增益更接近 +4.5 个数量级，这也完全处于误差范围之内。

成本。 一块 H100 的功耗为 700W，但数据中心还需要大量其他电力（用于冷却、网络、存储）；Semianalysis 估算，每块 H100 对应的总功耗约为 1,400W。

FLOP/Watt 方面仍有一些提升空间，不过，一旦我们穷尽了 AI 芯片专业化所能带来的收益（见上一条脚注），例如已经降至可能的最低精度，这方面的提升空间似乎会相当有限（主要只剩下进展缓慢的芯片制程改进）。话虽如此，随着电力日益成为一种约束（并因而占据更大的成本比例），芯片设计或许会以牺牲 FLOPs 为代价，转而专门追求更高的能源效率。不过，冷却、网络、存储等方面仍然存在电力需求（在上述 H100 的数字中，这些需求已经约占总电力需求的一半）。

在这些粗略估算中，我们按每个 H100 等效单元 1kW 来计算；再次强调，这些只是粗略的估算。（而且，如果 FLOP/Watt 意外取得突破，我预计电力支出仍会相同，只是算力将获得更大的 OOM 增益。）

电力参照类别。 一个 10GW 的算力集群连续运行一年将消耗 87.6 TWh。相比之下，Oregon 每年的用电量约为 27 TWh，Washington state 每年的用电量约为 92 TWh。

一个 100GW 的算力集群连续运行一年将消耗 876 TWh，而美国全年的电力总产量约为 4,250 TWh。

点击此处返回“训练算力”表格。

总体算力

今年的 H100 等效数量。 我估计 Nvidia 将在 2024 年出货约 5M 块数据中心 GPU。其中少数是 B100，我们将其按 2x+ 块 H100 计算。此外还有其他 AI 芯片：TPU、Trainium、Meta 的定制芯片、AMD GPU 等。

TSMC 产能。 TSMC 每月拥有超过 150k 片 5nm 晶圆的产能，正在将 3nm 晶圆产能提升至每月 100k 片，并且可能还有约每月 150k 片的 7nm 晶圆产能；我们姑且将总产能计为每月 400k 片晶圆。

假设每片晶圆大约可生产 35 块 H100（H100 采用 5nm 工艺制造）。若 2024 年有 5–10 million 块 H100 等效芯片，那么 2024 年 AI 芯片的年产量将占用每年 150k300k 片晶圆。

根据实际处于该区间的哪个位置，以及我们是否要将 7nm 产量计算在内，这大约占年度领先制程晶圆产量的 3–10%。

点击此处返回“总体算力”表格。

Leopold Aschenbrenner

目录

引言

IIIc. 超级对齐

105

IIId. 自由世界必须获胜

IV. 该项目

V. 结语

附录

I. 从 GPT-4 到通用人工智能：计算数量级

过去四年

从 GPT-2 到 GPT-4

深度学习的发展趋势

计算 OOM

算力

算法效率

数据之墙

解除束缚

从聊天机器人到智能体同事

独立完成问题或项目。28

3. 使用计算机

未来四年

这将把我们带向何方？

II. 从通用人工智能到超级智能：智能爆炸

原子弹与超级炸弹

自动化 AI 研究

可能的瓶颈

算法进步的根本极限（可选，更深入）

超级智能的力量

III. 挑战

IIIa. 冲向万亿美元算力集群

训练算力

总体算力

会这么做吗？能做到吗？

AI 收入

历史先例

电力

芯片

民主国家的算力集群

无论如何：指数增长如今已全面展开。

IIIb. 封锁实验室：通用人工智能的安全保障

低估国家行为体，后果自负

威胁模型

模型权重

算法机密

Marc Andreessen

“超级安全”需要什么

我们并未走在正确的轨道上

IIIc. 超级对齐

问题

超级对齐问题

超级对齐的核心技术问题很简单：我们如何控制比我们聪明（得多）的 AI 系统？

失败会是什么样子

智能爆炸让这一切变得无比紧张

默认方案：我们如何勉强渡过难关

对齐在一定程度上超越人类的模型

自动化对齐研究

超级防御

我为何乐观，又为何恐惧

IIId. 自由世界必须获胜

海湾战争，或者说：领先数十年的技术对军事力量意味着什么

这种军事优势即使面对核威慑力量也将具有决定性

China 可以具备竞争力

1. 算力

2. 算法

威权主义之险

保持稳健的领先优势将对安全起到决定性作用

超级智能事关国家安全

IV. 该项目

通往“项目”之路

为什么「项目」是唯一的道路

超级智能的民用用途

安全

安全

稳定国际局势

“项目”不可避免；但它是否向善则未可知

终局

V. 临别感言

如果我们是对的呢？

通用人工智能现实主义

独立完成问题或项目。²⁸