从AGI到超级智能智能爆炸AI的进步不会止步于人类水平

AI的进步不会止步于人类水平。

全文共 9.3 千字，预计阅读时间 30 分钟

数以亿计的AGI可以自动化AI研究，将十年的算法进展（超过5个数量级）压缩到≤1年内。 我们将迅速从人类水平的AI系统发展到超越人类的超级智能系统 。

超级智能的力量，和危险，将是戏剧性的。

目录

自动化AI研究

可能的瓶颈

超级智能的力量

让我们将超智能机器定义为能够远远超过任何聪明人的所有智力活动的机器。由于机器设计是这些智力活动之一，超智能机器可以设计出更好的机器；毫无疑问，会发生“智能爆炸”，人类的智能将被远远抛在后面。因此，第一台超智能机器是人类需要制造的最后一项发明。

I. J. Good ( 1965 [1] )

原子弹与氢弹

在公众想象中，冷战的恐怖主要源于洛斯阿拉莫斯的原子弹发明。但原子弹本身可能被高估了。从原子弹到氢弹的过渡同样重要。

在东京空袭中，数百架轰炸机投下了数千吨常规炸弹。同年晚些时候，小男孩在广岛投放，单个装置释放了类似的破坏力。但仅仅7年后，特勒的氢弹再次将爆炸威力提高了千倍——单个炸弹的爆炸力超过了整个二战期间投下的所有炸弹总和。

原子弹是更高效的轰炸手段，而氢弹是毁灭国家的装置。

AGI和超级智能的关系也将如此。

AI的进步不会止步于人类水平。 在最初学习了最优秀的人类游戏后，AlphaGo开始与自己对战，很快变得超越人类，展示了人类无法想象的极具创造性和复杂性的动作。

我们在 上一篇文章《 AGI 将可能在2027 年实现。 》 [2] 中讨论了通往AGI的路径。一旦我们拥有了AGI，再转动一次曲柄——或者两三次——AI系统将变得超越人类——大大超越人类。他们将比你或我更聪明得多，或许类似于你我比小学生更聪明。

超级智能的跃升在当前快速但连续的AI进展速度下已经足够疯狂（如果我们能在4年内从GPT-4跃升到AGI，之后的4或8年会带来什么？）。但如果AGI自动化AI研究，这一过程可能会更快。

一旦我们拥有了AGI，我们不仅仅会有一个AGI。我稍后会详细解释数字，但：考虑到那时的推理GPU集群，我们可能会运行 数以百万计的它们（可能相当于1亿人类，并且很快以10倍于人类的速度） 。即使它们不能在办公室里走动或制作咖啡，它们也能够在计算机上进行机器学习研究。与领先AI实验室的几百名研究人员和工程师相比，我们将拥有超过10万倍的自动化力量，昼夜不停地进行算法突破。是的，递归自我改进，但不需要科幻小说； 它们只需要加速现有的算法进展趋势（目前约为0.5个数量级/年） 。

智能爆炸

自动化AI研究可以加速算法进展，在一年内带来超过5个数量级的有效计算能力提升。我们将在智能爆炸结束时拥有比人类智能高出许多的AI系统。

自动化AI研究可能在不到一年内压缩人类十年的算法进展（这已经是保守估计）。那将是超过5个数量级的进展，就像从GPT-2到GPT-4的跃升， 在AGI的基础上 ，类似于从学前班到聪明的高中生的质的飞跃，在已经相当于专家AI研究人员/工程师的AI系统之上。

虽然存在若干可能的瓶颈，包括实验计算资源有限、与人类的互补性、算法进展变得更困难等，但似乎没有足够的理由显著减缓这一过程。

很快，我们将拥有超级智能——比人类聪明得多的AI系统，能够进行我们无法理解的全新、创造性、复杂的行为——甚至可能是一个拥有数十亿个这样的系统的小型文明。它们的力量也将是巨大的。将超级智能应用于其他领域的研发，爆炸性进展将从仅限于机器学习研究扩展到其他科学和技术领域，随之而来的是工业爆炸。超级智能可能提供决定性的军事优势，并展现出巨大的破坏力。我们将面临人类历史上最紧张和动荡的时刻之一。

自动化AI研究

我们不需要自动化一切——只需要自动化AI研究。

一种对AGI变革性影响的常见反对意见是，AI很难做到一切。例如，看看机器人技术；即使AI在认知上达到了博士水平，自动化生物研发也可能需要大量的物理实验室工作和人体实验。

但我们不需要机器人技术——我们不需要很多东西——来自动化AI研究。顶尖实验室的AI研究人员和工程师的工作可以完全虚拟化，不会遇到现实世界的瓶颈（尽管仍会受到计算资源的限制）。AI研究员的工作总体上是相当直接的：阅读机器学习文献，提出新问题或新想法，实施实验以测试这些想法，解释结果，然后重复。这一切似乎完全在当前AI能力的简单外推范围内，可以轻松达到或超越顶尖人类的水平，到 2027年底 [3] 。

值得强调的是，过去十年中一些最大的机器学习突破是多么直接和偶然：“哦，只是添加一些归一化”（LayerNorm/BatchNorm）或“做f(x)+x而不是f(x)”（残差连接）或“修复实现错误”（Kaplan → Chinchilla扩展定律）。AI研究可以被自动化。而自动化AI研究是启动非凡反馈循环所需的一切。

我们能够运行数百万个副本（并且很快以10倍以上的人类速度）自动化AI研究人员。

即使到2027年，我们也应该预期 拥有数千万的GPU集群 [4] 。训练集群单独就应该接近增加约3个数量级，已经达到超过1000万个A100等效GPU。推理集群应该更大。（在 后续文章 [5] 中会详细讨论所有这些内容。）

这将使我们能够运行数百万个自动化AI研究人员的副本，可能相当于1亿人类研究员，每天不停地工作。这些确切的数字不重要，重要的是它们展示了简单的可能性。

更重要的是，我们的自动化AI研究人员可能很快能够以比人类更快的速度运行：

通过承担一些推理惩罚，我们可以在运行更少副本的情况下以更快的串行速度运行它们。（例如，我们可以从~5倍人类速度提升到~100倍人类速度，只运行100万个自动化研究员副本。）

更重要的是，自动化AI研究人员工作的第一个算法创新就是获得10倍或100倍的速度提升。Gemini 1.5 Flash比最初发布的GPT-4快约10倍，仅一年后，提供了与最初发布的GPT-4在推理基准测试上相似的性能。如果这是几百名人类研究人员一年内找到的算法速度提升，自动化AI研究人员将很快找到类似的突破。

即：预计不久之后，我们将有1亿个自动化研究员，每个研究员以100倍人类速度工作。 他们每个人将在几天内完成一年的工作。与今天领先AI实验室的几百名研究人员相比，工作量将极其巨大。

可能的瓶颈

尽管这个基本故事非常强大，并且得到了 详尽的经济模型工作 [6] 的支持，但仍有一些真实且可能的瓶颈可能会减缓自动化AI研究智能爆炸的进程。

简要总结如下，并在下面的可选部分中对感兴趣的读者进行详细讨论：

计算资源有限 ：AI研究不仅需要好的想法、思维或数学，还需要运行实验以获得想法的实证信号。自动化研究劳动增加一百万倍的研究努力不会意味着进展加快一百万倍，因为计算资源仍然有限，实验的计算资源将成为瓶颈。尽管如此，即使这不是100万倍的加速，我也难以想象自动化AI研究人员不能至少10倍有效地利用计算资源：他们将能够获得令人难以置信的机器学习直觉（内化整个机器学习文献和每个以往的实验！）并获得数世纪的思维时间来确定正确的实验，进行优化配置，最大限度地获取信息价值；他们将能够在运行微小实验前花费数世纪的工程师时间以避免错误并确保第一次就做对；他们可以通过专注于最大的胜利来在计算资源上做出权衡；他们能够尝试大量小规模实验（考虑到那时的有效计算规模，“小规模”意味着能够在一年内训练10万个GPT-4级别的模型以尝试架构突破）。一些人类研究人员和工程师能够在相同计算资源下产生10倍的进展——这应该更适用于自动化AI研究人员。我认为这是最重要的瓶颈，我在下面更详细地讨论了这一点。

互补性/长尾 ：经济学的经典教训是，如果你能自动化70%的工作，你会获得一些收益，但剩下的30%很快就成为你的瓶颈。对于任何未完全自动化的东西，例如非常好的辅助工具，人工AI研究员将继续成为主要瓶颈，使算法进展的整体速度相对较小。此外，自动化AI研究所需的能力可能有一个长尾部分——AI研究员工作的最后10%可能特别难以自动化。这可能会延缓进展，但我的最佳猜测是这只会延迟几年。或许2026/27年的模型速度是原型自动化研究员，完成最终的优化、稍微更好的模型、推理速度提升和解决协调问题可能需要一两年，最终到2028年我们实现10倍的加速（并在十年末获得超级智能）。

算法进展的固有限制 ：或许再增加5个数量级的算法效率将从根本上不可能？我对此表示怀疑。尽管确实存在上限，但如果我们在过去十年中取得了5个数量级的进展，我们应该预期至少再有一个十年的进展是可能的。更直接地说，当前的架构和训练算法仍然非常基础，似乎有可能找到更高效的方案。生物参考类也支持更高效的算法是有可能的。

发现新想法越来越难，因此自动化AI研究员只会维持当前的进展速度 ：一个反对意见是，尽管自动化研究增加了大量有效研究努力，但找到新想法变得越来越难。也就是说，虽然今天几百名顶级研究人员就能维持每年0.5个数量级的进展，但随着容易的想法被用尽，需要越来越多的努力来维持这种进展——因此100万名自动化研究员只是维持进展所需的量。我认为这个基本模型是正确的，但实证数据不支持这种观点：自动化带来的研究努力增加——百万人倍——远远超过历史上维持进展所需的研究努力的增长趋势。在经济模型术语中，假设自动化研究努力的增加刚好足以保持进展速度是一个奇特的“刀刃假设”。

新想法变得更难找到并且回报递减，因此智能爆炸将很快消退 ：与上述反对意见相关，即使自动化AI研究员带来初步的进展，快速进展能否持续取决于算法进展的回报递减曲线的形状。根据我的最佳理解，实证证据表明指数对爆炸性/加速进展有利。无论如何，100万倍的研究努力增加——从几百到几百万AI研究员——在至少若干个数量级的算法进展上应该能够克服递减回报，尽管这当然无法 无限期 地自我维持。

算法进展的生产函数包括两个互补的生产要素：研究努力和实验计算。

数以百万计的自动化AI研究员将不会比人类AI研究员拥有更多的实验计算资源；他们可能会坐等他们的工作完成。

这是智能爆炸最重要的瓶颈。最终，这是一个定量问题——这个瓶颈有多严重？总体上，我很难相信100万名Alec Radford们无法将实验计算的边际产出至少提高10倍（因此，仍然会加速进展速度10倍）：

有很多你可以用较少的计算资源做的事情。 大多数AI研究的工作方式是你先在小规模上进行测试——然后通过扩展定律进行外推。许多关键历史突破只需要非常少的计算资源，例如 最初的Transformer [7] 仅在8个GPU上训练了几天。注意到在未来四年内有~5个数量级的基准扩展，“小规模”将意味着GPT-4规模——自动化AI研究员将在一年内能够运行10万个GPT-4级别的实验，数百万个GPT-3级别的实验。（这是很多潜在的突破性新架构他们能够测试的！）

很多计算资源用于更大规模的最终预训练运行——确保你对年度产品的边际效率增益有足够的信心——但如果你在智能爆炸中快速进行，你可以节约资源，只专注于真正的大胜利。

如 前文所述 [8] ，通过模型的相对低计算“解锁”可以获得巨大增益。这些不需要大规模的预训练运行。很可能智能爆炸开始时，自动化AI研究发现某种RL方法，使我们通过解锁获得几个数量级的提升（然后我们进入竞赛）。

随着自动化AI研究员找到效率，他们将能够运行更多实验。 回想一下在两年内几乎1000倍更便宜的推理，以及去年10倍的一般推理增益， 在前文中讨论 [9] ，仅仅是人类算法进展带来的。自动化AI研究员做的第一件事是迅速找到类似的增益，这反过来会让他们能够在新的RL方法上运行100倍更多的实验。或者他们能够迅速制作性能相似的较小模型（例如前文讨论的Gemini Flash，比GPT-4便宜近100倍），这反过来会让他们能够用这些较小模型进行许多更多的实验（再一次，想象使用这些模型尝试不同的RL方案）。可能还有其他的潜在增益，例如自动化AI研究员可能迅速开发出更好的分布式训练方案以利用所有推理GPU（这可能至少增加10倍的计算资源）。更普遍地说，每个算法效率增益的数量级都会给他们带来一个数量级的有效计算资源。

自动化AI研究员可能会更高效。 如果你能在第一次尝试时就做对——没有令人讨厌的错误，更加选择性地运行——你将不得不运行的实验会少得多。想象1000个自动化AI研究员花一个月的时间检查代码并确保你在按下运行按钮之前的实验是正确的。我问过一些AI实验室的同事，他们同意：如果你能避免无意义的错误，在第一次尝试时就做对，并且只运行高信息价值的实验，你应该能够在大多数项目上节约3到10倍的计算资源。

自动化AI研究员可能有更好的直觉。

最近，我与一家前沿实验室的一位实习生交谈；他们说，在过去几个月中，他们的主要经验是提出他们想要运行的许多实验，而他们的导师（高级研究员）则说他们可以预测结果，所以不需要运行。高级研究员多年的随机实验磨练了他们对哪些想法会有效或无效的直觉。同样，我们的AI系统可能很容易获得超越人类的机器学习实验直觉——它们会读完整个机器学习文献，能够从每个实验结果中学习并深思熟虑，可以轻松训练预测数百万

机器学习实验结果的模型，等等。也许他们做的第一件事就是建立一个“仅在看到前1%的训练或看到这个实验的小规模版本后预测这个大规模实验是否会成功”的基本科学，并且如此。* 此外，除了对研究方向有很好的直觉外， 如Jason Wei所指出 [10] ，对实验的几十个超参数和细节有很好的直觉会带来巨大的回报。Jason称这种基于直觉的第一次尝试正确的能力为“yolo运行”。（Jason说，“我所知道的是，那些能做到这一点的人肯定是10-100倍的AI研究员。”）

计算瓶颈意味着增加一百万倍的研究员不会带来一百万倍的研究速度——因此不会出现一夜之间的智能爆炸。但自动化AI研究员将拥有超越人类研究员的非凡优势，因此很难想象他们不能至少找到10倍更高效/更有效地使用计算资源的方法——因此10倍的算法进展速度似乎非常可能。

超级智能的力量

无论你是否同意这些论点的最强形式——我们是否在<1年内获得智能爆炸，或者需要几年——显然：我们必须面对超级智能的可能性。

我们到本十年末可能拥有的AI系统将是不可思议的强大。

当然，它们将 在数量上 超越人类。在我们到本十年末 拥有的数亿GPU集群 [11] 上，我们将能够运行一个拥有数十亿个AI系统的小型文明，它们能够以远超过人类的速度“思考”。它们将能够迅速掌握任何领域，编写数万亿行代码，阅读每一篇科学领域的研究论文（它们将是完美的跨学科！），在你还没有读完摘要时就撰写新的论文，从它们的每个副本的并行经验中学习，数周内获得数十亿人类等效年的创新经验，全力以赴地工作100%时间，不会被拖慢的同事拖累，等等。

更重要的——但难以想象的——是它们将 在质量上 超越人类。作为一个狭窄的例子，大规模RL运行已经能够产生超出人类理解的完全新颖和创造性行为，例如在AlphaGo对战李世石的 著名第37步 [12] 。超级智能将在多个领域表现出这一点。它将找到人类无法察觉的代码漏洞，并生成即使模型花费数十年解释，人类也无法理解的复杂代码。人类可能困惑几十年的极难科学和技术问题对它们来说将显得 如此显而易见 。我们将像被困在牛顿物理中的高中生，而它们在探索量子力学。

作为这种可能性的一个可视化，看看一些YouTube视频，例如 20秒内击败《Minecraft》 [13] 的这一个。

击败Minecraft

在20秒内击败《Minecraft》。（如果你对这个视频中的内容一无所知，你并不孤单；即使是大多数普通的《Minecraft》玩家也几乎不知道发生了什么。）

现在想象一下这应用于所有科学、技术和经济领域。尽管这里的误差范围非常大，但考虑到这一点是非常重要的。

站在这里是什么感受？Wait But Why/Tim Urban.

在智能爆炸中，爆炸性进展最初仅在自动化AI研究这一狭窄领域发生。随着我们获得超级智能，并将数十亿（现在是超级智能）的代理应用于各个领域的研发，我预计爆炸性进展将扩大：

AI能力爆炸 。或许我们最初的AGI有一些限制，阻止它们完全自动化其他领域的工作（而不仅仅是AI研究领域）；自动化AI研究将迅速解决这些问题，使得任何认知工作都能够自动化。

解决机器人技术 。超级智能不会长期停留在纯认知领域。实现机器人技术的良好运行主要是一个机器学习算法问题（而不是硬件问题），我们的自动化AI研究员可能会解决这个问题。工厂将从人类运行，到AI指导使用人类体力劳动，再到很快由机器人群完全运行。

显著加速科学和技术进步 。是的，爱因斯坦一个人无法发展神经科学和建立半导体行业，但十亿个超级智能的自动化科学家、工程师、技术人员和机器人技术人员（机器人以10倍以上的速度移动！）将在几年内在许多领域取得非凡的进展。（这是一个很好的 短篇小说 [14] 可视化AI驱动的研发可能是什么样子。）这些超级智能体将能够将人类研究人员在未来世纪内完成的研发努力压缩到几年内。想象一下20世纪的技术进步被压缩到不到十年。我们将从飞行被认为是幻觉，到飞机，再到登月和ICBM在几年内完成。 我预计2030年代的科学技术将是这样的。

工业和经济爆炸 。极大加速的技术进步，结合自动化所有人类劳动的能力，可能会极大加速经济增长（想象：自我复制的机器人工厂迅速覆盖内华达沙漠的场景）。增长的增加可能不仅仅是从每年2%到2.5%；这将是增长模式的根本变化，更类似于从非常慢的增长到工业革命后每年增长几个百分点的历史性转变。我们可能会看到30%/年甚至更高的经济增长率，很可能是每年多次翻倍。这从经济学家的 模型 [15] 中 直接推导 [16] 。当然，这可能会被社会摩擦所延迟；例如，即使AI系统在某些工作上更好，繁琐的法规可能仍要求律师和医生是人类；在快速扩展的机器人工厂中，社会可能会抵制变化的速度；或许我们仍希望保留人类保姆；所有这些都会减慢整体GDP统计的增长。尽管如此，在我们消除人为障碍的任何领域（例如，竞争可能迫使我们在军事生产上这样做），我们将看到工业爆炸。

增长模式

开始主导的日期

全球经济的倍增时间（年）

狩猎

公元前200万年

230,000

农业

公元前4700年

860

科学与商业

公元1730年

58

工业

公元1903年

15

超级智能？

公元2030年？

???

增长模式的变化并非前所未有：当文明从狩猎转向农业，再转向科学和商业的繁荣，再到工业，全球经济增长的步伐加快。超级智能可能会引发另一个增长模式的转变。基于罗宾·汉森的“ 长期增长作为一系列指数模式 [17] 。”

提供决定性且压倒性的军事优势 。即使是早期的认知超级智能在这里也可能足够；或许某种超人类黑客计划可以使对手的军事力量失效。无论如何，军事力量与技术进步历史上紧密相关，随着极其快速的技术进步，将会出现相应的军事革命。无人机群和机器人军队将是大事，但这只是开始；我们应该期待完全新型的武器，从新的大规模杀伤性武器到不可战胜的基于激光的导弹防御系统，再到我们无法想象的东西。与前超级智能的武器库相比，这将像21世纪的军队对抗19世纪的骑兵和刺刀。

能够推翻各国政府 。谁控制超级智能，谁很可能有足够的力量从前超级智能力量手中夺取控制权。即使没有机器人，这个小型超级智能文明也能够黑进任何未受防御的军事、选举、电视等系统，巧妙地说服将军和选民，在经济上击败国家，设计新的合成生物武器并支付人类以比特币进行合成，等等。在 16世纪初 [18] ，科尔特斯和大约500名西班牙人征服了几百万人的阿兹特克帝国；皮萨罗和约300名西班牙人征服了几百万人的印加帝国；阿方索和约1000名葡萄牙人征服了印度洋。他们没有神一样的力量，但旧世界的技术优势和战略外交的优势带来了决定性的优势。超级智能可能会类似。

一个常见的反对意见是，即使AI能够完成认知任务，机器人技术仍然远远落后，因此将成为任何现实世界影响的制约因素。

我曾经对此表示同情，但现在我相信机器人不会成为障碍。多年来，人们声称机器人是硬件问题——但机器人硬件正在迅速解决。

越来越明显，机器人是一个 机器学习算法 问题。LLM有一个更容易的引导方式：你有整个互联网进行预训练。没有类似的大型数据集用于机器人动作，因此需要更多的巧妙方法（例如使用多模态模型作为基础，然后使用合成数据/模拟/巧妙的RL）来训练它们。

现在有大量的精力投入到解决这个问题上。但即使在我们解决AGI之前，我们数百万的AGI/超级智能将成为 惊人的 AI研究员（这正是本文的核心论点！），并且很可能它们会找到使优秀机器人工作所需的机器学习方法。

因此，尽管机器人可能会导致几年的延迟（解决机器学习问题，在物理世界中进行测试，这比在模拟中测试根本上更慢，初期的机器人生产增长，然后机器人可以自行建立工厂，等等）——我不认为这会超过几年的时间。

爆炸性增长扩大

爆炸性增长开始于AI研发的狭窄领域；随着我们将超级智能应用于其他领域的研发，爆炸性增长将扩大。

如何在2030年代中发挥这一切难以预测（这是另一个时间的故事）。但至少有一点是明确的：我们将迅速进入人类有史以来最极端的情境。

人类水平的AI系统，AGI，本身将是高度影响深远的——但在某种程度上，它们只是我们已经了解的更高效版本。但，非常有可能，仅在一年内，我们将过渡到更为陌生的系统，这些系统的理解和能力——它们的原始力量——将超过整个人类的总和。我们有真正的可能会 失去控制 [19] ，因为我们在这个快速过渡期间被迫将信任交给AI系统。

更广泛地说，一切将开始 非常快 地发生。世界将开始变得疯狂。假设我们在短短几年内经历了20世纪的地缘政治高潮和人为灾难；这就是我们在超级智能之后应该预期的情境。在这一切疯狂中，我们将极其有限的时间做出正确的决定。挑战将是巨大的。我们需要全力以赴，才能安然度过这一切。

智能爆炸和超级智能后的紧急时期将是人类历史上最动荡、紧张、危险和疯狂的时期之一。

到本十年末，我们很可能会处于其中。

参考资料

冷战的许多悖论（参见 丹尼尔·艾尔斯伯格的书 [20] ）源于简单地用氢弹替换原子弹，而没有根据其巨大的能力增加调整核政策和战争计划。

AI研究人员的工作是AI实验室里的AI研究人员非常熟悉的工作——因此，他们会特别直观地优化模型以擅长这项工作。而且，为了加速他们的研究和提高实验室的竞争优势，将有巨大的激励去这么做。

顺便说一下，这表明了AI风险顺序中的一个重要点。人们常指出的一个常见的AI威胁模型是AI系统开发出新型生物武器，并因此带来灾难性风险。但如果AI研究比生物研究与开发更容易自动化，我们可能会在极端AI生物威胁出现之前就迎来智能爆炸。这在某些情况下很重要，比如，我们是否应该在AI问题严重之前，期望看到“生物预警”。

如前所述 [21] ，今天的GPT-4 API成本低于发布时的GPT-3——这表明推理效率胜利的趋势足够快，即使模型变得更强大，推理成本也能大致保持不变。同样，自GPT-4发布以来的一年内，推理成本也有了巨大的 改进 [22] ；例如， 当前版本的Gemini 1.5 Pro [23] 的性能优于原始GPT-4，而成本却 大约便宜了10倍 [24] 。

我们也可以通过考虑Chinchilla扩展定律来进一步分析。根据Chinchilla扩展定律，模型规模——以及推理成本——随着训练成本的平方根增长，即有效计算量级扩展的一半。然而，在 前一篇文章 [25] 中，我指出算法效率大约以与计算扩展相同的速度进步，即大约占有效计算扩展的一半。如果这些算法胜利也转化为推理效率，那么算法效率将抵消推理成本的简单增加。

实际上，训练计算效率通常（但并非总是）转化为推理效率的提高。然而，也有许多单独的推理效率提高不是训练效率提高。因此，大致来说，假设前沿模型的 $/token大致保持相似并不疯狂。

（当然，它们会使用更多的tokens，即更多的测试时间计算。但这已经包含在这里的计算中，以每分钟100个tokens的人类等价计算。）

GPT-4 Turbo 大约 [26] 是 0.03 / 1 𝐾 𝑡 𝑜 𝑘 𝑒 𝑛 𝑠 。 我 们 假 设 有 数 千 万 个 𝐴 100 等 效 设 备 ， 每 个 𝐺 𝑃 𝑈 大 约 1/小时。如果我们用API成本将GPU转换为生成的tokens，这意味着数千万个GPU * 1 / 𝐺 𝑃 𝑈 小 时 ∗ 33 𝐾 𝑡 𝑜 𝑘 𝑒 𝑛 𝑠 / = 大约每小时一万亿个tokens。假设人类每分钟思考100个tokens，这意味着一个人类等价物是每小时6,000个tokens。每小时一万亿个tokens除以6,000个tokens/人类小时 = 大约两亿个人类等价物——即相当于运行两亿个人类研究员，日夜不停。（即使我们保留一半的GPU用于实验计算，我们也能得到一亿个人类研究员等价物。）

前一个脚注估计每小时约1万亿个tokens，即每天24万亿个tokens。在 上一篇文章 [27] 中，我指出 公共去重的CommonCrawl大约有30万亿个tokens [28] 。

Jacob Steinhardt估计，通过一些关于推理权衡的数学运算（假设k为100或更多），k^3个模型的并行副本可以被一个快k^2的单一模型取代。假设初始速度已经是人类速度的5倍（例如，基于GPT-4发布时的速度）。然后，通过接受这种推理惩罚（k约为5），我们能够以约100倍于人类速度运行约一百万个自动化AI研究员。

该来源 [29] 对Flash的吞吐量进行了基准测试，其速度大约是GPT-4 Turbo的6倍，而GPT-4 Turbo比原始GPT-4还要快。延迟可能也大致快10倍。

Alec Radford是OpenAI一位非常有才华且多产的研究员/工程师，他是 许多重要进展 [30] 背后的关键人物，尽管他有些低调。

在GPT-4基础上进行25倍数量级的算法进步显然是不可能的：这意味着可以用极少的FLOP训练一个GPT-4级别的模型。

进行物理R&D的10倍速度机器人是“慢版”；实际上，超级智能将尽可能在模拟中进行R&D，例如 AlphaFold [31] 或制造“ 数字孪生 [32] ”。

为什么“工厂世界”——建立一个工厂，该工厂生产更多的工厂，生产更多的工厂，直到最终你的整个星球被工厂迅速覆盖——今天不可能实现？原因在于劳动力受限——你可以积累资本（工厂、工具等），但这会遇到边际效用递减的问题，因为它受限于固定的劳动力。随着机器人和AI系统能够完全自动化劳动，这一限制将被消除；机器人工厂可以以近乎不受限制的方式生产更多的机器人工厂，从而导致工业爆炸。有关此方面的更多经济增长模型，请参见 这里 [33] 。

参考链接

[1]

1965 : https://web.archive.org/web/20120501043117/http://www.stat.vt.edu/tech_reports/2005/GoodTechReport.pdf

[2]

上一篇文章: https://situational-awareness.ai/from-gpt-4-to-agi/

[3]

2027年底: https://situational-awareness.ai/from-gpt-4-to-agi/

[4]

GPU集群数千万: https://situational-awareness.ai/racing-to-the-trillion-dollar-cluster/#Overall_compute

[5]

后续文章: https://situational-awareness.ai/racing-to-the-trillion-dollar-cluster/

[6]

详尽的经济模型工作: https://www.openphilanthropy.org/research/what-a-compute-centric-framework-says-about-takeoff-speeds/

[7]

最初的Transformer: https://arxiv.org/abs/1706.03762

[8]

前文所述: https://situational-awareness.ai/from-gpt-4-to-agi/#Unhobbling

[9]

在前文中讨论: https://situational-awareness.ai/from-gpt-4-to-agi/#Algorithmic_efficiencies

[10]

如Jason Wei所指出: https://twitter.com/_jasonwei/status/1757486124082303073?s=12

[11]

数亿GPU集群: https://situational-awareness.ai/racing-to-the-trillion-dollar-cluster/

[12]

著名第37步: https://www.wired.com/2016/03/two-moves-alphago-lee-sedol-redefined-future/

[13]

20秒内击败《Minecraft》: https://www.youtube.com/watch?v=do08uW0N5Qs

[14]

短篇小说: https://www.asimov.press/p/tinker

[15]

模型: https://globalprioritiesinstitute.org/philip-trammell-and-anton-korinek-economic-growth-under-transformative-ai/

[16]

直接推导: https://www.openphilanthropy.org/research/could-advanced-ai-drive-explosive-economic-growth/

[17]

长期增长作为一系列指数模式 : https://mason.gmu.edu/~rhanson/longgrow.pdf

[18]

16世纪初: https://www.lesswrong.com/posts/ivpKSjM4D6FbqF4pZ/cortes-pizarro-and-afonso-as-precedents-for-takeover

[19]

失去控制: https://situational-awareness.ai/superalignment/

[20]

丹尼尔·艾尔斯伯格的书: https://www.amazon.com/Doomsday-Machine-Confessions-Nuclear-Planner/dp/1608196704

[21]

推理成本胜利: https://situational-awareness.ai/from-gpt-4-to-agi/#Algorithmic_efficiencies

[22]

推理成本胜利: https://situational-awareness.ai/from-gpt-4-to-agi/#Algorithmic_efficiencies

[23]

当前版本的Gemini 1.5 Pro: https://ai.google.dev/pricing

[24]

大约便宜了10倍: https://ai.google.dev/pricing

[25]

前一篇文章: https://situational-awareness.ai/from-gpt-4-to-agi

[26]

大约: https://openai.com/api/pricing/

[27]

上一篇文章: https://situational-awareness.ai/from-gpt-4-to-agi/

[28]

公共去重的CommonCrawl大约有30万亿个tokens: https://www.together.ai/blog/redpajama-data-v2

[29]

该来源: https://artificialanalysis.ai/models/gemini-1-5-flash