迷雾AI停滞还是变革前夜

Arvind Narayanan

Arvind Narayanan 是普林斯顿大学的计算机科学教授，同时也是普林斯顿信息技术政策中心（Princeton CITP）的主任。他专注于研究人工智能的社会影响、技术伦理以及社交媒体平台。他还是《AI Snake Oil》一书的作者，书中探讨了相关主题。他的观点代表个人立场。

其在 X 平台编写了长文发表关于 AI 发展已经停滞 的观点：

在1960年代末，飞机的最高速度正在急剧增加。人们假设这一趋势会继续下去。泛美航空公司甚至开始预订前往月球的航班。但事实证明，这一趋势即将急剧下降。

我认为，人工智能的扩展也是如此——它将会遇到瓶颈；问题在于何时。我认为很可能已经遇到了瓶颈。

到1971年，大约有十万人报名参加月球航班。

你可能听说过每一个指数增长最终都是一个S形曲线的一部分。我要说的是，每一个指数增长最好看作是S形曲线的一部分。在某些情况下，技术进步突然停滞。一个著名的例子是CPU时钟速度。（当然时钟速度大多无关紧要，但可以选择你的指标）。

继续扩展面临的两个主要障碍之一是数据。公司可能已经用尽了高质量的数据，这可能是OpenAI、Anthropic和Google的旗舰模型性能极其相似（一年多来没有改进）的原因。

那么合成数据呢？这里似乎有一个误解——我不认为开发者正在使用它来增加训练数据量。这篇论文对合成数据在训练中的使用提供了很好的列表，这些都是为了解决特定的缺口和进行领域特定的改进，如数学、编程或资源较少的语言。

盲目生成合成训练数据不太可能与拥有更多高质量的人类数据产生相同的效果。

第二个，也是我认为更大的障碍是，超出一定规模后，尽管可能会产生更好的模型（例如在复杂性（下一个词预测）方面），但可能不会带来下游改进（新的突现能力）。

这涉及到关于大型语言模型能力的核心辩论——它们是否能够进行外推，或者只能学习训练数据中代表的任务？这是一个半满还是半空的情况，真相可能处于两者之间，但我倾向于后者的观点。

因此，如果大型语言模型不能超越训练中所见的内容，那么在某一点上，即使你拥有更多的数据也没有帮助，因为所有可能代表的任务已经被代表了。每一个传统的机器学习模型最终都会达到平台期；大型语言模型可能也不例外。

我的直觉是，不仅扩展已经基本上停止了，构建前沿模型的团队也已经意识到这一点。如果这是真的，它可以解释许多其他令人困惑的事情（我没有内部信息）：

没有GPT-5（记住：GPT-4开始训练约2年前）

首席执行官大幅度降低对AGI的期望

转向关注大型语言模型之上的层（例如代理，RAG）

许多关注AGI的人离职；AI公司开始表现得更像常规产品公司而不是以使命为中心的公司

在我和@sayashk共同撰写的《AI Snake Oil》一书中，我们有一章关于AGI。我们将AI的历史概念化为一个断续的平衡，我们称之为普遍性阶梯（这并不意味着线性进展）。大型语言模型已经是我们阶梯的第七步；未来还有未知数量的步骤。从历史上看，站在每一个阶梯上的AI研究社区都很难预测你可以在当前范式下走多远，下一步将是什么，何时到来，将启用什么新应用，以及安全的含义是什么。

OpenAI先后发布了GPT-3.5和GPT-4（尽管后者已经开发了一段时间）。这一历史意外使人们对大型语言模型改进的速度有了极大的误解，导致了从影响者到x风险恐慌的过度反应（还记得“暂停”信吗？）。经过一年多的时间，话语逐渐冷却，开始更像一个常规的技术周期。

网友讨论

关于Arvind Narayanan 的观点，一些秉持 e/acc 人士并不认同，认为我们正处于AI技术的黄金时代，即将实现突破性的进展，即将迎来 AGI；

而其他人则认为AI发展已遭遇瓶颈，其进步的速度正在放缓。

“AI 够用了”

Space Man (@starsailing11) 提出了AI技术的一个有趣观点，认为即使我们只是无限接近人类智能，这已经足够了。他认为，人类智能的总和已经构建了现代世界，AI代理如果能够连续不断地运行，也应当能够做到相同的事情：

即使我们只是无限接近人类智能，我认为这已经足够了。所有人类的智能总和基本上是组建了现代世界的超级智能。我想，只需用连续运行的AI“代理”做同样的事情即可。

技术停滞

Tamás (@koncz_tomi) 认为AI的进步已经停滞，现在大部分的价值来自于更好的用户体验：

我喜欢这个类比，我也认为'AI'的进步已经停止了。我认为现在大部分的价值来自于更好的用户体验。

增长与停滞的周期性

Stephen McKay (@SocialPolicy) 通过国际象棋AI的发展历史来解释，技术进步通常会有增长和平台期的循环：

以计算机为例，国际象棋实力的提高有增长期和平台期。

数据效率与新方法

Jonathan Stray (@jonathanstray) 讨论了当前AI架构的数据效率问题，并指出非自回归方法的实验可能带来新的发展：

或许。当前架构的数据效率非常低，远未达到理论界限。现在开始有一些关于非自回归方法的严肃实验。我们将看到它们会带来什么。

AI自我改进与奇点

ural (@uralbayhan0) 强调了AI不同于其他技术的一个关键特性：自我改进，这也是支持“奇点”理论的一大论点：

嗯，一个区别是，更高的飞机速度并不帮助未来飞机变得更快。AI可以用来改进自身，这就是“奇点”背后的论点。这是一个正反馈循环。它已经提高了围绕 AI 构建工具的速度。

能源与可持续性

JBGrowing (@JessieTweeting) 指出，只要计算能力持续增长，AI的能力也会继续提升。当前的问题在于能源供应，以支持运行这些数据中心：

只要计算能力持续增长，AI的能力也将继续提升。现在的问题在于为运行它们的数据中心提供能源。

硬件制造商的机遇

Joel Teplid (@joelteply) 提到，尽管当前AI的大规模扩展可能只带来边际增益，但对硬件制造商来说，这是一个巨大的商机。此外，现有的技术已具有许多尚未充分实现的潜力，特别是在音频、视频和3D（AR/VR）生成方面：

我也这么认为，但他们将通过扩展10倍或更多来获得边际收益，这对硬件制造商来说是极好的，而且他们已经构建的东西具有很多尚未实现的实用性，尤其是在音频、视频和3D（AR/VR）生成方面。

网络速度与应用转移

AnIndian (@wanderertimes) 评论说，虽然网络速度的发展趋势与AI类似，有增长与停滞期，但重点会时不时转向应用（如推理）开发，然后再次回到速度提升上来：

同样的趋势也适用于网络速度……然而，思路随后会转向应用（如推理），然后速度再次提升。

企业角度

Christian Hendriksen (@chehendriksen) 对AI公司的声明表达了困惑，他质疑这些公司声称的障碍并非真正的难题，是否只是因为激励机制的影响：

你如何看待大多数AI公司的声明，他们说这些事情不是难以逾越的障碍？这是激励机制在起作用吗？我不知道什么是正确的，但对预测之间的鲜明差异感到越来越困惑。

最高速度的比喻

Peter Bayley (@peterbayley) 通过飞行器的发展来类比技术进展的极限，指出火箭比飞机能达到更高的速度，提醒我们应当寻求超越当前限制的方法：

飞机不是最高速度的标志。火箭才是。要想更快，就要超越限制的大气层。

Db (@dbgray) 则贴出摩尔定律的图：