为什么LLM难以进行科学研究

对于那些希望（或担心）LLM（大规模语言模型）能够进行突破性科学研究的人，我有好消息（或坏消息）告诉你们：

LLM特别不适合完成这项任务。（如果你是一名研究人员，你可能已经注意到这一点）

突破性研究需要

走向一个完全新颖且出人意料的方向，而这个方向早已被大家认为是愚蠢的，或者

发现一些非凡的新实验数据，这意味着我们必须改变我们的理论

LLM无法进行实验，所以我们将重点放在第一点上。

LLM 的工作机制

仅仅说“LLM无法推理”是没有帮助的，因为显然它们能完成一些人类需要推理才能完成的任务。

但LLM首先是一个模糊的子图匹配机器（在 大规模 上）。

换句话说（稍微简化一下），LLM主要通过模糊地查找并插入其训练集中发现的概念来工作。

由于搜索的模糊性和训练集的规模，这可以产生一些非常令人印象深刻的结果。

但是！...

每当我尝试探索一些即使略微违背普遍接受的信念的东西时，LLM 总是 只会重复普遍接受的信念。

作为研究人员，我发现这种行为比无用还糟糕。它给人一种错误的印象，认为没有什么可探索的。

公平地说，这不仅仅是LLM的问题。这对研究社区也是如此。

例如，@planetmoney 的最新一期节目中采访了一位获得诺贝尔奖的经济学家，他在首次发表结果时被评论家称为“骗子”。

移民经济学：Mariel 船桥 [1]

但是，有些人类，有些时候，能够坚韧不拔地、创造性地探索超出常规的想法，即使没有人支持他们。

比如，Katalin Karikó：

实验室中的坚韧好奇心可以导致诺贝尔奖：mRNA研究例证了基础科学研究的不可预测价值 [2]

因为LLM是模糊的子图匹配器，它们只是插入已经存在的内容，并且它们在训练集中最常见的内容上有很大的权重——而 不是 每个人都认为不会成功的疯狂想法！

如何利用LLM？

那么，如何在研究中利用LLM呢？我知道有两种好的方法：

利用LLM插入能力的规模，通过输入大量半随机和/或不断变化的提示，并有一个自动答案检查器，或者...

提供精心设计的想法集，让LLM帮助你考虑并基于这些想法进行构建。

告诉LLM“我们只是在头脑风暴”可以帮助它插入不太常见的子图。

例如，AlphaGeometry成功地使用了这些想法。

我的信息是：LLM在与人类结合时效果最好。

这意味着最值得期待（或担心）的不是计算机本身的力量，而是计算机+人类的力量。

这正是Douglas Engelbart在1962年指出的！

Douglas Engelbart 的出版物 [3]

One More Thing

PS： 以下是Engelbart的结论——1962年我们需要一个“紧急”计划来增强人类能力。 也许我们应该开始关注这个问题了？

Two More Thing

PPS：我曾两次坚持做专家们都认为愚蠢的事情：

使用利润优化进行保险定价，而不是经典的精算分析。

我创办了一家基于这一理念的成功公司，今天每个人都在使用我的方法。

精算师们告诉我这是愚蠢的。

在一个大型通用语料库上训练通用语言模型，并针对下游任务进行微调。

今天这是几乎所有NLP的标准方法，但当时我所有的NLP朋友都告诉我这绝对行不通，不要浪费时间去尝试。