LeCun生成式模型无法通向AGI500人FAIR团队揭密

Andrew Curran 在 Twitter 上发文称：

一段时间以来，LeCun 先生究竟在研究什么一直是个谜，现在我们知道了。他说他的团队正在研究一种新的替代“目标驱动”架构，该架构使用“基于 JEPA（联合嵌入预测架构）的世界模型，这些模型不具有生成性”。

同时还引用了 Leun 的推文（见下图）并补充道：

我注意到有一段时间，每次他祝贺参与 Llama 论文的人时，他都会说“我的团队没有参与这项工作”。他的团队有 500 人，那么，他们在做什么呢？显然，就是这个。

在所引用的 LeCun 的推文中，LeCun 表示他的团队正在开发基于 JEPA (Joint Embedding Predictive Architectures) 的世界模型，这是一种非生成式架构。

LeCun 认为，现有的基于自回归的 LLM（大型语言模型）无法达到人类甚至猫的智能水平。 而他的团队正在研究的“客观驱动”架构，旨在通过世界模型来实现真正的智能，具备理解物理世界、拥有持久记忆、进行推理和规划等能力。

对于 500 人的团队观点，LeCun 回应道：

FAIR 拥有大约 500 名科学家和工程师。

但我没有负责 FAIR。@jpineau1 负责 FAIR。

事实上，我不管理任何东西，我不是任何人的老板。

我是首席人工智能科学家：我为团队提供想法和建议，我个人参与了几个研究项目（你可以通过查看带有名称的论文来了解哪些项目），并且我为 Joëlle 和公司领导层提供有关战略、组织和政策的建议。

尽管如此，FAIR 的许多人都在研究我们所说的 AMI（高级机器智能）的各个方面。其他人通常称之为 AGI。

LeCun 还补充说明 Llama 已经从FAIR 划到了 GenAI 团队，并表示FAIR 与GenAI 不同，GenAI 组织专注于技术和产品开发。而FAIR 专注于长期目标：能够达到人类水平智能的新型人工智能架构和方法。

注： GenAI 是 Meta 的五大产品部门之一，另外四个是 Facebook、Instagram、WhatsApp 和 Messenger。

对此，Toni 问道：

能否用简单的术语解释一下 JEPA 如何让 AMI 拥有情景记忆？

对此，LeCun 回应说情景记忆是通过单独的模块完成的，例如大脑中的海马体。