OpenAI创始成员特斯拉自动驾驶前负责人AndrejKarpathy回顾机器学习历史CUDA

Andrej Karpathy：CUDA/C++ 是深度学习的起源。

前特斯拉AI总监、OpenAI创始团队成员Andrej Karpathy（@karpathy）在Twitter上回顾了深度学习的历史和起源。

Karpathy 提到， 在深度学习领域，2012年的ImageNet竞赛是一个具有里程碑意义的事件，它标志着深度学习革命的开始。然而，鲜为人知的是，那次竞赛的胜利背后，是由Alex Krizhevsky亲手用CUDA/C++从头编写的代码。这个项目名为cuda-convnet，最初托管在Google Code上，但随着Google Code的关闭，现在只能在GitHub上找到它的一些分支版本。

而cuda-convnet是深度学习领域中最早使用CUDA的高知名度应用之一。它不仅展示了多GPU应用的复杂性，还包含了模型并行性，这在当时是一个相当新颖的概念。Karpathy回忆道，在2012年，大多数深度学习工作还在使用Matlab和CPU进行，而cuda-convnet的出现，为深度学习领域带来了巨大的推动力。

卡神在刚完成手撸 3000 行C 代码实现多GPU 训练后的历史回顾也引来了诸多讨论。

评论区，Rohan Pual 也是崇拜的语气说到“真是神奇的循环”啊，我们从 C 开始然后到了 CUDA，现在又回到 C （这里指 Karpathy 发起的 llm.c 项目）了。

Linus（@elgrasel）表达了对不再需要在Matlab中运行深度学习模型的感激之情。

Paul 也表达认同：

记得我买了我的第一个 GPU（我想是 780ti）来运行 cuda convnet。 每次有 Ubuntu 更新时，我都会花周末的时间让驱动程序正常工作。 Linux 对 GPU 的更好支持可能和 transformer 一样，是推动 ML 进步的重要因素😅

INDRAJEET 则献上大力点赞，认为 Karpathy 的回顾能让人们更深入地了解深度学习热潮如何开始。

Andrej Karpathy 原文内容：

Andrej Karpathy @karpathy