快上车94行代码掌握神经网络本质OpenAI创始成员特斯拉自动驾驶前负责人AndrejK

Andrej Karpathy，特斯拉前AI主管，OpenAI创始团队成员，斯坦福大学CS231n课程教授，在推特上发布了一条引人注目的推文，他分享了94行代码，并称这些代码足以训练一个神经网络。

这94行代码出自Andrej Karpathy早期的项目Micrograd，这是一个标量值自动梯度引擎。它通过构建一个计算图来实现神经网络的训练，该计算图以输入数据和神经网络参数作为叶子节点，通过加法和乘法等运算构建，最终以单个值作为输出（损失函数）。

然后，通过反向传播算法，从计算图的末端开始，逐节点应用链式法则计算梯度。梯度信息告诉我们如何调整参数以降低损失，从而改进网络性能。

Andrej Karpathy在推文中强调，尽管神经网络的训练过程可能变得非常复杂，但本质上仍然是这94行代码所呈现的简单原理。

当然，除了这94行代码之外，还需要了解如何构建合适的计算图（例如多层感知机或Transformer），选择合适的损失函数（例如自回归或扩散模型），以及如何使用梯度更新参数（例如随机梯度下降或AdamW）等。

Andrej Karpathy的这94行代码，让我们回归神经网络训练的本质，提醒我们不要迷失在复杂的框架和技术细节中。

他推荐了1986年Rumelhart、Hinton和Williams发表的论文，该论文推广了反向传播算法，并将其应用于神经网络的训练。

他还分享了Micrograd的GitHub链接和自己的YouTube视频，在视频中，他详细解释了Micrograd的构建过程。

该推文引发了广泛的讨论，不少网友对Andrej Karpathy的分享表示赞赏。

一些网友认为，Andrej Karpathy的分享能够帮助人们更好地理解神经网络的本质，并回归基础。

还有网友询问了Micrograd在实际应用中的效率问题，以及如何使用Micrograd实现点积运算等问题。

Andrej Karpathy的推文，再次展现了他对神经网络研究的深刻理解和独特的洞察力，为我们理解神经网络的本质提供了新的思路。

94行代码，Karpathy 只能帮到这儿了。如果这你都看不懂/不愿看，那可别怪大神不带你了。

Karpathy 原文：👇知识星球AGI Hunt-实时AI资讯

这段代码共94行，包含了训练神经网络所需的一切。其他的部分只是为了提高效率。

这是我早期的项目Micrograd。它实现了一个标量值的自动微分引擎。你从叶节点的一些数字开始（通常是输入数据和神经网络参数），通过像+和*这样的操作构建一个计算图，最后图的终点是一个单一的值（损失）。然后你通过图反向传播，在每个节点应用链式法则来计算梯度。梯度告诉你如何调整参数以减少损失（从而改进网络）。

有时事情变得太复杂时，我会回到这段代码前，深呼吸一下。不过，你还需要知道计算图应该是什么样的（例如MLP -> Transformer），损失函数应该是什么（例如自回归/扩散），以及如何最好地使用梯度来更新参数（例如SGD -> AdamW）等等。但这段代码是大部分内容的核心。

1986年，Rumelhart, Hinton, Williams发表的论文普及并使用了这个算法（反向传播）来训练神经网络： 1986年的论文 [1]

Micrograd的Github链接： Micrograd [2]