谢赛宁LeCun的卷积神经网络不只种架构而是种思维方式

Saining Xie (@sainingxie) ：

研究方向为深度学习和计算机视觉 | 纽约大学助理教授 | 之前在Meta AI（FAIR）和加州大学圣地亚哥分校担任研究科学家

Yann LeCun (@ylecun) ：

纽约大学教授 | Meta首席AI科学家 | 人工智能、机器学习、机器人等领域的研究者 | ACM图灵奖得主

Saining Xie 发推称：

一个思维实验：ViTs（视觉Transformer）在224^2图像上表现良好，但如果你有一张100万^2像素的图像呢？你要么使用卷积，要么进行patch分块并使用共享权重的ViT处理每个块——本质上就是卷积。

这一刻我意识到卷积网络不是一种架构，而是一种思维方式。

Yann LeCun 前推文

关于实时图像和视频处理的最佳架构的简短帖子。

总结：在低级别使用带步幅的卷积或池化，在更高级别使用自注意力电路，特征向量表示对象。

附言：我准备打赌，特斯拉的完全自动驾驶（FSD）在低级别使用卷积（或更复杂的局部算子），在更高级别结合了更全局的电路（可能使用自注意力）。在低级别patch嵌入上使用Transformer完全是浪费电能。

Yann LeCun

这里有两个正交的问题。

你是否使用由局部感受野电路组成的堆栈，每个阶段的输出空间（或时空）分辨率低于输入，并且参数在局部电路之间共享。

这些阶段是否由带步幅或池化的卷积和逐点非线性组成。