可以用区块链技术训练大模型吗

AI可以去中心化训练吗？

这个话题最近火🔥了。

有人说这是 未来的趋势 ，能让我们用上全世界的算力；也有人说这只是 空中楼阁 ，技术难题一大堆。

首先，为啥大家突然对这个感兴趣？

原因很简单： 算力不够用了 。

比如训练Llama3用了48K个GPU，GPT-4用了25K个。听起来挺多是吧？

但你知道，以太坊区块链用了多少GPU吗？

高达4000万个！

要是能把这些算力都用上，那训练大模型岂不是分分钟的事？

有网友就兴奋地说：

想象一下，要是能把这些算力都用来训练AI，那可真是太牛了！

光是想想就让人激动。但别高兴太早， 这里面的坑可不少。

第一个大坑：延迟问题

全球分布式网络，设备间的连接速度可是硬伤。大规模模型训练对延迟可是相当敏感的。

大佬Christine Yip就指出：

这可能是去中心化训练最关键的问题之一。

那怎么解决呢？Christine说有好几种方法，比如 异步训练 、 梯度压缩 等等。看来解决方案还是有的，就是不知道效果如何。

第二个大坑：编译器支持

现在的AI训练主要用NVIDIA的GPU，其他厂商的设备支持度就差多了。

Greg Diamos 则放出了一个大招：

我们在Lamini成功用上了AMD的GPU，这给了我们比市场上其他人更多的供应。

这话里话外的意思，就是谁能让其他设备也能高效训练AI，谁就能在这场游戏里占据优势。

第三个大坑：计算验证

你把训练任务交给陌生人的设备，怎么确保结果是对的，而不是瞎猫碰上死耗子？

这里面涉及到 可信执行环境（TEE） 、 声誉系统 等复杂技术。最近NeurIPS上还发表了相关研究，看来学术界也在积极推进这个方向。

第四个大坑：分布式数据存储

理想情况下，数据要离训练地点近，这样才能提高效率、减少延迟。但在去中心化的环境下，还得特别注意 容错性 和 访问控制 。

这可不是个小问题，稍有不慎就可能导致数据泄露或者训练失败。

第五个大坑：用户所有权和开源

Christine提出了一个大胆的设想：

我希望看到AI能被用户所有并开源。一个公平的平台，每个人都能保证访问并训练模型。用户通过集体决策来决定升级。区块链技术可以帮助实现这一点。

听起来很美好，但要实现起来可不容易。不过，如果真能做到，那可真是革命性的变化。

虽然坑不少，但已经有人开始行动了。

比如 Prime Intellect 和 Gensyn AI 正在研究延迟问题和用户所有权。Prime Intellect还实现了DeepMind的DiLoCo方法。

Gensyn AI则在攻克编译器支持、计算验证和分布式数据存储这些硬骨头。

大模型的去中心化AI训练这场大戏才刚刚开始。虽然困难重重，但如果真能成功，那将可能带来一场 大变革 。

就像Import AI的作者Jack Clark所说：

我对去中心化训练非常着迷，我认为它对AI生态系统有着巨大的影响。

去中心化AI训练会成为可能吗？

欢迎在评论区分享你的看法！