两台MacBook就能跑405BLlama31模型网友Intel要哭了

两台MacBook就能跑405B参数的Llama 3.1模型？！

没错，你没看错，就是那个号称 "比GPT-4更强" 的超大规模语言模型！见：《 Meta发布Llama 3.1，8B版本霸榜，405B完虐GPT-4！网友：不闹革命真对不起它这名字！ 》

这一壮举来自exolabs团队，他们利用MLX框架，成功在两台MacBook Pro上分布式运行了Llama 3.1 405B模型。

要知道，这可是 405B参数 啊！放在以前，没有一个机房的算力，想都不敢想。

而现在， 就两台笔记本，搞定！ 见视频：

有网友调侃道：

"这下Intel哭了，AMD也傻眼了。"

确实，这一突破再次证明了苹果M系列芯片在AI领域的强大实力。不得不说，库克的"All in AI"策略，玩得也是挺溜！

那么，这个壮举是如何完成的呢？让我们来看看整个过程：

上午9:40 ，Prince_Canuma开启了MLX LM框架支持Llama 3.1的PR，虽然只完成了一部分就去过生日了（啧啧，这工作态度，学着点）。

11:40 ，ac_crypto接力更新PR。

下午1:30 ，Apple的机器学习研究员Awni Hannun审核并合并PR，同时ac_crypto解决了NTK RoPE的性能问题。

下午3:30 ，ac_crypto在Twitter上求助下载405B模型。

晚上6:30 ，RayFernando1337带着装有模型权重的U盘，与ac_crypto会面（这操作，简直比谍战片还刺激）。

晚上9:45 ，ac_crypto成功在两台MacBook Pro上分布式运行模型！

看到这里，有没有觉得这个团队 太能卷 了？

Awni Hannun在Twitter上激动地表示：

Open source 💪 !

没错，开源的力量就是这么强大！

有细心的网友@gm8xx8评论道：

🔥

虽然只有一个表情，但我懂你意思：这点燃了AI的火花！

而@Alex Cheema则简单回复：

🫡

说实话，看到这个消息，我都忍不住想去买台MacBook Pro了。不过转念一想，就算买了，我可能也不会部署啊！😂

——虽然代码已经开源，并 短短时间就狂揽3.4K 颗星 ！你可以试起来了！

那么问题来了：

你会为了跑大模型去买MacBook Pro吗？

欢迎在评论区留言讨论哦！

谁知道呢，说不定明天我们就能人手一个405B参数的模型了！（做梦.jpg）

相关链接