模型量化看这5份资料就够了

各路大模型争先恐后上线，让普通开发者看得眼花缭乱。但你知道吗？这些模型背后都有一个秘密武器—— 量化（Quantization）！

没错，就是那个能让模型体积狂减、推理速度飙升的神奇技术，堪称模型瘦身秘籍。

Hugging Face的首席美洲驼官Omar Sanseviero（没错，就是那个自称100%黑客美洲驼的家伙）在Twitter上分享了5个学习量化的免费资源，可以说是暖心又实在：

1. 《量化可视化指南》

这是由Maarten Grootendorst大神操刀的超级直观教程。看完保证你对量化的理解清清楚楚、明明白白。

链接：

https://newsletter.maartengrootendorst.com/p/a-visual-guide-to-quantization

2. 《Hugging Face量化入门》

Merve Noyan小姐姐用简单的代码示例，手把手教你玩转量化。代码又短又甜，看要你一定想立马对她，不对，对它上手试试的！

链接：

https://huggingface.co/blog/merve/quantization

3. 《Hugging Face量化基础》

这是吴恩达和Hugging Face联手推出的入门视频课程。用PyTorch和Quanto工具，手把手教你量化入门，来自大神的礼物，不要太贴心！

链接：

https://www.deeplearning.ai/short-courses/quantization-fundamentals-with-hugging-face/

4. 《深入理解量化》

如果你觉得自己已经勉强是个高手了，那这门进阶课程绝对适合你。它会教你如何从零开始构建量化器，简直就是量化造轮子的圣经！

链接：

https://www.deeplearning.ai/short-courses/quantization-in-depth/

5. 《量化评估实战》

最后这篇博文来自Fireworks AI，专门讲解如何评估量化效果。要知道，光会量化可不够，还得会评估啊！这篇文章填补了这个鲜少被讨论的空白。

链接：

https://fireworks.ai/blog/fireworks-quantization

学完这5个资源，我敢打包票，你绝对能从量化小白变身老司机！

不过量化虽好，不要贪杯，就有网友提醒：

"量化固然好，但也要注意平衡。过度量化可能会导致模型精度下降，这就像是把4K电影压缩成240P，虽然体积小了，但看着糊啊！"

不过，这才说明有挑战，值得研究啊！

就在前几天，有研究团队声称他们的新量化方法可以让模型体积缩小90%，而性能仅下降1%！

而我，一直等一个可以把LlaMa 405B 塞进4090 的机会。

就看你的了！

相关链接