GPT不仅会对话还能压缩语言模型压缩效率吊打gzip5倍

今天介绍一个有意思的AI新玩法 —— 用语言模型来压缩文本 ！

或许你没有想到过，那些平常跟你聊天的大语言模型，竟然还能当压缩软件用！而且效果还不赖， 吊打gzip 5倍之多 ！

这个项目来自康奈尔理工学院的NLP博士生Jack Morris。他最近开发了一个叫 gptzip 的小工具，可以用语言模型来压缩字符串，效果相当惊人。

Jack表示，如果你电脑上有语言模型的权重文件，其实你就已经拥有了一个强大的压缩软件！

这波操作的核心思想其实很简单： 更大更强的语言模型，压缩文本的效果就越好 。

Jack还鼓励大家亲自试试：

你可以自己动手 —— 拿一段长度适中的文本，分别用大模型和小模型压缩，你会发现明显的差异。

听起来是不是很有意思？ 仔细想想，这不就意味着 模型越强大，就越能抓住语言的本质 吗？

Jack说他的灵感来自好几个方面：

克劳德·香农的思想，以及 信息论和语言建模之间的深层联系

算术编码的优雅之处

DeepMind的一篇论文《Language Modeling Is Compression》

还有这篇论文中用JAX实现的一个很棒的算术编码器

说到这儿，相信有些小伙伴已经按捺不住想试试了。好消息是，Jack已经把gptzip开源了！你可以直接pip安装：

pip install gptzip

或者去他的GitHub仓库看看：https://github.com/jxmorris12/gptzip

当然，如果你对技术细节感兴趣，Jack提到的这篇DeepMind论文也值得一读：https://arxiv.org/abs/2309.10668

不过话说回来，这个工具目前还只是个人项目阶段。 不过Jack也表示，他还有一堆想加的功能，感兴趣的可以去README里看看开发计划。

消息我就透露到这里了， 要不要去提PR 就看你的了！

有意思的是，FastAI的联合创始人Jeremy Howard也注意到了这个项目。他提到：

有个很棒的项目用RWKV做了类似的事情，地址在这里：https://bellard.org/ts_zip/

也有网友好奇能不能用这个方法压缩图片，Jack回复说：

你得先想办法把图片映射到token空间，然后才能喂给语言模型。

听起来也是个值得研究的方向，不过带视觉的大模型就可以用来干这个吧我盲猜一下。

说实话，看到这个项目我都有点手痒痒了。这不就是 把NLP和数据压缩硬生生掰到一起 了，而且效果还不错！

不过话说回来，这种方法真的能成为实际应用吗？毕竟语言模型体积不小，总不能为了压缩文本再装个好几个G的模型吧？

但是转念一想，随着大语言模型越来越普及，说不定以后每台电脑/手机上都预装了gptzip 呢？到那时候，用现成的语言模型来压缩文本，好像也挺顺理成章的。

而另一个思路则是：随着开源模型性能逼迫甚至超越GPT-4，那以后我们是不是可以用GPT-4这样的模型来压缩文件了？ 那岂不是能把一篇论文压缩成一句话？😂

当然，玩笑归玩笑。这个项目背后的思想其实很深刻： 语言模型本质上就是在做压缩 。它们在试图用最精简的方式来表达人类的知识和思想。

也许未来的AGI， 就是一个能把整个宇宙压缩成一行代码的终极压缩算法？而我们每个人，或许只是一个seed而已？

最后问题来了： 你觉得这种用语言模型做压缩的方法，未来 会成为主流吗？

欢迎在评论区留言讨论哦！

相关链接