错误数据并非垃圾小模型的错误成了训练大模型的超级武器

谁说错误数据就是垃圾？

最新研究表明， 小模型的错误输出居然成了训练大模型的宝贵资源 ！

这简直是把"废物利用"玩出了新高度啊。

近日，一篇名为《Synthesizing Text-to-SQL Data from Weak and Strong LLMs》的论文引发业内热议。

研究团队提出了一个名为 SENSE 的框架，通过巧妙结合强弱模型的输出来合成训练数据，最终在文本到SQL的任务上 实现了开源模型的SOTA性能 。

这个操作可以说是相当骚了。

首先，他们用 强模型 生成高质量的合成数据来增加数据的多样性。这个操作大家都懂，没什么好说的。

但有意思的是，他们还特意收集了 弱模型的错误输出 。

你没看错，就是那些被我们平时嫌弃的" 垃圾 "数据。

然后他们用一个执行器来执行这些错误的SQL语句， 从执行反馈中学习 。

这波操作简直是把" 他山之石，可以攻玉 "玩出了新境界啊。

最后，他们还用了一个叫 偏好学习 的技术，让模型从正确和错误的样本中都能学到东西。

就这么玩儿，SENSE在SPIDER和BIRD这两个权威基准测试上居然 超越了现有的开源模型 ，甚至缩小了与那些闭源模型的差距。

有网友看到这个结果直呼：" 这不就是把'他人即地狱'玩成了'他人即天堂'吗？ "

这种 把弱模型的错误巧妙利用起来 的思路，让我不禁想到了那句老话：

失败是成功之母。

只不过在这里，是 小模型的失败成了大模型的妈 。

当然，也有人对这种做法提出了质疑：

这样做会不会让模型学到一些不该学的东西？毕竟错误数据里可能有一些奇奇怪怪的东西。

研究人员回应说，他们在使用错误数据时也是有所选择的，而且通过执行器的反馈和偏好学习，可以有效地控制这个风险。

这个研究给我们提供了一个全新的视角： 在AI训练中，错误也可能是宝贵的资源 。

AI 即人生啊！