最新研究删除40LLM层速度更快精度不减

最新研究展示： 删除4 0%的LLM层次，不减精度反提升速度。

结合修剪、量化和PEFT等方法，走遍多个开源模型测试，每类模型最大层次删除率为：

Mistral - 30%

Lama 70B - 40%

Llama 13B - 50%

MMLU准确率（5-shot）与不同模型系列中剪枝层比例的关系。（左图：Llama-2系列；中图：Qwen系列；右图：Mistral-7B和Phi-2。）实线代表剪枝后并进行修复的性能，点线显示仅剪枝后的性能（不进行修复），虚线灰线是随机猜测的得分。对于这些模型，修复带来了适度的改进，并且在剪枝比例达到20%-55%之前，性能相当稳健，这取决于模型系列和大小，之后它们就过渡到随机猜测。

标准化的C4验证损失与剪枝前（左图）和修复后（右图）的层比例的关系；每条曲线都是通过模型词汇表中均匀采样的交叉熵损失进行标准化的。对于修复前的实验，每个模型的损失在大约与问答基准过渡到随机猜测相同的剪枝比例时转变为随机猜测（灰色虚线）；修复后，在问答任务上尖锐过渡的区域通过性连续。对比两个图表的整体规模，很明显修复显著恢复了下一个标记预测的性能，接近未剪枝的水平。