最新AI进展一指令层级多头专家混合AdvPrompterSnapKVXCCACHE让

一、指令层级（The Instruction Hierarchy）

OpenAI提出了一种新的层级方法，以优先处理LLMs（大型语言模型）中可信的指令，增强了对恶意输入的安全防护。

论文链接 ： https://arxiv.org/pdf/2404.13208

二、多头专家混合（Multi-Head Mixture-of-Experts, MH-MoE）

这项研究为专家混合模型提出了一种改进的架构，增强了LLMs在多样化任务中的激活和分析能力，是向细粒度理解能力迈出的一大步。

链接：https://arxiv.org/pdf/2404.15045

三、AdvPrompter

开发了一种快速生成对抗性提示的方法，以测试并提高LLMs对抗潜在误用的能力，为LLMs的安全性开辟了新的视野。

论文链接：https://arxiv.org/pdf/2404.16873

四、SnapKV

为LLMs缓存挑战提供了一个有希望的解决方案。 SnapKV通过优化键值缓存，提高了LLMs的内存和时间效率，改善了长输入处理。

论文链接： https://arxiv.org/pdf/2404.14469

五、XC-CACHE

通过使用带有交叉注意力的缓存上下文，提高了LLMs的高效推理能力，显著降低了内存需求。

论文链接：https://arxiv.org/pdf/2404.15420