500starsLLMMaybeLongLM无需微调即可自我扩展上下文窗口的大型语言模型

LLM Maybe LongLM：无需微调即可自我扩展上下文窗口的大型语言模型

2024-01-04 478 stars 44 forks

LLM Maybe LongLM: Self-Extend LLM Context Window Without Tuning 是 datamllab 创建的项目，提出自我扩展 LLM 上下文窗口的方法，无需调整模型。

项目旨在充分利用 LLM 自身处理长文本的能力，无需微调。 通过构建双级注意力信息： 组级和邻居级，扩展模型上下文窗口。

项目支持多种新技 术实现，提供了兼容文件和例子以便使用者使用。