FILM让大型语言模型充分利用上下文AI开源项目

内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

FILM：让大型语言模型充分利用上下文

2024-04-03 43 stars 3 forks

FILM（Make Your LLM Fully Utilize the Context）是微软创建的一个开源项目，旨在解决大型语言模型（LLM）在处理长上下文信息时遇到的“中间丢失”问题。该项目的核心成果是FILM-7B，这是一个经过信息密集（In2）训练的32K上下文LLM，它在探测任务上达到了接近完美的性能，在大约7B规模的LLM中，在真实世界的长上下文任务上展现了最先进的性能水平，同时没有牺牲短上下文性能。

项目特点

内部审查中 ：模型目前正在内部审查，将尽快公开发布。

环境搭建 ：推荐使用Conda: https://docs.conda.io/projects/miniconda或官方Pytorch Docker: https://hub.docker.com/layers/pytorch/pytorch/2.0.1-cuda11.7-cudnn8-devel/images/sha256-4f66166dd757752a6a6a9284686b4078e92337cd9d12d2e14d2d46274dfa9048?context=explore搭建环境。

模型使用 ：提供了FILM-7B的系统模板，便于用户根据提供的指令生成响应。

探测结果 ：通过VaLProbing: https://github.com/microsoft/FILM/blob/main/VaLProbing指导文档，用户可以复现论文中提到的探测任务结果。

实验结果

探测任务 ：展示了FILM-7B在不同任务上的性能对比。

真实世界长上下文任务 ：通过real_world_long: https://github.com/microsoft/FILM/blob/main/real_world_long指导文档，用户可以复现真实世界的长上下文任务结果。

社区贡献

贡献指南 ：项目欢迎外部贡献，并遵循Microsoft开源行为准则: https://opensource.microsoft.com/codeofconduct/。

参与方式

贡献者需要同意贡献者许可协议（CLA），以确保有权授予项目使用其贡献的权利。