OpenSora高效视频制作的开源革命AI开源项目

内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

Open-Sora：高效视频制作的开源革命

2024-02-20 15932 stars 1453 forks

Open-Sora 是由 hpcaitech 团队发起的开源项目，致力于高效地制作高质量视频，并将模型、工具和内容向所有人开放。该项目采用开源原则，不仅为广大用户提供了先进的视频生成技术，还提供了一个简化复杂视频制作流程、用户友好的平台。通过 Open-Sora，团队希望激发内容创作领域的创新、创造力和包容性。

最新动态

2024.04.25 ：发布了 Open-Sora 1.1 版本，支持从 2s 到 15s、144p 到 720p、任何宽高比的文本到图像、文本到视频、图像到视频、视频到视频以及无限时长的生成。此外，还发布了完整的视频处理流水线。

2024.03.18 ：发布了 Open-Sora 1.0 版本，这是一个完全开源的视频生成项目，支持视频数据预处理、加速训练、推理等全流程。

项目特色

高效训练 ：使用 Open-Sora 1.0，仅需 400K 视频片段和 200 H800 天即可生成 2s 512x512 视频。

成本节约 ：在训练过程中，Open-Sora 实现了 46% 的成本降低。

多样化支持 ：支持任何分辨率、宽高比和时长的训练，包括图像。

编辑与动画 ：支持图像和视频条件化、视频编辑，从而支持图像动画化、视频连接等。

安装与体验

项目提供了详细的安装指南，方便用户快速设置开发环境。

通过 Gradio 应用在线体验 Open-Sora，或者本地部署 Gradio 应用进行视频生成体验。

数据处理与训练

项目建立了完整的数据预处理流水线，将原始视频转换为高质量的视频-文本对。

提供了单节点和多节点训练的启动命令，方便在不同规模的计算资源上进行模型训练。

社区贡献

项目的成功离不开社区成员的贡献，hpcaitech 团队对此表示感谢，并欢迎更多贡献者参与进来。

致谢

项目中使用了多个开源工具和模型，包括 ColossalAI、DiT、PixArt 等，hpcaitech 团队对这些开源工作的卓越贡献表示感谢。

项目状态

Open-Sora 仍处于积极开发阶段，团队正在努力解决已知问题，并计划在下一个版本中进行改进。