164starsStoryDiffusion长程图像与视频生成的一致性自注意力AI

2024-04-21 164 stars 12 forks

StoryDiffusion 项目介绍

StoryDiffusion 是一个由 HVision-NKU 开发的开源项目，专注于长程图像和视频生成。该项目通过一致性自注意力机制，能够生成具有连贯性的图像和视频，特别适用于漫画风格的长序列创作。

项目特点

一致性自注意力 ：支持长程序列中的角色一致性图像生成，与 SD1.5 和 SDXL 基于图像扩散的模型兼容。

运动预测器 ：用于长程视频生成，能在压缩的图像语义空间中预测条件图像之间的运动，实现更大的运动预测范围。

示例

漫画生成 ：StoryDiffusion 能够生成多种风格的漫画，通过提供的文本提示生成连贯的漫画故事。

图像到视频的生成 ：利用一致性自注意力机制生成的图像，可以无缝过渡生成视频，实现两阶段长视频生成方法。

使用方法

Jupyter Notebook ：通过打开 Comic_Generation.ipynb 并运行代码来生成漫画。

本地 Gradio 演示 ：通过运行 python gradio_app_sdxl.py 命令启动本地演示。

依赖与安装

Python 版本需 >= 3.8，推荐使用 Anaconda 或 Miniconda。

需要安装 PyTorch >= 2.0.0。

待完成/更新

漫画结果

视频结果

漫画生成的源代码

Gradio 演示的源代码

视频生成模型的源代码

视频生成模型的预训练权重

免责声明

项目旨在积极影响 AI 驱动的图像和视频生成领域。用户有权使用此工具创造图像和视频，但应遵守当地法律并负责任地使用。开发者不承担用户潜在的不当使用责任。

引用