ConsistentID高效定制化人脸特征保持AI开源项目

内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

ConsistentID：高效定制化人脸特征保持

2024-04-15 78 stars 4 forks

🌠 项目亮点：

高保真度 ：生成具有极高个人身份特征（ID fidelity）的人像，同时不牺牲多样性和文本可控性。

面部解析与识别 ：将面部解析（FaceParsing）和面部身份（FaceID）信息整合到扩散模型（Diffusion model）中。

快速定制 ：在几秒内实现个性化定制，无需额外的LoRA训练。

适配器功能 ：可作为适配器与其他基础模型以及社区中的LoRA模块协同工作。

🔥 示例与应用：

通过一系列实验，ConsistentID在面部个性化任务处理中达到了最先进的效果（SOTA），证明了其在提高ID一致性方面的能力，并且能够通过选择更细粒度的提示来修改面部特征，为面部个性化中的细粒度研究开辟了新方向。

🏷️ 项目摘要：

本项目在人工智能生成内容（AIGC）领域，通过将面部解析信息和面部身份信息引入扩散模型，实现了面部特征的细粒度ID保持。项目通过重建50000个多模态细粒度ID数据集来训练提出的FacialEncoder模型，支持个性化照片、性别/年龄变化和身份混淆等常见功能。同时，定义了统一的细粒度身份保持服务（FGIS）测量基准，并构建了细粒度ID保持模型基线。

🔧 安装要求：

pip3 install -r requirements.txt

📦️ 数据准备：

数据应按照以下格式准备：

├── data| ├── JSON_all.json| ├── resize_IMG # 图片| ├── all_faceID # 面部身份| └── parsing_mask_IMG # 解析掩码

🚀 训练：

确保工作空间是项目的根目录。

🧪 推理：

确保工作空间是项目的根目录。

⏬ 模型权重：

模型权重托管在 huggingface 上，以实现更快更稳定的演示体验。预训练模型参数现在可以在Google Drive或百度网盘下载。

🚩 待办事项：

发布训练、评估代码和演示！

使用更大的数据训练SDXL模型，以增强美学和更广泛的通用能力。