每日AI开源高效定制化人脸特征保持LQLoRA高效语言模型微调的低秩量化矩阵分解提示工

本文内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

项目一、ConsistentID：高效定制化人脸特征保持

ConsistentID 34 stars 2 forks 2024-04-15

🌠 项目亮点：

高保真度 ：生成具有极高个人身份特征（ID fidelity）的人像，同时不牺牲多样性和文本可控性。

面部解析与识别 ：将面部解析（FaceParsing）和面部身份（FaceID）信息整合到扩散模型（Diffusion model）中。

快速定制 ：在几秒内实现个性化定制，无需额外的LoRA训练。

适配器功能 ：可作为适配器与其他基础模型以及社区中的LoRA模块协同工作。

🔥 示例与应用：

通过一系列实验，ConsistentID在面部个性化任务处理中达到了最先进的效果（SOTA），证明了其在提高ID一致性方面的能力，并且能够通过选择更细粒度的提示来修改面部特征，为面部个性化中的细粒度研究开辟了新方向。

🏷️ 项目摘要：

本项目在人工智能生成内容（AIGC）领域，通过将面部解析信息和面部身份信息引入扩散模型，实现了面部特征的细粒度ID保持。项目通过重建50000个多模态细粒度ID数据集来训练提出的FacialEncoder模型，支持个性化照片、性别/年龄变化和身份混淆等常见功能。同时，定义了统一的细粒度身份保持服务（FGIS）测量基准，并构建了细粒度ID保持模型基线。

🔧 安装要求：

pip3 install -r requirements.txt

📦️ 数据准备：

数据应按照以下格式准备：

├── data| ├── JSON_all.json| ├── resize_IMG # 图片| ├── all_faceID # 面部身份| └── parsing_mask_IMG # 解析掩码

🚀 训练：

确保工作空间是项目的根目录。

🧪 推理：

确保工作空间是项目的根目录。

⏬ 模型权重：

模型权重托管在 huggingface 上，以实现更快更稳定的演示体验。预训练模型参数现在可以在Google Drive或百度网盘下载。

🚩 待办事项：

发布训练、评估代码和演示！

使用更大的数据训练SDXL模型，以增强美学和更广泛的通用能力。

发布多ID输入版本，以指导ID多样性的改进。

优化训练和推理结构，进一步提高文本跟随和ID解耦能力。

项目二、LQ-LoRA：高效语言模型微调的低秩量化矩阵分解

lq-lora 98 stars 9 forks 2023-11-20

LQ-LoRA 是一种用于高效微调预训练语言模型的方法，它通过低秩加量化矩阵分解技术，显著降低了模型的内存占用，同时保持了微调任务的性能。该技术由 HanGuo97 创建，并在 GitHub 上获得了 98 个 star，显示出其在业界的受欢迎程度和实用性。

项目亮点

低秩量化矩阵分解 ：LQ-LoRA 通过将预训练矩阵分解为高精确度的低秩部分和内存高效的量化部分，实现了内存效率的提升。

动态配置量化参数 ：通过整数线性规划，LQ-LoRA 能够为每个矩阵动态配置量化参数，如位宽和块大小，以适应整体目标内存预算。

数据感知算法 ：LQ-LoRA 还探索了一种数据感知版本的算法，该算法在矩阵分解过程中使用 Fisher 信息矩阵的近似值来加权重构目标。

安装与使用

LQ-LoRA 的安装过程包括克隆仓库、创建 Docker 镜像（可选）以及安装依赖项。使用时，用户需要下载量化数据、应用量化，并保存或加载量化模型。

应用场景

LQ-LoRA 适用于需要在资源受限的设备上部署大型语言模型的场景，尤其是在 GPU 内存有限的情况下进行模型微调和部署。

社区贡献

该项目的代码复用了包括 QLoRA 和 OmniQuant 在内的多个库的组件，展示了开源社区的协作精神和资源共享。

项目状态

目前，LQ-LoRA 项目仍在积极开发中，作者计划上传更多的 artifacts 并更新（去）量化实现的代码版本以使用最新版本。

学术支持

LQ-LoRA 的研究论文已在 ICLR 2024 发表，提供了该技术的详细理论依据和实验结果。

致谢

项目作者对提供支持的个人和团队表示感谢，包括 Hyundai 42dot 研究团队的成员以及 Microsoft PhD Fellowship 等赞助商。

项目三、探索MS-DOS的起源与历史

MS-DOS 19572 stars 2812 forks 2018-06-25

MS-DOS源代码项目概览

MS-DOS Logo

项目简介

MS-DOS，一个标志性的早期个人电脑操作系统，其v1.25、v2.0和v4.0的原始源代码和编译二进制文件现可通过GitHub上的microsoft/MS-DOS项目进行访问。该项目由IBM和Microsoft共同开发，为对早期PC操作系统感兴趣的开发者和历史爱好者提供了宝贵的资源。

许可协议

所有存储在此仓库中的文件均根据存储在仓库根目录的LICENSE文件以MIT License发布。

历史参考价值

此仓库中的源文件仅供历史参考，并将保持静态，不鼓励对源文件进行修改的Pull Requests。但鼓励用户fork此仓库进行实验和探索。此外，该项目采纳了Microsoft Open Source Code of Conduct，有关详情请见Code of Conduct FAQ。

商标与品牌指南

该项目可能包含项目、产品或服务的商标或徽标。使用Microsoft的商标或徽标必须遵循Microsoft's Trademark & Brand Guidelines。在修改版本的项目中使用Microsoft商标或徽标不得引起混淆或暗示Microsoft赞助。任何第三方商标或徽标的使用均需遵守第三方的政策。

项目四、Brexhq的提示工程指南

prompt-engineering 7933 stars 351 forks 2023-04-21

Brex 的提示工程指南是为了内部目的而创建的。它基于研究和创建大型语言模型（LLM）提示的生产用例的经验教训。涵盖了LLM的历史，以及与大型语言模型（如OpenAI的GPT-4）合作和构建程序化系统的策略、指导方针和安全建议。

目录

大型语言模型（LLM）是什么？

提示是什么？

为什么我们需要提示工程？

策略

嵌入数据

简单列表

Markdown表格

JSON

自由文本

嵌套数据

链式思考

微调

附加资源

大型语言模型（LLM）

大型语言模型是一种预测引擎，它接受一系列单词，并尝试预测最有可能跟在该序列之后的序列。通过为可能的下一个序列分配概率，然后从这些序列中进行抽样来选择一个。这个过程重复进行，直到满足某些停止条件。

提示是什么？

提示，有时称为上下文，是在模型开始生成输出之前提供的文本。它引导模型探索它所学习的特定领域，以便输出与您的目标相关。

为什么我们需要提示工程？

提示工程是编写提示以使语言模型执行我们希望它执行的任务的艺术——就像软件工程是编写源代码以使计算机执行我们希望它们执行的任务的艺术一样。

策略

本节包含特定需求或问题的示例和策略。为了成功的提示工程，您需要结合本文档中列举的所有策略的某个子集。不要害怕混合和匹配事物——或发明自己的方法。

嵌入数据

在隐藏上下文中，您经常会想要嵌入各种数据。具体策略将根据您要嵌入的数据类型和数量而变化。

简单列表

对于一次性对象，使用普通的无序列表列出字段+值效果很好：

Markdown表格

Markdown表格适用于您有许多相同类型的项目要枚举的场景。

JSON

当您有许多列，模型难以处理，或者每个项目都有一些自定义属性，并且拥有几十列的空数据没有意义时，JSON是模型处理得非常好的另一种格式。

自由文本

偶尔，您可能想要在提示中包含自由文本，并且您希望将其与提示的其余部分区分开来——例如嵌入文档供机器人参考。在这些情况下，使用三重反引号包围文档效果很好。

嵌套数据

并非所有数据都是平面和线性的。有时您需要嵌入嵌套或与其他数据有关系的数据。在这些情况下，依赖于JSON。

链式思考

有时，您会尝试让模型输出可靠的结果，但是无论您做什么，它就是无法工作。答案可能会让您惊讶：要求机器人显示其工作过程。

微调

有时，无论您对模型使用什么技巧，它就是不会做您想让它做的事情。在这些情况下，您可以 有时 退回到微调。这通常应该是最后的选择。

附加资源

OpenAI Cookbook

Prompt Hacking

Dair.ai Prompt Engineering Guide

项目五、GitHub - 简易实现 A. Karpathy 的 Let's build GPT，使用 MLX 库

mlx-gpt 2 stars 0 forks 2024-03-14

简介

mlx-gpt 项目是 DiogoNeves 创建的一个学习项目，用于利用 Apple 的 MLX 库实现 GPT 语言模型，参考 Andrej Karpathy 的 Let's build GPT 视频。

特点

项目致力于保持与原始材料的接近度，易于跟随

包含 Bigram 和 GPT 模型的训练和运行指南

提供了实验性笔记本供参考

截图

项目演示截图

Bigram 模型验证结果比较图表

GPT 模型操作即将推出

安装&使用

环境设置和依赖安装详细指南

Bigram 模型训练和运行说明

GPT 模型即将推出

依赖

Apple's MLX 库

requests 库

Tiny Shakespeare 数据集

(可选) jupyter 笔记本

许可证

采用 MIT 许可证

项目地址

https://github.com/JackAILab/ConsistentID