10亿个虚拟人用人格驱动LLM的数据合成

最新一篇论文中提出了一个大胆的想法：利用“人格中心”数据合成方法，通过一个包含10亿个不同“人格”的数据库——“人格中心”，创建可扩展且多样化的合成数据，用于LLM的训练和评估。

“人格中心”数据库包含10亿多个“人格”，这些“人格”通过“文本到人格”和“人格到人格”两种方法从网络数据中提取。

“文本到人格” ：利用大量网络文本数据生成多样化的“人格”。通过提示LLM，让它从文本数据中推断出可能阅读、写作、喜欢或不喜欢该文本的特定“人格”。例如，一篇关于神经网络架构的文章可能会生成一个“专注于神经网络架构和注意力机制的机器学习研究员”的“人格”。

“人格到人格” ：通过人际关系推断“人格”。

该方法将“人格”整合到数据合成提示中，引导LLM以特定视角创建多样化的合成数据。 这种方法与零样本、少样本和“人格增强”少样本提示方法兼容。

“人格中心”可以用于创建各种任务的多样化合成数据：

数学问题： 在107万个合成数学问题上微调的7B模型在MATH基准测试中取得了64.9%的准确率，与GPT-4-turbo-preview的性能相匹配。

逻辑推理问题： 包括测试复杂汉语结构的“如芝葩”式问题。

指令： 模拟用户对LLM帮助的不同请求。

知识丰富文本： 从不同视角创建信息丰富的文本。

游戏NPC： 为虚拟世界生成不同的角色。

工具开发： 预期并预先构建用户需求的工具。

该方法有可能通过利用模型中编码的不同视角，访问LLM的全部记忆。 这种分布式载体压缩的世界知识可以解压缩回合成数据中。

论文链接： https://arxiv.org/abs/2406.20094 [1]