RouteLLM帮你决定用哪个模型的的高效路由框架实现成本节约85

并非所有问题都需要GPT-4！

RouteLLM，一个基于人类偏好数据的路由框架，可以将简单查询引导至成本更低的模型。

通过数据增强技术，RouteLLM在MT Bench上实现了超过85%的成本节约，在MMLU上实现了45%的成本节约，同时保持了95%的GPT-4性能。

与商业产品（Martian和Unify AI）在MT Bench上进行比较，表现相当，同时成本降低了40%以上。

我们的模型、数据集和用于服务和评估LLM路由器的代码都是开源的。我们很期待社区在此基础上构建更多创新！

通过Chatbot Arena的公开数据，我们使用数据增强技术训练了四个不同的路由器，大大提高了路由器的性能。

在GPT-4和Mixtral-8x7B之间进行路由，我们在MT Bench上实现了超过85%的成本节约，在MMLU上实现了45%的成本节约，同时达到了GPT-4性能的95%。

我们在MT Bench上与商业产品（Martian和Unify AI）的路由器性能进行比较，结果显示我们的路由器表现强劲，性能相当，同时成本降低了40%以上。

（基准测试详情见Github）

我们的路由器还显示出超出训练模型的良好泛化能力。

我们在不重新训练的情况下，在新模型对（Claude 3 Opus和Llama 3 8B）之间进行路由，并取得了类似的性能，这表明我们的路由器已经学会了在未见过的强/弱模型对之间进行泛化！

我们还构建了一个小型演示。例如，编码问题被路由到GPT-4-1106，而博客写作被路由到Mixtral-8x7b。

链接: 0c83f754b05f4a2208.gradio.live

感谢我们出色的团队及与@anyscalecompute的合作：@isaacongjw, @AmjadMahayri, @Cveinnt, @infwinston, @WthThao, @profjoeyg, @waleedk, Ion Stoica

链接：

博客文章： https://lmsys.org/blog/2024-07-01-routellm/

框架： https://github.com/lm-sys/RouteLLM

模型和数据集： https://huggingface.co/routellm

基准测试详情： https://github.com/lm-sys/RouteLLM/tree/main/benchmarks

论文： https://arxiv.org/abs/2406.18665

链接：