7天14kstars快速构建部署RAG应用的CohereToolkitAI开源项

内容同步自知识星球《AGI Hunt》，加入可查看更多项目与实时AI动向

快速构建部署RAG应用的Cohere Toolkit

2024-04-19 1388 stars 141 forks

Cohere Toolkit

Cohere Toolkit 是由 cohere-ai 创建的一个工具集，旨在帮助用户快速构建和部署基于检索增强生成（Retrieval-Augmented Generation，简称 RAG）模型的应用程序。该工具集支持与 AWS Sagemaker、Azure 或 Cohere 平台的模型进行接口，并且提供了一系列的组件和指南来简化开发流程。

快速开始

部署到 Azure ：一键部署到 Microsoft Azure 平台。

本地构建和运行 ：克隆仓库并按照指南配置模型，支持通过 make setup 生成配置文件或手动创建 .env 文件。

环境变量配置

Cohere 平台 ：需要提供 API 密钥，以及数据库连接字符串。

AWS Sagemaker ：需要配置 AWS 相关的环境变量，如区域、端点和配置文件名。

本地部署

使用 Docker 镜像快速部署或从源代码构建。

工具集中包含的组件

Web 应用 ：使用 Next.js 构建的前端应用程序，内含简单的 SQL 数据库。

后端 ：包含预配置的数据源和检索代码，支持自定义数据源上的 RAG 设置。

部署指南

提供了多种云服务提供商的部署指南，如 AWS ECS 和 Google Cloud Platform。

开发设置

使用 Poetry 管理依赖和检索链配置。

本地数据库设置，使用 Docker 容器中的 PostgreSQL 服务器。

测试工具集

运行测试服务并执行测试。

数据库模型变更

对数据库模型进行更改时，需要创建新的 Alembic 迁移。

故障排除

如果首次运行 make dev 出现多个错误，确保运行了必要的命令。

成分指南

如何添加自定义模型部署，如何将后端作为 API 调用，如何添加自定义聊天界面。

实验特性

Langchain Multihop 功能，允许通过 Langchain 实现多跳工具使用。

路线图

包括在 UI 中设置环境变量、支持多跳工具的引用、为 Python 解释器工具显示图像等未来规划。

贡献

鼓励社区贡献，提供了如何开始贡献的文档链接。

图片

Image 1: the logo for cohere is shown on a white background