大模型10个客户端

🔗 原文链接： https://mp.weixin.qq.com/s/cvP_TMwr...

 
1️⃣ Cheshire Cat AI
Cheshire Cat AI是一款开源的AI代理微服务框架，用于构建自定义AI代理。它以API优先，可以轻松地为你的应用添加对话层，并通过可定制的REST API进行管理。就像童话故事里的柴郡猫一样，它能根据你的需求，引领你找到正确的方向。
功能特色 ✨
  • API优先: 轻松集成到现有应用中。
  • 灵活的聊天方式: 支持WebSocket进行实时聊天。
  • 内置RAG: 通过Qdrant实现检索增强生成，让你的AI更懂你。
  • 可扩展插件: 通过插件扩展功能，满足个性化需求。
  • 事件回调和工具调用: 提供细粒度控制和功能扩展。
  • 对话表单: 引导用户进行目标导向的对话。
  • 便捷的管理面板: 轻松管理你的AI代理。
  • 广泛的语言模型支持: 通过Langchain支持各种语言模型。
  • 多用户支持: 支持多用户，并可配置权限。
  • Docker化部署: 简化部署流程。
  • 活跃的社区: 在Discord上获取帮助和支持。

支持的部署方式 🛠️#

Cheshire Cat AI 完全docker化，支持使用Docker进行快速部署。只需一条命令即可启动：
docker run --rm -it -p 1865:80 ghcr.io/cheshire-cat-ai/core:latest

2️⃣ Amica#

 
Amica 是一款开源的 3D 角色交互界面，允许用户使用语音合成和语音识别技术与角色进行对话。
 

✨ 主要功能#

  • 语音聊天和视觉交流: Amica 支持自然语音聊天，并可以通过视觉进行交流。
  • 情感引擎: 内置情感引擎，使 Amica 能够表达情感，例如开心、悲伤、惊讶等，使交互更加生动。
  • 高度可定制化: 用户可以自定义角色的形象、声音、以及使用的 AI 技术。
  • VRM 文件导入: 支持导入 VRM 文件，用户可以轻松使用自己喜欢的 3D 模型。
  • 语音调整: 可以调整角色的语音以适应角色的性格和设定。
  • 支持多种 AI 技术: Amica 支持多种语音识别、语音合成和聊天机器人技术，例如 Whisper、Eleven Labs API、Llama.cpp、ChatGPT API 等，用户可以根据自己的需求进行选择。

🚀 部署方式#

Amica 主要支持两种部署方式：
  1. Web 部署: 用户可以通过克隆代码库，安装依赖，然后运行 npm run dev 命令启动本地开发服务器，在浏览器中访问 http://localhost:3000 进行体验。
  2. 桌面应用程序: Amica 使用 Tauri 构建桌面应用程序。用户可以运行 npm run tauri dev 命令进行开发和调试。Windows 用户可以使用提供的 .exe 文件直接安装。

3️⃣ Chatd#

 
Chatd 是一款桌面应用程序，允许你使用本地大型语言模型（如Mistral-7B）与你的文档进行交互。这意味着所有数据都保留在你的计算机上，绝不会发送到云端，确保了完全的隐私和安全。🔒
 

✨ 主要功能#

  • 本地运行，保护隐私： Chatd 的核心优势在于其本地化运行。不同于其他需要联网的“与文档聊天”应用，Chatd 将本地LLM运行器打包在内，无需安装其他任何软件，只需运行可执行文件即可。
  • Ollama集成，简化操作： Chatd 使用 Ollama 运行 LLM。Ollama 是一款 LLM 服务器，提供跨平台 LLM 运行器 API。如果你本地已经运行了 Ollama 实例，Chatd 将自动使用它。否则，Chatd 会为你启动并管理一个 Ollama 服务器。
  • 开箱即用，轻松上手： Chatd 提供了简单易用的界面，让你可以轻松上传文档并开始对话。它还支持多种文档格式，例如 PDF、TXT 等。

🚀 部署方式#

Chatd 支持多种操作系统，包括：
  • MacOS: 下载 ollama-darwin 版本，并将其复制到 chatd/src/service/ollama/runners 目录下。需要开发者证书才能在编译机器之外的MacOS系统上运行。
  • Windows: 下载 ollama-windows-amd64.zip 版本，并将其内容复制到 chatd/src/service/ollama/runners/ 目录下。Windows版本未签名，运行时可能会出现警告。
  • Linux: 下载 ollama-linux-amd64 版本，并将其复制到 chatd/src/service/ollama/runners/ollama-linux 目录下。
 

7️⃣ Chatbox#

 
Chatbox 是一款用户友好的桌面客户端应用，适用于各种 AI 模型/大型语言模型（LLM），如 GPT、Claude、Gemini、Ollama 等。它提供了跨平台支持，可在 Windows、Mac 和 Linux 系统上运行，并提供 iOS 和 Android 移动版本。方便你在各种设备访问和使用。
 

主要功能 ✨#

  • 数据安全与隐私： 数据存储在本地设备，保障数据安全和用户隐私。
  • 便捷安装： 提供免部署安装包，轻松上手，无需复杂配置。
  • 多模型支持： 兼容多种主流 LLM，包括 OpenAI (ChatGPT)、Azure OpenAI、Claude、Google Gemini Pro、Ollama（访问本地 llama2、Mistral、Mixtral、codellama、vicuna、yi 和 solar 等模型）、ChatGLM-6B。
  • 图像生成： 支持 Dall-E-3，轻松创建图像。
  • 增强提示： 提供高级提示功能，优化查询，获得更佳回复。
  • 快捷键操作： 支持快捷键，提高工作效率。
  • 格式支持： 支持 Markdown、Latex 和代码高亮，增强可读性和表达能力。
  • 提示库和消息引用： 保存和组织提示以便重复使用，并可引用消息上下文。
  • 流式回复： 即时回复，快速响应互动。
  • UI 友好： 提供舒适的用户界面和夜间模式。
  • 团队协作： 支持团队协作和 OpenAI API 资源共享。
  • 跨平台和移动端： 支持 Windows、Mac、Linux、iOS 和 Android 平台，随时随地访问。
  • 多语言支持： 支持多种语言，包括英语、简体中文、繁体中文、日语、韩语、法语、德语和俄语。

部署方式 🚀#

Chatbox 提供多种部署方式：
  1. 桌面客户端： 下载安装包直接安装，无需部署，简单易用。Windows | MacOS(Intel) | MacOS(M1/M2) | Linux
  2. 移动客户端： iOS 和 Android 应用商店均可下载。iOS | Android | Android APK
  3. Web 版本： 通过浏览器访问，无需安装，随时随地使用。
  4. 社区版本： 可从 GitHub 获取源码自行构建。

8️⃣ NextChat#

 
NextChat 是一款设计精良的跨平台 ChatGPT 网页用户界面，旨在提供流畅且高效的 AI 交互体验。它支持多种大型语言模型，包括 Claude、GPT4 和 Gemini Pro，并提供 Web、iOS、MacOS、Android、Linux 和 Windows 等多平台支持。
 

主要功能 ✨#

  • 一键免费部署 ：NextChat 支持 Vercel 一键免费部署，快速便捷。
  • 轻量客户端 ：提供体积小巧的跨平台客户端（约 5MB），适用于 Linux、Windows 和 MacOS 系统。
  • 本地部署大型语言模型 ：NextChat 完美兼容用户自托管的大型语言模型，推荐配合 RWKV-Runner 或 LocalAI 使用，支持 llama、gpt4all、rwkv、vicuna、koala 等多种模型。
  • 隐私优先 ：所有数据本地存储于浏览器，保护用户隐私安全。
  • 丰富的 Markdown 支持 ：支持 LaTex、mermaid、代码高亮等多种 Markdown 格式。
  • 响应式设计和 PWA ：NextChat 拥有响应式设计、暗黑模式和 PWA 支持，提供更优秀的用户体验。
  • 快速加载和流式响应 ：首屏加载速度极快（约 100kb），支持流式响应，带来更流畅的交互体验。
  • 提示模板功能 ：支持创建、共享和调试聊天工具，并提供预定义的上下文提示。
  • 聊天记录压缩 ：自动压缩聊天记录，支持长对话并节省 token 消耗。
  • 多语言支持 ：NextChat 支持多种语言，包括英语、简体中文、繁体中文、日语、法语、西班牙语、意大利语、土耳其语、德语、越南语、俄语、捷克语、韩语和印尼语。
  • 插件支持 ：支持网络搜索、计算器等插件，扩展 AI 能力。
  • 实时聊天 ：支持 OpenAI 的 Realtime Chat API，实现实时对话。
  • 多模型支持 : 支持OpenAI, Azure, Google, Anthropic, Baidu, ByteDance, Alibaba, iFlytek, ChatGLM, DeepSeek等模型。

部署方式 🚀#

NextChat 提供多种部署方式，方便用户根据自身需求选择：
  • Docker (推荐) ：使用 Docker 镜像快速部署，简单易用。
  • Vercel ：一键部署，方便快捷。
  • Shell ：通过脚本快速搭建服务。
  • 本地客户端 : 下载安装包直接运行。

9️⃣ Anything-LLM#

 
Anything-LLM 是一款功能强大的全栈 AI 应用，它可以将任何文档、资源或内容转化为上下文，让大型语言模型 (LLM) 在聊天时用作参考。它支持多种 LLM 和向量数据库，允许你根据需求进行选择，同时支持多用户管理和权限控制。无论是在本地运行还是远程托管，Anything-LLM 都能让你轻松构建私密的 ChatGPT，并智能地与你提供的任何文档进行交互。
 

主要功能 ✨#

  • 自定义 AI 代理 🤖: 创建自定义代理来执行特定任务。
  • 多模态支持 🖼️: 支持图像等多模态输入，兼容闭源和开源 LLM。
  • 多用户支持 👥: 支持多用户实例和权限管理（仅限 Docker 版本）。
  • 内置代理 🦾: 在工作区内使用代理浏览网页、运行代码等。
  • 可嵌入聊天小部件 💬: 为你的网站添加自定义聊天小部件（仅限 Docker 版本）。
  • 多种文档类型支持 📖: 支持 PDF、TXT、DOCX 等多种文档格式。
  • 简洁的聊天界面: 提供简单的聊天界面，支持拖放功能和清晰的引用。
  • 云部署就绪 ☁️: 可轻松部署到云端。
  • 广泛的 LLM 支持: 兼容所有流行的闭源和开源 LLM 提供商、嵌入模型、语音模型和向量数据库（详见下文）。
  • 高效的文档管理: 相比其他聊天界面，Anything-LLM 在管理大型文档方面更节省成本和时间。
  • 开发者 API: 提供完整的开发者 API，方便自定义集成。

支持的模型和数据库 ⚙️#

Anything-LLM 支持广泛的 LLM、嵌入模型、语音模型和向量数据库，包括：
大型语言模型 (LLMs): OpenAI、Azure OpenAI、AWS Bedrock、Anthropic、Google Gemini Pro、Hugging Face、Ollama、LM Studio、LocalAi、Together AI、Fireworks AI 等。 嵌入模型: Anything-LLM Native Embedder、OpenAI、Azure OpenAI、Cohere 等。 语音模型: OpenAI、ElevenLabs 等。 向量数据库: LanceDB、Astra DB、Pinecone、Chroma、Weaviate、Qdrant、Milvus、Zilliz 等。

部署方式 🚀#

Anything-LLM 提供多种部署方式，让你可以轻松地在不同环境中运行：
  • Docker 🐳: 提供 Docker 镜像，方便快速部署。
  • 云平台 ☁️: 支持 AWS、GCP、Digital Ocean、Render.com 等主流云平台。
  • 其他平台: 支持 Railway、RepoCloud、Elestio 等平台一键部署。
  • 非 Docker 部署: 也支持在不使用 Docker 的情况下进行生产环境部署。

🔟 RAGFlow#

 
 
RAGFlow 是一个基于深度文档理解的开源 RAG（检索增强生成）引擎。它为各种规模的企业提供了一个简化的 RAG 工作流程，结合了大型语言模型 (LLM)，以提供真实的问答能力，并提供来自各种复杂格式数据的可靠引用。

主要功能 ✨#

  • 高质量输入，高质量输出: 基于深度文档理解的知识提取，可以从具有复杂格式的非结构化数据中提取知识，并能在海量数据中找到所需信息。
  • 基于模板的文档分块: 提供多种模板选项，可以进行智能且可解释的分块。
  • 减少幻觉，提供可靠依据: 文本分块可视化，允许人工干预，并提供关键参考和可追溯的引用，以支持答案的可靠性。
  • 兼容异构数据源: 支持 Word、PPT、Excel、TXT、图像、扫描件、结构化数据、网页等多种数据源。
  • 自动化 RAG 工作流程: 简化的 RAG 流程，适用于个人和大型企业，并可配置 LLM 和嵌入模型。支持多重召回和融合排序，以及用于无缝业务集成的直观 API。

部署方式 🚀#

RAGFlow 支持多种部署方式，以满足不同用户的需求：
1. 使用预构建的 Docker 镜像: 这是最简单的部署方式，可以直接使用预构建的 Docker 镜像快速启动 RAGFlow。提供了不同版本的镜像，包括包含嵌入模型的完整版和不包含嵌入模型的精简版。
2. 从源码构建 Docker 镜像: 您可以根据需求构建自定义的 Docker 镜像，例如包含或不包含嵌入模型。
3. 从源码启动服务以进行开发: 这种方式适用于开发人员，可以从源码启动 RAGFlow 服务进行开发和调试。