dify私有化部署

Dify 是一个开源的大模型应用开发平台。它融合了后端即服务和 LLMOps 的理念，为用户提供直观界面，能快速构建和部署生产级别的生成式 AI 应用。 该平台具有以下特点： 1. 强大的工作流构建工具。 2. 支持广泛的模型集成。 3. 拥有功能丰富的提示词 IDE。 4. 具备全面的 RAG Pipeline，可用于文档处理和检索。 5. 允许用户定义 Agent 智能体。 6. 通过 LLMOps 功能对应用程序的性能进行持续监控和优化。 Dify 提供云服务和本地部署选项，以满足不同用户的需求。其开源特性保证了对数据的完全控制和快速的产品迭代。Dify 的设计理念注重简单性、克制和快速迭代，能为创业团队构建 MVP、企业集成 LLM 增强现有应用能力以及技术爱好者探索 LLM 潜力提供相应支持和工具。 Dify 官方手册：https://docs.dify.ai/v/zhhans 。一般来说，如果是个人研究，推荐单独使用 Dify；如果是企业级落地项目，推荐使用多种框架结合，效果会更好。

要将 COZE 上的工作流以 JSON 格式复制下来给 DIFY 使用，以下是一些相关的步骤和要点： 对于自动总结公众号内容并定时推送到微信的工作流： 循环查询文章是否推送过：包括数据库节点，用于在数据库中依据文章 URL 和用户的唯一标识（如重命名的 server 酱的 sendkey）判断是否推送过。需设置输出项「combined_output」，并注意 Coze 平台中数据库与 bot 绑定的设置方法。 循环体内容中的选择器：判断数据库查询结果是否为空，若为空则拼接文章完整信息。 对于 Coze 复刻吴恩达开源的 AI 翻译项目的工作流： 新建工作流并导入核心流程，分为初始翻译、反思优化、结果输出等部分。 开始节点选择翻译的源语言和目标语言，可设置其他参数。 初步的翻译大模型节点选择大模型和参考相关提示词。 对于用 Coze 免费打造微信 AI 机器人的工作流： 设计包括开始节点和结束节点，开始节点配置输入变量名、描述和变量类型。 知识库配置连接开始节点和知识库节点。 结束节点用于输出最终结果，设置回答格式和输出变量。 进行试运行测试。 请注意，具体的操作和配置可能因实际情况有所差异，需要根据您的具体需求和 COZE 平台的实际情况进行调整。

要将扣子上的工作流复制到 Dify，以下是一些相关信息： RPA 很早就出现在工作流编排领域，目标是使符合标准的业务流程和工作流程自动化。 ComfyUI 采用工作流化操作模式，用户在流程编辑器中配置 pipeline，通过节点和连线完成模型操作和图片生成，其 DSL 配置文件支持导出导入。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处，定义了标准化的 DSL 语言，方便导入导出进行工作流复用。 可以使用 Dify 推出的“工作流”功能将流程设计和提示词落地。延申阅读：Dify——工作流：https://docs.dify.ai/v/zhhans/guides/workflow/introduce 。首先要建立整体工作流程，但流程可能缺少知识检索环节。

以下是关于 Dify 与 Ollama 联动部署的相关信息： Ollama 的特点和功能： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 3. 提供模型库，用户可从中下载不同参数和大小的模型，通过 https://ollama.com/library 查找。 4. 支持自定义模型，可修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 的安装和使用： 1. 访问 https://ollama.com/download/ 下载安装。 2. 安装完后，确保 Ollama 后台服务已启动。在 Mac 上启动 Ollama 应用程序，在 Linux 上通过 ollama serve 启动。可通过 ollama list 确认。 3. 通过 ollama 命令下载模型。 Google Gemma 的本地部署： 1. 进入 ollama.com 下载程序并安装（支持 Windows、Linux 和 macOS）。 2. 在命令提示符中输入 ollama v 检查版本，安装完成后版本应为 0.1.26。 3. 输入 cls 清空屏幕，然后输入 ollama run gemma 运行模型（默认是 2b），首次需要下载。若想用 7b，运行 ollama run gemma:7b 。 4. 完成后可直接对话。2b 反应速度快但互动话题有限，7b 输出内容质量相对高但可能卡顿，对非英文语种反馈不稳定。 5. 常用内部指令：/set 显示设置界面可调整的设置项；/show 显示模型信息；/load <model> 加载已有模型；/bye 退出。 整体框架设计思路： 可先采取 Langchain + Ollama 的技术栈作为 demo 实现，后续也可考虑使用 dify、fastgpt 等更直观易用的 AI 开发平台。本次开发的运行环境是 Intel Mac，其他操作系统也可行。下载模型等可能需要梯子。 Langchain 简介： Langchain 是当前大模型应用开发的主流框架之一，提供一系列工具和接口，使与 LLM 交互变简单。其核心在于“链”概念，是模块化组件系统，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，可灵活组合支持复杂应用逻辑。其生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具，帮助开发者高效管理从原型到生产的各个阶段以优化 LLM 应用。

以下是关于 Dify 的教程信息： 将 Dify 接入企业微信： 在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目并安装依赖。 在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信，可选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信，包括创建知识库、导入文件、创建应用、设置节点、发布更新并访问 API。 把 Agent 应用接入微信，创建应用、设置模型和工具、生成 API 密钥、填写配置文件、启动程序并测试。 更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat Dify 介绍： Dify 是一个开源的大模型应用开发平台，结合后端即服务和 LLMOps 理念，提供直观界面快速构建和部署生产级别的生成式 AI 应用。 具备强大工作流构建工具，支持广泛模型集成，有功能丰富的提示词 IDE 和全面的 RAG Pipeline 用于文档处理和检索。 允许用户定义 Agent 智能体，通过 LLMOps 功能持续监控和优化应用程序性能。 提供云服务和本地部署选项，满足不同需求，开源特性确保对数据完全控制和快速产品迭代。 设计理念注重简单性、克制和快速迭代，为创业团队、企业和技术爱好者提供支持和工具。 Dify 官方手册：https://docs.dify.ai/v/zhhans 一般来说，个人研究推荐单独使用 Dify，企业级落地项目推荐多种框架结合，效果更好。

以下是关于 Dify 的教程信息： 接入企业微信： 在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目并安装依赖。 在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信，可选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信，包括创建知识库、导入知识库文件等操作。 把 Agent 应用接入微信，创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。 更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat Dify 是一个开源的大模型应用开发平台，通过结合后端即服务和 LLMOps 的理念，为用户提供直观界面来快速构建和部署生产级别的生成式 AI 应用。具备强大的工作流构建工具，支持广泛的模型集成，提供功能丰富的提示词 IDE 以及全面的 RAG Pipeline 用于文档处理和检索。允许用户定义 Agent 智能体，并通过 LLMOps 功能对应用程序性能进行持续监控和优化。提供云服务和本地部署选项，满足不同用户需求。其设计理念注重简单性、克制和快速迭代。Dify 官方手册：https://docs.dify.ai/v/zhhans 。一般地，如果是个人研究，推荐单独使用 Dify，如果是企业级落地项目推荐使用多种框架结合，效果更好。

以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。

以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。

以下是关于私有化部署的大模型工具的相关内容： Fooocus 部署： 大模型（base 和 Refiner）默认放在：Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。若单独安装，需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开，修改路径为秋叶包模型对应的路径，如大模型路径：sdwebui\\models\\Stablediffusion\\SDXL；LoRA 模型路径：sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署： 大模型分为两个部分：第一部分，base + refiner 必须下载，base 用于文生图操作，refiner 用于对生成的模型细化以生成细节更丰富的图片；第二部分是配套的 VAE 模型，用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】，回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型，需在秋叶启动器中将 webUI 版本升级到 1.5 以上，将模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下，启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署： 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 可通过 ollama 命令下载模型，如 Gemma（Google 推出的轻量级模型）、Mistral（欧洲法国 Mistral AI 团队推出的大模型）、Mixtral（Mistral AI 团队推出的 87B 的 MoE 模型）、Qwen（阿里巴巴推出的大模型）。

AI助手或智能代理（Agent）的部署可以是私有化部署，也可以是公有化部署，具体取决于应用场景、需求、安全考虑以及成本效益等因素。 1. 私有化部署： 在企业或组织的内部网络中部署，通常用于处理敏感数据或需要高度定制化的服务。 提供更高的安全性和隐私保护，因为系统不公开于互联网。 允许更精细的控制和管理，适合有特定业务流程和需求的企业。 2. 公有化部署： 在云服务提供商的基础设施上部署，通过互联网提供服务。 易于扩展，维护成本较低，因为云服务商负责大部分的维护工作。 适用于面向公众的服务，如在线客服机器人、开放平台的API服务等。 选择哪种部署方式取决于以下因素： 数据敏感性：如果处理的数据非常敏感，私有化部署更有利于保护数据安全。 成本：私有化部署可能需要更多的初始投资，而公有化部署可能带来更高的灵活性和可扩展性。 维护能力：如果企业有足够的技术力量来维护私有化部署的系统，这可能是一个更好的选择。 定制化需求：私有化部署更容易根据企业的特定需求进行定制。 法规遵从性：某些行业或地区的法律法规可能要求企业必须进行私有化部署。 在实际应用中，一些企业可能会选择混合部署模式，即在私有云中部署核心的、敏感的业务组件，同时将一些非核心或较不敏感的组件部署在公有云上，以此来平衡安全性、成本和灵活性。

在微信中私有化部署开源模型通常指的是将开源的人工智能模型部署到微信服务或微信小程序中，以便在微信环境中使用这些模型的功能。以下是一些基本步骤和考虑因素： 1. 选择合适的模型：根据你的需求选择合适的开源模型。例如，如果你需要一个文本处理模型，可能可以选择GPT系列模型。 2. 模型转换：一些模型可能需要转换为适合移动设备的格式，如使用TensorFlow Lite或Core ML等格式。 3. 微信小程序开发：如果你想在微信小程序中使用模型，需要使用微信小程序的开发框架进行开发。小程序提供了云开发功能，可以部署一些后端服务。 4. 服务器部署：对于需要较高计算能力的模型，可能需要在服务器上部署。你可以选择自己的服务器或使用云服务提供商的服务器。 5. API开发：将模型包装成API服务，这样微信小程序可以通过HTTP请求与模型交互。 6. 微信小程序与API集成：在小程序中使用微信提供的API接口与后端模型服务通信。 7. 安全性：确保你的API服务是安全的，使用HTTPS协议，并考虑使用微信的OAuth2.0进行用户认证。 8. 性能优化：根据需要对模型进行优化，以适应移动设备的计算能力限制。 9. 测试：在微信环境中对模型进行充分的测试，确保它在小程序中的性能和准确性。 10. 遵守微信政策：确保你的部署遵守微信的相关政策和法规，尤其是关于用户数据和隐私的部分。 11. 用户界面：为微信小程序设计用户界面，使用户能够方便地与模型交互。 12. 部署上线：完成开发和测试后，将你的小程序提交给微信审核，审核通过后即可上线。 请注意，私有化部署涉及到后端服务的搭建和前端的集成，可能需要一定的技术背景。如果你不熟悉服务器管理和API开发，可能需要寻求专业的开发人员帮助。同时，微信平台对于小程序有特定的技术要求和政策限制，需要在开发过程中严格遵守。

在个人电脑中部署本地 RAG 可以按照以下步骤进行： 1. 加载所需的库和模块： 确保 ollama 服务已开启并下载好模型，ollama 用于在 python 程序中跑大模型。 feedparse 用于解析 RSS 订阅源。 2. 从订阅源获取内容： 函数用于从指定的 RSS 订阅 url 提取内容，如需接收多个 url 可稍作改动。 通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，用于进一步的数据处理或信息提取任务。 3. 为文档内容生成向量： 使用文本向量模型 bgem3，从 hf 下载好模型后放置在指定路径，如 /path/to/bgem3，通过函数利用 FAISS 创建一个高效的向量存储。 4. 创建 Python 虚拟环境： 创建 python 虚拟环境，并安装相关库，版本如下： ollama：0.1.8 langchain：0.1.14 faisscpu：1.8.0（有 gpu 则安装 gpu 版本） gradio：4.25.0 feedparser：6.0.11 sentencetransformers：2.6.1 lxml：5.2.1 5. 导入依赖库。 6. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。 7. 创建网页 UI：通过 gradio 创建网页 UI，并进行评测。 8. 问答测试：对于同样的问题和上下文，基于 Qwen7b、Gemma、Mistral、Mixtral 和 GPT4 分别进行多次测试。 总结： 1. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。 2. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。 3. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。

以下是在腾讯云上部署 Ollama 的详细步骤： 一、下载并安装 Ollama 1. 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 2. 下载完成后，双击打开，点击“Install”。 3. 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 二、下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 1. 如果您是 Windows 电脑，点击 win+R，输入 cmd，点击回车。如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 2. 复制以下命令行，粘贴进入，点击回车。 3. 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 4. 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 三、下载 Open WebUI 1. 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。如果您是 Windows 电脑，点击 win+R，输入 cmd，点击回车。如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 2. 将以下命令输入，等待下载。 3. 出现相关图示，即是下载完成。 4. 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 5. 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 6. 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 7. 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ 四、部署 Google Gemma 1. 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 2. 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26。 3. 输入 cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 4. 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。

以下是一些关于部署本地知识库的开源相关信息： 在“手把手教你本地部署大模型以及搭建个人知识库”中提到： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。RAG 的应用可抽象为 5 个过程，包括文档加载（从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器）、文本分割（把 Documents 切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）。 文中还介绍了如何使用 Ollama 一键部署本地大模型、通过搭建本地的聊天工具了解 ChatGPT 的信息流转、如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。 智谱·AI 开源了以下模型： WebGLM10B：利用百亿参数通用语言模型（GLM）提供高效、经济的网络增强型问题解答系统。它旨在通过将网络搜索和检索功能集成到预训练的语言模型中，改进现实世界的应用部署。 WebGLM2B：与 WebGLM10B 类似。 MathGLM2B：在训练数据充足的情况下，20 亿参数的 MathGLM 模型能够准确地执行多位算术运算，准确率几乎可以达到 100%，其结果显著超越最强大语言模型 GPT4 在相同测试数据上 18.84%的准确率。

以下是关于本地部署大模型搭建个人知识库的详细步骤： 一、Ollama 的安装以及大模型下载 安装完成 Ollama 后，在命令行中运行如下命令即可：。考虑机器配置及不同版本的内存要求，可选择 7b 参数的模型。运行大模型时，Ollama 会自动下载大模型到本地。 二、RAG 是什么 利用大模型的能力搭建知识库属于 RAG 技术的应用。在进行本地知识库的搭建实操前，需对 RAG 有大概了解。大模型的训练数据有截止日期，当需要依靠不在训练集中的数据时，主要通过检索增强生成 RAG（Retrieval Augmented Generation）实现。RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。LangChain 提供 100 多种不同的文档加载器，包括 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 三、通过 Open WebUI 使用大模型 1. 首先访问相关网址，打开页面时使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，即让模型根据文档内容回答问题，这是构建知识库的基础之一。若要求不高，已搭建本地大模型并通过 Web UI 实现对话功能。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。若想更灵活掌握知识库，请继续探索。

以下是关于 Dify 部署的相关信息： 1. 可以通过云服务器来部署 Dify。相关命令在宝塔面板的终端安装，比如在/root/dify/docker 目录下的 dockercompose 文件，可修改并学习其中文件的意思。若 docker compose ps 时发现 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决，要确保前一步成功再进行下一步。 2. 部署完成后，在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后面的:8888），随便填写邮箱密码建立知识库并进行设置。 3. 选择模型时，国内模型有免费额度，以智谱 AI 为例，点设置从其获取钥匙，在智谱官网用手机号注册，添加 API keys 并复制，查看免费额度，回到部署页面复制钥匙保存，创建应用。可先选择智谱 glm4 测试，有回应后点发布，创建并复制 api 秘钥。 4. Dify 是开源的私人定制类 AI 应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟能在本地完成部署。它支持本地部署和云端应用，能应对工作流、智能体和知识库等，但本地部署需自行处理模型接入等问题，构建个人知识库时要考虑数据量、嵌入质量和 API 费用等因素。