用于训练销售助手类型业务的私有模型

以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。

部署私有大模型对显卡的要求如下： 显存是显卡选择的第一要素，生成速度优先级相对较低。 SD1.5 版本的底模 6G 显存能勉强跑，8G 显存可较流畅生成图片和炼制 lora，12G 能流畅使用 Dreambooth 微调大模型。 即将到来的 SDXL 对显卡性能要求更高，8G 显存起步，建议 16G 显存，微调大模型可能需要 20G 以上的显存，只有 4090 和 3090 能较好应对。 预算不足时，可选择 30 系显卡或二手显卡。但不建议选择 P40 之类超大显存但速度超级慢的卡。 常见显卡中，4090 生成 512 的图可跑进 1 秒内。 对于一些垂直场景的专有技能模型，极端情况下单机单卡，如消费级显卡 3090、3080、RTX 显卡也可以使用。 综合多方评测结论，4090 是用于 SD 图像生成综合性价比最高的显卡。如果有打算进行 Dream booth 微调大模型，硬盘空间要准备充足，一次训练可能会产生几十 G 的文件。同时，其他电脑配件只要不太差即可，内存建议 32GB 以上。硬盘方面，不建议考虑机械盘，可选择国产固态。

以下是为您提供的私有化部署大模型的相关教材： 张梦飞：【全网最细】从 LLM 大语言模型、知识库到微信机器人的全本地部署教程 一、部署大语言模型 1. 下载并安装 Ollama 点击进入，根据您的电脑系统，下载 Ollama：https://ollama.com/download 下载完成后，双击打开，点击“Install” 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 如果您是 windows 电脑，点击 win+R，输入 cmd，点击回车。 如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 【SD】向未来而生，关于 SDXL 您要知道事儿 SDXL 的大模型分为两个部分： 1. 第一部分，base+refiner 是必须下载的，base 是基础模型，我们使用它进行文生图的操作；refiner 是精炼模型，我们使用它对文生图中生成的模型进行细化，生成细节更丰富的图片。 2. 第二部分，是 SDXL 还有一个配套的 VAE 模型，用于调节图片的画面效果和色彩。 这三个模型，您可以关注我的公众号【白马与少年】，然后回复【SDXL】获取下载链接。 想要在 webUI 中使用 SDXL 的大模型，首先我们要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。接下来，将模型放入对应的文件夹中，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下；vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。完成之后，我们启动 webUI，就可以在模型中看到 SDXL 的模型了。我们正常的使用方法是这样的：先在文生图中使用 base 模型，填写提示词和常规参数，尺寸可以设置为 10241024，进行生成。 基于多模态大模型给现实世界加一本说明书 大模型应用的利弊： 优点： 适应性极好，通过提示词工程，方便「适应各种奇葩需求」。 对算法的要求降低了不少，大部分功能由大模型提供，特别是非结构化信息的处理。 大模型的 API 访问方式简化了边缘设备的要求，无论在 Android、iOS、HarmonyOS或各种嵌入式设备上都能方便适配。「AGI 终将到来，拥抱未来，虽然路途艰难但相信方向是正确的。」 缺点： 大模型的推理时长目前仍是最大的障碍，传统目标检测或人脸识别优化后能达到 100~300ms，而大模型动则需要 10 秒的延时，限制了许多场景。 模型的幻象和错误率仍然较高，导致上述推理时长问题，在多链路的复杂应用中迅速变得不可行。 在大多数生产模式下，仍然需要使用云服务数据中心，提交的画面不可避免地涉及到隐私问题。 商业私有化部署是刚需，当下的开源模型离 GPT4 代差在半年以上，技术人员任重道远的。

以下是关于使用 LLM 分析企业私有化数据及工具推荐的相关内容： RAG 加速器提供了数据抽取服务，这是基于 LLM 的解决方案。在利用 LLM 进行信息抽取时，需要了解构建抽取服务的基本组件和要点。 实现过程中，有两个简单但强大的思路可以提升性能： 1. 确保 LLM 以正确的格式回应。函数调用已成为确保 LLM 严格输出特定格式的新且相对靠谱的方法，可参考结构化输出文档，其中高层次的 LangChain API 展示了不同 LLM 如何调用工具和函数。 2. 使用参考样例。尽管没有样例也能设置抽取问题，但实际操作中，将输入和对应输出的样例纳入其中通常大有裨益，有时这些样例比指示本身更能有效指导 LLM 处理特定情况。在提取用例文档中，可以找到更多细节，助您从 LLMs 中提取更好的性能。

以下是将私有模型部署到微信的几种方法： 1. 张梦飞的方法： 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载，下载完成后双击打开，点击“Install”。安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）：如果是 Windows 电脑，点击 win+R，输入 cmd 点击回车；如果是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行并粘贴回车，等待自动下载完成。 2. 安仔的方法： 配置腾讯云轻量应用服务器。 配置部署 COW 组件：配置 GROUP_NAME_WHITE_LIST 参数，根据要交互的群组进行具体修改，保存编排模板。切换到容器编排界面，基于模板进行 COW 服务部署，等待部署成功。 3. 马上观看看的方法： 部署 dify：选择模型，以智谱 ai 举例，点设置，点从智谱 ai 获取钥匙，进入智谱官网用手机号注册，添加 API keys 并复制，查看免费额度并收藏网址。回到之前页面复制钥匙并保存，随便创建应用，可先选择智谱 glm4 测试，点发布，点击 api 秘钥创建并复制。

以下是关于私有化部署的大模型工具的相关内容： Fooocus 部署： 大模型（base 和 Refiner）默认放在：Fooocus_win64_1110\\Fooocus\\models\\checkpoints LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras Fooocus 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。若单独安装，需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），在 Fooocus_win64_1110\\Fooocus\\modules\\path.py 中用 text 记事本打开，修改路径为秋叶包模型对应的路径，如大模型路径：sdwebui\\models\\Stablediffusion\\SDXL；LoRA 模型路径：sdwebui\\models\\lora。配置好后点击 run.bat 文件启动。 SDXL 本地部署： 大模型分为两个部分：第一部分，base + refiner 必须下载，base 用于文生图操作，refiner 用于对生成的模型细化以生成细节更丰富的图片；第二部分是配套的 VAE 模型，用于调节图片的画面效果和色彩。 可关注公众号【白马与少年】，回复【SDXL】获取模型下载链接。 在 webUI 中使用 SDXL 大模型，需在秋叶启动器中将 webUI 版本升级到 1.5 以上，将模型放入对应文件夹，base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下，vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下，启动 webUI 后可在模型中看到 SDXL 模型。 Langchain + Ollama + RSSHub 实现 RAG 部署： 安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 可通过 ollama 命令下载模型，如 Gemma（Google 推出的轻量级模型）、Mistral（欧洲法国 Mistral AI 团队推出的大模型）、Mixtral（Mistral AI 团队推出的 87B 的 MoE 模型）、Qwen（阿里巴巴推出的大模型）。

以下是关于您提出的“AI 智能数据库查询助手”的相关信息： 能联网检索的 AI： 存在能联网检索的 AI，它们通过连接互联网实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 AI 新产品｜网站精选推荐： AIHelperBot 自动生成 SQL Queries，支持数据库一键链接或导入。当前收费$5 每月，可免费试用 7 天。链接：https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具，基于 GPT3.5，可以根据数据生成图表并回答问题。链接：https://chartgpt.cadlabs.org/ Embedding Store 功能如其名，是一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线。链接：https://www.embedding.store/ AI 在医疗药品零售领域的应用： AI 在医疗药品零售领域有着多方面的应用前景： 药品推荐系统：利用机器学习算法分析用户购买记录、症状描述等数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析历史销售数据、天气、疫情等因素，AI 系统可以预测未来某段时间内的药品需求量，优化药店的库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户可以用手机拍摄药品图像，AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手：基于自然语言处理技术，AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题，减轻人工客服的工作压力。 药店运营分析：AI 可以分析药店的销售、顾客流量、库存等大数据，发现潜在的运营问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉、图像识别等技术，AI 能够自动检测药品的包装、标签、颜色等是否合格，及时发现问题。 药品防伪追溯：利用区块链等技术，AI 可以实现全流程的药品溯源，确保药品供应链的安全性和真实可信度。 总之，AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全，是一个值得重视的发展方向。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

开发简单的 Agent 助手可以参考以下内容： 基于结构化数据来 RAG 实战：以餐饮生活助手为例，它是基于结构化数据 RAG 方法的应用，能从大规模餐饮数据集中检索合适餐厅并提供信息服务。实现餐饮生活助手 RAG 的 Langchain 代码实战需完成以下步骤：定义餐饮数据源，将其转化为 Langchain 可识别和操作的形式并注册；定义 LLM 的代理，通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源并生成答案。 从基础案例入门： 三分钟捏 Bot： 登录控制台：登录扣子控制台（coze.cn），使用手机号或抖音注册/登录。 在我的空间创建 Agent：在扣子主页左上角点击“创建 Bot”，选择空间名称为“个人空间”、Bot 名称为“第一个 Bot”并确认。 编写 Prompt：填写 Prompt，即 Bot 功能说明，第一次可用简短词语作为提示词。 优化 Prompt：点击“优化”进行优化。 设置开场白及其他环节。 发布到多平台&使用。 进阶之路： 15 分钟：查看其他 Bot 获取灵感。 1 小时：找到与兴趣、工作方向结合的 Bot 深入沟通，阅读相关文章。 一周：了解基础组件，寻找不错的扣子借鉴复制，加入 Agent 共学小组，尝试在群里问第一个问题。 一个月：合理安排时间，参与 WaytoAGI Agent 共学计划，创建 Agent 并分享经历心得。 《执笔者》：基于多 Agent 模式的全能写手： 操作步骤： 多 agent 模式切换：在 bot 编排页面点选多 agent 模式，页面自动切换，相比单 agent 多了中间的 agent 连接区。 添加合适节点：有两种方式选择，用已发布的 bot 或创建新的 agent，按需选取并连接在默认总管 agent 后面，无结束节点。 添加合适的 prompt：为每个 agent 填写合适 prompt，外围人设填写主要功能，内部 bot 填写应用场景。 调试与美化：经过以上三步基本搭建完成，后续需调试，调整提示词优化交互。

一个好玩的车载语音助手可以有以下特点和形式： Glowby Basic：能够让用户搭建一个拥有自己声音的 AI 语音助手，您可以通过 🔗https://github.com/glowbom/glowby 了解更多。 Dreamkeeper：在 AI 的帮助下记录并了解梦境。它使用多个 Gen AI 模型，具体流程为：由 ChatGPT 驱动的助手向用户提问以记住用户的梦，并根据回答调整内容；通过 Stable Diffusion 模型提取 ChatGPT 生成的关于用户梦境的摘要描述中的关键词来生成图像；将图像传输至图生视频模型创建基于用户梦境的动画；用 GPT 进行嵌入处理，将用户想要保留的梦保留在一个画廊中。您可以访问 🔗https://thedreamkeeper.co/ 进一步了解。 Andrej Karpathy 开发的 Awesome movies：这是一个电影搜索与推荐平台，搭建该网站共分三步，包括抓取自 1970 年以来的所有 11,768 部电影，从维基百科上抓取每部电影的简介和情节，并使用 OpenAI API（ada002）进行嵌入处理，最后将所有信息整合成一个电影搜索/推荐引擎网站。您可以通过 🔗https://awesomemovies.life/ 查看。

搭建一个本地的 AI 助手并通过学习本地文档进行训练，可参考以下步骤： 1. 设计 AI 机器人： 编写【prompt】提示词，设定 Bot 的身份和目标。 2. 创建知识库： 整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。 创建知识库路径：个人空间 知识库 创建知识库。 知识库文档类型支持本地文档、在线数据、飞书文档、Notion 等，本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧：在内容中加上特殊分割符“”，以便于自动切分数据。分段标识符号选择“自定义”，内容填“”。 同一颜色代表同一个数据段，如果内容有误需要编辑，可以点击具体内容，鼠标右键会看到“编辑”和“删除”按钮，可以编辑或删除。 3. 创建工作流： 告诉 AI 机器人应该按什么流程处理信息。 创建工作流路径：个人空间 工作流 创建工作流。 工作流设计好后，先点击右上角“试运行”，测试工作流无误后，就可以点击发布。 如果任务和逻辑复杂，可以结合左边“节点”工具来实现。比如：可以在工作流中再次调用【大模型】，总结分析知识库内容；可以调用【数据库】存储用户输入的信息；可以调用【代码】来处理复杂逻辑等。 个人建议：工作流不必复杂，能实现目的即可，所以在设计 Bot 前“确定目的”和“确定功能范围”很重要。 另外，您还可以参考以下 10 分钟在网站上增加一个 AI 助手的方法： 1. 搭建示例网站： 点击打开提供的函数计算应用模板，参考下图选择直接部署、并填写前面获取到的百炼应用 ID 以及 APIKEY。 其他表单项保持默认，点击页面左下角的创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 2. 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，然后取消③所在位置的代码注释即可。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果。此时您会发现网站的右下角出现了 AI 助手图标，点击即可唤起 AI 助手。

以下是创建自己的 AI 助手的相关内容： 使用 Coze 免费打造微信 AI 机器人 搭建步骤： 1. 创建好 Bot 后，从“个人空间”入口找到自己的机器人。 2. 设计环节：在 Coze 里称为“编排”。 常用概念和功能： 提示词：设定 Bot 的身份和目标。 插件：通过 API 连接集成各种平台和服务。 工作流：设计复杂的多步骤任务。 触发器：创建定时任务。 记忆库：保留对话细节，支持外部知识库。 变量：保存用户个人信息。 数据库：存储和管理结构化数据。 长期记忆：总结聊天对话内容。 3. 设计步骤（以“AI 前线”Bot 为例）： 确定目的：比如“AI 前线”，目的是成为一个 AI 学习助手，帮助职场专业人士提升在人工智能领域的知识和技能，提供高效的站内信息检索服务。 注：Coze 官方使用指南见链接：https://www.coze.cn/docs/guides/welcome ，遇到疑问可查官方指南。 在网站上增加一个 AI 助手（以百炼为例） 1. 创建大模型问答应用： 进入百炼控制台的，在页面右侧点击新增应用，在对话框选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。也可以输入一些 Prompt 来设置人设以引导大模型更好地应对客户咨询。 在页面右侧提问验证模型效果，点击右上角的发布。 2. 获取调用 API 所需的凭证： 在我的应用>应用列表中查看所有百炼应用 ID，保存到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY，保存到本地用于后续配置。

本地化部署一个 AI 助手可以参考以下几种方式： 1. 在网站上增加 AI 助手： 搭建示例网站： 创建应用：点击打开函数计算应用模板，参考相关选择直接部署、填写百炼应用 ID 以及 APIKEY，其他表单项保持默认，点击创建并部署默认环境，等待项目部署完成（预计耗时 1 分钟）。 访问网站：应用部署完成后，在应用详情的环境信息中找到示例网站的访问域名，点击即可查看，确认示例网站已经部署成功。 为网站增加 AI 助手： 增加 AI 助手相关代码：回到应用详情页，在环境详情的最底部找到函数资源，点击函数名称，进入函数详情页。在代码视图中找到 public/index.html 文件，取消相关位置的代码注释。最后点击部署代码，等待部署完成。 验证网站上的 AI 助手：重新访问示例网站页面以查看最新效果，网站的右下角会出现 AI 助手图标，点击即可唤起 AI 助手。 2. 从 LLM 大语言模型、知识库到微信机器人的全本地部署（以 windows10 系统为例）： 本地 Hook 或 COW 机器人（二选一，建议先选择 COW）： 注意：本教程完成后，程序将在您的电脑本地运行，假如关掉了窗口，进程也就结束。所以，如果想让 AI 持续使用，就必须保持窗口打开和运行，也就是电脑不能关。 安装环境： 点击电脑“系统”，直接输入“cmd”，点击回车，打开命令窗口。 在命令窗口中，粘贴入相关代码，确认是否有 python 和 pip。 如果没有，先进行 python 的安装，可点击下载：。 部署项目：下载 COW 机器人项目，解压缩。 3. 把大模型接入小米音箱（node.js）： 第四步：填写 API 服务： 智普：接口地址：https://open.bigmodel.cn/api/paas/v4，模型：glm4flash。 硅基：选择 AI 服务为自定义，接口地址：https://api.siliconflow.cn/v1。 其他模型的 API 端口请参考官方文档：https://migptgui.com/docs/apply/。 第五步：语音服务：官方说明：https://migptgui.com/docs/faqs/tts。 第六步：启动服务：在最上方可导出编辑的内容，格式为 json 格式，如果改错了可以导入之前保存的配置。单击启动，回到 powshell 界面。每次调整设置都需要重置后重新启动。建议回答完毕后增加结束的提示语，可以提高连续对话的稳定性。官方常见问题文档：https://migptgui.com/docs/faqs/noreply。

跑本地大模型具有以下用处： 1. 支持多种大型语言模型：如通义千问、Llama 2、Mistral 和 Gemma 等，可应用于不同场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，方便在本地环境中启动和运行。 3. 丰富的模型库：提供多种不同参数和大小的模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 自定义模型：能通过简单步骤修改模型的温度参数等以调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 是一个开源框架，旨在简化本地运行大型语言模型的过程。它是轻量级、可扩展的，提供简单 API 创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者和非技术人员，适用于自然语言处理研究和产品开发。安装可通过官方下载地址 https://ollama.com/download ，安装后可通过相关链接判断是否成功。运行时在命令行输入相应命令，选择模型如 llama2 ，Ollama 会自动下载模型到本地。

一般来说，可以跟很多大模型进行对话。以下是一些常见的方式： 1. 对于 Llama3 大模型： 下载大模型主要是为了与之对话，或者称为使用其进行推理。 有两种对话方式，可使用 API 或部署简单界面。面向小白，这里主要介绍部署界面的方式。 例如，在 /root/autodltmp 路径下新建 chatBot.py 文件并输入相关内容，然后启动 Webdemo 服务，按照指示映射端口，在浏览器中打开相应链接即可看到聊天界面。 2. 对于 Llama 大模型： 首先编译，为利用 Metal 的 GPU 可用特定命令编译。 去指定网址下载模型。 llama.cpp 还提供了 WebUI 供用户使用，启动 server 后默认监听 8080 端口，打开浏览器就可以对话。 3. 对于通过 Open WebUI 使用大模型： 访问指定网址，使用邮箱注册账号。 登陆成功后，Open WebUI 一般有聊天对话和 RAG 能力（让模型根据文档内容回答问题）两种使用方式。如果要求不高，已实现通过 Web UI 与本地大模型对话的功能。 需要注意的是，不同大模型的访问速度和回答效果可能存在差异，例如 ChatGPT 访问速度快是因为其服务器配置高，回答效果好是因为训练参数多、数据更优以及训练算法更好。

在 Dify 中安装 reranker 模型，推荐使用中转服务商。Dify 的部署版本中，模型需自行配置，官方和中转的都支持，但中转服务商从性价比角度更优，充点小钱就能用上各种模型，价格通常有较大折扣，20 刀普通用户能用很久，还能在不同地方使用。若没有合适的中转服务商，可使用我自用的，点击原文即可。模型设置方面，在 Dify 右上角点击设置模型供应商，填入中转服务商提供的信息（一般包括 API base 或 Base URL 以及 key）并保存。若保存成功，回到主页面创建一个 Agent 测试，正常则大功告成。比如我填的 API base 是‘https://one.glbai.com’。

以下是一些常见的文生图大模型： 1. SD（StableDiffusion）：如 majicmixRealistic_v6.safetensors 模型，可通过设置相关提示词、参数等生成图像。 2. 快手 Kolors：这是一个基于潜在扩散的大规模文本生成图像模型，在视觉质量、复杂语义准确性以及中英文字符的文本渲染方面有显著优势，支持中文和英文输入。其相关资源包括工作流与模型地址、文档说明、项目地址等。 开源代码：https://github.com/KwaiKolors/Kolors 模型权重：https://huggingface.co/KwaiKolors/Kolors 官方页面：https://kwaikolors.github.io/ 企业页面：https://kolors.kuaishou.com/

以下是关于文生图模型打分的排行榜相关信息： SuperCLUEImage 测评基准首次公布，DALLE 3 以 76.94 分高居榜首，显示其在图像生成质量、多样性和文本一致性方面的卓越表现。百度文心一格和 vivo 的 BlueLMArt 位列国内前列，但与国际领先模型仍有差距。 在包含人工评估、机器评估的全面评测中，Kolors 具有非常有竞争力的表现，达到业界领先水平。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。 人工评测方面，邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估，衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平，其中画面质量显著领先其他模型。具体平均分如下： AdobeFirefly：整体满意度平均分 3.03，画面质量平均分 3.46，图文相关性平均分 3.84。 Stable Diffusion 3：整体满意度平均分 3.26，画面质量平均分 3.5，图文相关性平均分 4.2。 DALLE 3：整体满意度平均分 3.32，画面质量平均分 3.54，图文相关性平均分 4.22。 Midjourneyv5：整体满意度平均分 3.32，画面质量平均分 3.68，图文相关性平均分 4.02。 Playgroundv2.5：整体满意度平均分 3.37，画面质量平均分 3.73，图文相关性平均分 4.04。 Midjourneyv6：整体满意度平均分 3.58，画面质量平均分 3.92，图文相关性平均分 4.18。 Kolors：整体满意度平均分 3.59，画面质量平均分 3.99，图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。

目前主流的 AI 大模型主要有以下几种： 1. OpenAI 系列：包括 GPT3.5 和 GPT4 等。GPT3.5 在 11 月启动了当前的 AI 热潮，GPT4 功能更强大。ChatGPT 也属于 OpenAI 系列。 2. 微软 Bing：使用 GPT4 和 GPT3.5 的混合，通常是 GPT4 家族中首个推出新功能的模型，能创建和查看图像，还能在网页浏览器中阅读文档，并连接到互联网。 3. 谷歌 Bard：由各种基础模型驱动，最近是 PaLM 2 模型。 4. Anthropic Claude 2：其特点是有非常大的上下文窗口，不太可能恶意行事。 此外，大模型的架构也有所不同，如 encoderonly 模型（代表模型是 BERT）、encoderdecoder 模型（代表是 google 的 T5）、decoderonly 模型（适用于自然语言生成任务，如故事写作和博客生成，众多 AI 助手包括 ChatGPT 都属于此类）。大模型的“大”体现在预训练数据量大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练）和参数多（如 OpenAI 在 2020 年发布的 GPT3 就已达到 170B 的参数）。

微调和增量训练是在人工智能领域中用于改进模型性能的两种不同方法，它们有以下区别： 微调： 参数调整范围：分为全量微调（FFT）和参数高效微调（PEFT）。全量微调对全量的模型参数进行全量训练，PEFT 则只对部分模型参数进行训练。 数据使用：在较小的、特定领域的数据集上继续大语言模型（LLM）的训练过程，通过调整模型本身的参数来提高在特定任务中的性能。 效果和优势： 能大幅提高模型在特定任务中的性能，因为可以输入更多示例。 提高模型效率，可通过专门化模型使用更小的模型，且由于只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和降低成本。 但经过微调的模型可能会失去一些通用性。 增量训练：文中未明确提及增量训练的相关内容。 总的来说，微调是一种针对特定任务和数据集对模型参数进行调整的有效方法，而增量训练的具体特点和与微调的详细对比在提供的内容中未充分阐述。

以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

以下是关于微调训练框架选择的相关内容： 在 Stable Diffusion 中： 首先，config 文件夹中有两个配置文件 config_file.toml 和 sample_prompt.toml，分别存储着训练超参数与训练中的验证 prompt。 config_file.toml 文件主要包含了 model_arguments、optimizer_arguments、dataset_arguments、training_arguments、sample_prompt_arguments 以及 saving_arguments 六个维度的参数信息。 v2 和 v_parameterization：两者同时设置为 true 时，开启 Stable Diffusion V2 版本的训练。 pretrained_model_name_or_path：读取本地 Stable Diffusion 预训练模型用于微调训练。 optimizer_type：有七种优化器可以选择。不进行选择时默认启动 AdamW 优化器；显存不太充足时，可选择 AdamW8bit 优化器，但会有轻微性能损失；Lion 优化器是较新的版本，性能优异，但学习率需设置较小，比如为 AdamW 优化器下的 1/3。 learning_rate：单卡推荐设置 2e6，多卡推荐设置 1e7。 除了上述的训练环境参数传入，还需将配置好的 config_file.toml 和 sample_prompt.txt 参数传入训练脚本中。 当设置 1024 分辨率+FP16 精度+xformers 加速时，SD 模型进行 Batch Size=1 的微调训练需要约 17.1G 的显存，进行 Batch Size=4 的微调训练需要约 26.7G 的显存，所以最好配置一个 24G 以上的显卡。 微调训练完成后，模型权重会保存在之前设置的 output_dir 路径下。可以使用 Stable Diffusion WebUI 作为框架加载模型进行 AI 绘画，需将训练好的模型放入/models/Stablediffusion 文件夹下。 在 OpenAI 中： 使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL 开始（ada、babbage、curie 或 davinci），还可使用后缀参数自定义微调模型的名称。 运行命令后会上传文件、创建微调作业并流式传输事件直到作业完成。 每个微调工作都从一个默认为 curie 的基本模型开始，模型的选择会影响性能和成本。 开始微调作业后，可能需要几分钟或几小时才能完成，工作完成后会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。

以下是关于训练以及部署微调模型的相关知识： 创建微调模型： 假设您已准备好训练数据，使用 OpenAI CLI 开始微调工作。需指定从哪个 BASE_MODEL 开始，如 ada、babbage、curie 或 davinci，还可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，则可能需要数小时。每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本，您可访问定价页面了解微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成，若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署，它们在某种程度上是有用的。 大型语言模型的微调： 一旦有了基础模型，就进入计算成本相对较低的微调阶段。在这个阶段，编写标签说明明确助手的表现期望，雇佣人员创建文档，例如收集 100,000 个高质量的理想问答对来微调基础模型，这个过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，由于微调成本较低，可每周或每天进行迭代。例如 Llama2 系列，Meta 发布时包括基础模型和助手模型，基础模型不能直接使用，助手模型可直接用于回答问题。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。