如何部署本地的智能数据库

向量数据库和传统数据库（可视为您所提到的“矢量数据库”）主要有以下区别： 1. 查找方式： 传统数据库需要精确的关键词或类别进行查找，如同在普通图书馆中需知道书的具体位置或分类。 向量数据库可以通过自然语言描述所需内容，系统能理解意图并找到最相关的内容。 2. 组织方式： 传统数据库中信息被严格分类和组织，类似图书馆里的书架和编号系统。 向量数据库中信息根据内在特征和相似性自然聚集，如同魔法图书馆里书籍自动根据内容相似性浮动聚集。 3. 灵活性： 传统数据库若要更换组织方式，可能需重新安排整个架构。 向量数据库中，新加入的数据会自动找到合适位置，无需重新组织整个系统。 4. 发现新内容： 传统数据库较难偶然发现相关但之前未知的内容。 向量数据库在搜索时可能发现许多相关但之前不知道的内容，因其理解内容本质而非仅依赖标签。 此外，向量数据库以多维向量形式保存信息，代表某些特征或质量，能根据数据的向量接近度或相似度快速、精确地定位和检索数据，从而实现根据语义或上下文相关性进行搜索。而传统数据库通常以表格形式存储简单数据，搜索依赖精确匹配或设定标准。 为了在人工智能和机器学习应用中利用非结构化数据（如文本、图像和音频等），需要使用嵌入技术将其转换为数字表示，嵌入过程通常通过特殊神经网络实现，使计算机能更有效地辨别数据中的模式和关系。

在 Coze 工作流中，数据库的应用如下： 工作流由多个节点构成，节点是基本单元。Coze 平台支持的节点类型包括数据库节点。 数据库节点的输入：用户可以定义多个输入参数。 数据库节点的输出：如果数据库是查询作用，则输出会包含查询出来的内容。通过 SQL 语句告诉数据库要执行的动作，这里的 SQL 语句可以让 AI 自动生成并进行适当改动。 注意事项：Coze 平台的逻辑是数据库与 bot 绑定，使用数据库功能时，需要在 bot 中设置相同名称和数据结构的数据库进行绑定。 测试工作流：编辑完成的工作流无法直接提交，需要进行测试。点击右上角的“test run”，设定测试参数，查看测试结果，完成后发布。 相关参考文档和示例： 海外参考文档：https://www.coze.com/docs/zh_cn/use_workflow.html 国内参考文档：https://www.coze.cn/docs/guides/use_workflow 国内版本示例： 搜索新闻：https://www.coze.cn/docs/guides/workflow_search_news 使用 LLM 处理问题：https://www.coze.cn/docs/guides/workflow_use_llm 生成随机数：https://www.coze.cn/docs/guides/workflow_use_code 搜索并获取第一个链接的内容：https://www.coze.cn/docs/guides/workflow_get_content 识别用户意图：https://www.coze.cn/docs/guides/workflow_user_intent 在【拔刀刘】自动总结公众号内容，定时推送到微信的案例中，循环体内部的数据库节点用来在数据库中查询是否已经推送过该篇文章，输入项为上一步中的 url 和开始节点的 key（重命名为 suid）。查询数据库需要文章 url 和用户的 suid 两个值来判断这名用户的这篇文章是否推送过。记得设置输出项“combined_output”。同时，Coze 平台中使用数据库功能需要在 bot 中设置相同名称和数据结构的数据库进行绑定，具体设置方法参见“相关资源”。

以下是关于您提出的“AI 智能数据库查询助手”的相关信息： 能联网检索的 AI： 存在能联网检索的 AI，它们通过连接互联网实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 AI 新产品｜网站精选推荐： AIHelperBot 自动生成 SQL Queries，支持数据库一键链接或导入。当前收费$5 每月，可免费试用 7 天。链接：https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具，基于 GPT3.5，可以根据数据生成图表并回答问题。链接：https://chartgpt.cadlabs.org/ Embedding Store 功能如其名，是一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线。链接：https://www.embedding.store/ AI 在医疗药品零售领域的应用： AI 在医疗药品零售领域有着多方面的应用前景： 药品推荐系统：利用机器学习算法分析用户购买记录、症状描述等数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析历史销售数据、天气、疫情等因素，AI 系统可以预测未来某段时间内的药品需求量，优化药店的库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户可以用手机拍摄药品图像，AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手：基于自然语言处理技术，AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题，减轻人工客服的工作压力。 药店运营分析：AI 可以分析药店的销售、顾客流量、库存等大数据，发现潜在的运营问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉、图像识别等技术，AI 能够自动检测药品的包装、标签、颜色等是否合格，及时发现问题。 药品防伪追溯：利用区块链等技术，AI 可以实现全流程的药品溯源，确保药品供应链的安全性和真实可信度。 总之，AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全，是一个值得重视的发展方向。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

关于您上传数据到 Coze 数据库的数据安全保障问题，以下是相关信息： 合规说明方面： 不存在产出违法违规内容，包括色情暴力、政治敏感和违法犯罪等。 不存在爬取行为，遵循 robot.txt 爬虫协议，未使用匿名代理。 不存在版权争议问题，未爬取强版权资源、付费内容等。 不存在跨境数据传输，未使用海外 API 和海外模型。 有安全合规声明，作者声明作品没有侵权，作品安全可用且公开可接受。 Coze 数据库的功能特点： 知识库功能不仅支持上传和存储外部知识内容，还提供多样化的检索能力，能解决大模型可能出现的幻觉问题和专业领域知识的不足，显著提升回复准确性。支持从多种数据源上传文本和表格数据，自动将知识内容切分成多个片段进行存储，并允许用户自定义内容分片规则，提供多种检索方式，适应各种使用场景。 数据库具备记忆能力，可以存储和检索用户的交互历史，以提供更加个性化的服务。支持实时更新，确保信息最新。能存储用户的交互历史，包括提问、回答和反馈，用于理解用户需求和优化对话流程，可进行个性化服务和错误纠正与学习。 综上所述，从目前的信息来看，您上传给 Coze 数据库的数据在一定程度上是有安全保障的。但具体情况还需参考 Coze 数据库的最新政策和规定。

大模型接入企业数据库的相关内容如下： 原理介绍： 从文档处理角度来看，实现流程包括配置要求。 配置要求： ChatGLM6B 模型硬件需求： 模型文件下载至本地需要 15GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 13GB 和 14GB。 INT8：分别为 8GB 和 9GB。 INT4：分别为 6GB 和 7GB。 MOSS 模型硬件需求： 模型文件下载至本地需要 70GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 68GB 和 。 INT8：分别为 20GB 和 。 Embedding 模型硬件需求：默认选用的 Embedding 模型约占用显存 3GB，也可修改为在 CPU 中运行。 项目启动： Web 启动：运行 web.py，若显存不足则调整 configs/model_config.py 文件中 LLM_MODEL 参数更换模型，若连接无法连接修改 web.py 文件末尾 lauch 中 0.0.0.0 为 127.0.0.1，点击 URL 进入 UI 界面。 API 模式启动。 命令行模式启动。 上传知识库： 左侧知识库问答中选择新建知识库，可传输 txt、pdf 等。可以调整 prompt，匹配不同的知识库，让 LLM 扮演不同的角色。例如上传公司财报，充当财务分析师；上传客服聊天记录，充当智能客服；上传经典 Case，充当律师助手；上传医院百科全书，充当在线问诊医生等等，MOSS 同理。 使用数据表： 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。 1. 单击页面顶部的工作流页签，然后单击创建工作流。 2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。 1. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 2. 根据以下信息配置数据库节点。 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 注意：不支持 Select语法，不支持多表 Join 操作，最多返回 100 行数据。

向量数据库是大语言模型从工具走向生产力实践中热门的 RAG 方式所必备的基础设施。 RAG 能够从海量文本数据中检索相关信息并生成高质量文本输出，而向量数据库在其中发挥着重要作用。 目前市面上的向量数据库众多，操作方式无统一标准。本文将基于 LangChain 提供的 VectorStore 类中的统一操作方法，以 chroma 向量数据库作为示例，从最为基础的 CRUD 入手介绍其使用方法。 向量数据库的工作原理如下： 如果是文本，会通过模型转换成向量对象，对象存入数据库中再去使用。传统数据库以表格形式存储简单数据，向量数据库处理的是复杂的向量数据，并使用独特方法进行搜索。常规数据库搜索精确匹配数据，向量数据库则使用特定相似性度量寻找最接近匹配，使用特殊的近似近邻（ANN）搜索技术，包括散列搜索和基于图的搜索等方法。 要理解向量数据库的工作原理及其与传统关系数据库（如 SQL）的不同，必须先理解嵌入的概念。非结构化数据（如文本、图像和音频）缺乏预定义格式，给传统数据库带来挑战。为在人工智能和机器学习应用中利用这些数据，需使用嵌入技术将其转换为数字表示，嵌入就像给每个项目赋予独特代码，以捕捉其含义或本质。

以下是关于智能体搭建的相关知识： 智谱 BigModel 共学营第二期：把你的微信变成超级 AI 助理 1. 注册智谱 Tokens 智谱 AI 开放平台：https://bigmodel.cn/ 新注册用户，注册即送 2000 万 Tokens 充值/购买多种模型的低价福利资源包 直接充值现金，所有模型可适用：https://open.bigmodel.cn/finance/pay 语言资源包：免费 GLM4Flash 语言模型/ 多模态资源包： 多模态资源包： 所有资源包购买地址：https://bigmodel.cn/finance/resourcepack 共学营报名赠送资源包 2. 先去【财务台】左侧的【资源包管理】看看自己的资源包，本次项目会使用到的有 GLM4、GLM4VPlus、CogVideoX、CogView3Plus 模型。 3. 进入智能体中心我的智能体，开始创建智能体。此流程会手把手进行编辑，完成一个简单智能体的搭建，此智能体完成以下功能： 小众打卡地——优秀创作者奖 1. 智能体基本信息 名称：小众打卡地 链接：https://tbox.alipay.com/pro/share/202412APCyNn00194489?platform=WebService 2. 基本功能介绍：小众打卡地推荐，输入一个旅游目的地地点城市，给您推荐 3 个小众打卡地小红书类文案，适合分享或旅游参考，还有精美的旅行地配图。 3. 智能体核心价值 为用户发掘非大众化的特色景点，避开人流 提供个性化的旅行建议，并且有目的地的图片参考 帮助用户快速获取高质量的旅行参考信息 提供小红书文案，也适合发小红书 4. 智能体效果 输入一个目的地后，等待一小段时间，即可获得带图文案。从手机支付宝小程序更加方便，可以一键复制后获取。 5. 智能体搭建思路重点 录入了小红书的相关文案参考知识库 通过文本模型组成搜索词进行搜索，从搜索到的所有网页链接中，通过代码节点提取相关的 url 用代码节点滤除需要安全认证的网站，包括挑选一些非周边城市攻略推荐，并且尽量检查“小众”或“冷门” 通过 url 网页正文后，提取相关的小众地点输出，同时通过代码进行打卡点的字符串输出用于后续节点运用 根据需要搜索的小众旅行地进行图片搜索。此处代码节点随机提取一条图片的 url，注意此处在调试过程中发现有些图片搜索后的 url 打卡图片会失效，代码节点将部分失效的网站进行了过滤 最后的文案输出，非常适合小红书文案和旅行发布参考 智能体在品牌卖点提炼中的应用 1. 确定智能体的结构 按照市场营销的逻辑组织智能体的结构。 2. 搭建完整智能体 以品牌卖点提炼六步法为核心的流程，将其他的分析助手加入工作流中，包括： 品牌卖点定义与分类助手 品牌卖点提炼六步法 STP 市场分析助手 用户画像分析助手 触点收集助手 同时还包括一些结构中没有体现，但是在后续的品牌卖点应用过程中有效的分析工具： 用户需求分析的 KANO 助手 营销六层转化漏斗分析 超级转化率六要素

智能制造领域中，人工智能的应用主要包括以下方面： 1. 工业知识表达、工业知识图谱构建、工业场景大模型等标准研制，规范人工智能在工业领域的融合应用，围绕智能工厂、智慧供应链建设中的智能化技术要求。 2. 产品设计和开发：利用 AI 生成工具如 Adobe Firefly、Midjourney 等，根据文字描述快速生成产品的 3D 模型、渲染图、插图等设计元素，提高产品设计效率。 3. 工艺规划和优化：结合大语言模型的自然语言处理能力，自动生成制造工艺流程、设备选型、质量控制等方案，优化生产过程。 4. 设备维护和故障诊断：利用 AI 模型分析设备运行数据，预测设备故障，并自动生成维修建议，提高设备可靠性。 5. 供应链管理：AI 根据历史数据和市场变化，自动生成采购计划、库存预测、物流优化等内容，提高供应链管理效率。 6. 客户服务：基于对话模型的 AI 客服机器人，自动生成个性化的客户回复，提升客户体验。 总的来说，人工智能在智能制造领域的应用广泛，从产品设计到生产管理再到客户服务，都能发挥重要作用，提高企业的效率和竞争力。

AI 智能体对个人工作能力培养有以下启示： 1. 工作方法方面： 彻底让自己变成一个“懒人”。 能动嘴的不要动手，用嘴说出想做的事远比打字快。 能动手的尽量用 AI，用 AI 远比苦哈哈手敲快。 把手上的工作单元切割开，建设属于自己的智能体。 根据结果反馈不断调整自己的智能体。 定期审视自己的工作流程，看哪个部分可以更多地用上 AI。 2. 个人素质方面： 技术层面之外，个人能力的提升是核心，尤其是学习能力和创造能力。 学习能力是通过持续阅读和实践来吸收、消化和积累知识的能力，是构建个人知识体系的基础和个人成长的动力源泉。 为保持竞争力，要培养并维持旺盛的好奇心和持续学习的习惯，广泛阅读，深入研究新领域，不断探索前沿知识，全方位、多角度学习和实践，以积累知识、提高适应能力和创新思维。 3. 技术应用方面： 迅速掌握生成式人工智能的基本概念和潜在影响，重点理解其如何革新工作方式和重塑行业格局。 深入了解市场上现有的人工智能产品和工具，并积极应用到实际工作中。 学习提示词技术，编写清晰、精确的指令，引导 AI 工具产生所需结果。 探索构建智能体，让其革新工作方式，多个虚拟伙伴和助手协同工作，提高工作效率和创新能力。 需要注意的是，AI 技术的出现能把大部分人的能力提升到及格线以上，人与人之间最大的差距在于认知差距。对创建 AI 智能体感兴趣的小伙伴，可前往 WaytoAGI 开源免费社区了解（里面有保姆级教程）。

AI 智能体对个人工作及职业规划具有多方面的启示： 在职业规划方面： 1. 职业趋势分析：基于最新市场数据和行业报告，协助分析自身专业或职业的前景，了解未来趋势。 2. 技能评估与提升：通过测评工具评估当前职业兴趣，提供针对性学习资源和课程建议，提升专业技能。 3. 职业匹配与推荐：根据兴趣、技能和职业目标，推荐适合的职业路径和职位，提供个性化建议。 4. 职业发展规划：结合个人情况和市场需求，制定详细的短、中、长期职业发展计划，帮助在 AI 时代找到职业定位。 在个人工作方面： 1. 掌握基本概念和潜在影响：对于生成式人工智能，应迅速了解其基本概念和潜在影响，无需深入技术细节，重点在于理解其对工作方式和行业格局的革新。 2. 应用现有产品和工具：深入了解市场上的人工智能产品和工具，并积极应用于实际工作，通过实践学习其优势和局限性。 3. 学习提示词技术：掌握提示词技术，编写清晰、精确的指令，引导 AI 工具产生所需结果，提升工作效率和产出质量。 4. 探索构建智能体：构建智能体，赋予其特定角色和任务，协同工作，提高工作效率和创新能力。 总之，AI 智能体为个人提供了提效的可能，如同拥有数字员工，在职业规划和工作中都能发挥重要作用。

AI 智能体简单来说就是 AI 机器人小助手。参照移动互联网，类似 APP 应用的概念。它拥有各项能力，可以帮助人们做特定的事情。目前有不少大厂推出自己的 AI 智能体平台，如字节的扣子、阿里的魔搭社区等。体验过 GPT 或文心一言大模型的小伙伴应该知道，现在基本能用自然语言来编程，降低了编程门槛。但之前使用 GPT 或文心一言大模型时会出现胡编乱造、时效性差、无法满足个性化需求等问题，而 AI 智能体的出现正是解决这些问题的绝佳方式。AI 智能体包含了自己的知识库、工作流，还可以调用外部工具，再结合大模型的自然语言理解能力，就可以完成比较复杂的工作。所以 AI 智能体的出现就是结合自己的业务场景，针对自己的需求，捏出自己的 AI 智能体来解决自己的事情。

要将智能硬件接入豆包，您可以参考以下步骤和相关信息： 1. 了解智能体的交互能力：包括大模型本身的交互能力、多 Agent 的灵活性以及 workflow 的妙用，通过引导用户输入相关信息，便于大模型理解和分析，同时注意上下文说明。 2. 构建智能体的知识体量：利用豆包大模型本身的行业数据和语料库，创建知识库（结构化数据），包括步骤一至步骤五的处理过程。您可以参考。同时，了解参赛用知识库，包括大模型 RAG 检索、大模型的选择和参数设定以及新模型的调用方法，可参考https://console.volcengine.com/ark/region:ark+cnbeijing/model?projectName=undefined&vendor=Bytedance&view=LIST_VIEW 。 3. 关注智能体的记忆能力：涉及变量和数据库等方面的信息记录。 在具体的应用场景中，如火山引擎 AI 创造者大赛中，不同赛道有不同的要求和核心目标。例如，在汽车品牌相关的赛道中： AI 座舱赛道：利用豆包大模型、扣子专业版以及吉利原子化能力，探索 AI 在智能座舱中的多样化应用，通过智能座舱内的智能体开发，满足车主定制化的需求。 AI 营销赛道：利用豆包大模型和扣子专业版，开发出能高效投放广告、精准用户画像、提升销售能力、优化线索转化智能体方案，助力汽车行业实现高效营销。 AI 售后赛道：利用豆包大模型和扣子专业版，提供创新且实际可行的智能体应用，提升汽车售后服务效率与用户体验，优化汽车售后服务体系，助力汽车行业智能化升级。 此外，在飞书多维表格 AI 共学中，也有基于豆包大模型的能力升级与产品化探索，包括大模型在综合能力、推理能力、指令遵循、代码数学专业知识和图片理解等方面的升级，以及将其能力接入多维表格的字段捷径等尝试。在使用相关功能前，可能需要注册豆包大模型账号并进行关联。

以下是关于本地部署大模型的详细步骤： 1. 部署大语言模型： 下载并安装 Ollama： 根据电脑系统，从 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将 http://127.0.0.1:11434/ 复制进浏览器，若出现相关字样则表示安装完成。 下载 qwen2:0.5b 模型（若设备充足可下载更大模型）： Windows 电脑：点击 win+R，输入 cmd 点击回车。 Mac 电脑：按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，选择“终端”应用程序。 复制相关命令行，粘贴进入并回车，等待自动下载完成。 2. ComfyUI ollama 本地大模型部署： 先下载 ollama 安装，安装完成后可在电脑桌面右下角或隐藏图标中找到。 下载对应的模型，选择模型并复制对应的命令。 打开命令行界面，输入对应的模型获取命令，等待下载完成。 模型下载后会保存到 D:\\ollama\\blobs 。 进行 docker 安装，安装会下载一些文件，安装后更改目录，不要放在 C 盘。 进行 Open webui 安装，输入相关命令，安装成功后回到 docker，点击会自动打开网页，第一次使用需注册账号，选择下载好的模型即可开始使用。 3. 错误解决： 端口占用问题，在 Windows 上可能出现，运行相关两条命令可解决。 4. 相关链接： comfyuiollama：https://github.com/stavsap/comfyuiollama?tab=readmeovfile Ollama：https://ollama.com/ docker：https://www.docker.com/ Open webui：https://openwebui.com/ 此外，还有一篇思路来源于视频号博主黄益贺的相关内容，作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。文中提到读完本文可以学习到如何使用 Ollama 一键部署本地大模型、通过搭建本地聊天工具了解 ChatGPT 信息流转、RAG 的概念及核心技术、通过 AnythingLLM 软件搭建完全本地化的数据库等内容。虽然大多数人不需要自己部署大模型，但期望通过本文的指导能够折腾一遍，从而做到知其然且知其所以然。

以下是一些能够本地部署的 AI 视频生成模型： 1. Stable Video Diffusion 模型： 准备工作：手动下载相关内容，分别放到指定路径。 模型选择：点击下拉箭头选择不同模型版本，勾选 load Model。 视频创作：支持图生视频，图片来源可选择 Midjourney、Stable Diffusion 等生成的图片，上传到 SVD 进行视频生成，可调节左侧参数控制效果。 保存路径：生成的视频在 outputs 下。 2. LTXVideo 模型： 基于 2B 参数 DiT，能够以 768x512 分辨率生成 24 FPS 的视频，速度比观看还快。 专为 RTX 4090 等 GPU 优化，使用 bfloat16 精度，实现高效内存使用且不影响质量。 ComfyUI 现已支持该模型，用户只需下载模型文件并获取工作流即可在本地运行。 3. Sora 模型： 功能：文生视频、图生视频、视频生视频，支持多种视频定制选项，如分辨率、视频长度和视频风格；具有故事板功能，允许用户通过时间线指导视频中的多个动作；提供混音和编辑功能，包括视频混音、延伸和剪辑、创建循环视频等；还有混合功能，可将两个视频场景合并成一个新的场景。 费用和订阅套餐：对于拥有 OpenAI Plus 或 Pro 账户的用户，使用包含在现有订阅中。OpenAI Plus 订阅每月 50 次视频生成次数，OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可根据需要选择更高分辨率的视频生成，但可能会减少每月使用次数。发布初期，某些地区（如欧洲和英国）可能会有延迟。

以下是部署自己知识库的详细步骤： 一、了解 RAG 技术 因为利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在进行本地知识库的搭建实操之前，需要先对 RAG 有大概的了解。 RAG 是指检索增强生成（Retrieval Augmented Generation）。当需要依靠不包含在大模型训练集中的数据时，通过检索外部数据，然后在生成步骤中将这些数据传递给 LLM。一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割（Splitting）：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 二、通过 Open WebUI 使用大模型 1. 首先访问相关网址。打开页面时，使用任意邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，可让模型根据文档内容来回答问题，这种能力是构建知识库的基础之一。 三、本地知识库进阶 如果想要对知识库进行更加灵活的掌控，需要一个额外的软件：AnythingLLM。这个软件包含了所有 Open WebUI 的能力，并且额外支持了以下能力：选择文本嵌入模型、选择向量数据库。 安装地址：https://useanything.com/download 。安装完成后，会进入到其配置页面，主要分为三步： 1. 第一步：选择大模型。 2. 第二步：选择文本嵌入模型。 3. 第三步：选择向量数据库。 构建本地知识库： 1. 在 AnythingLLM 中有一个 Workspace 的概念，可以创建自己独有的 Workspace 跟其他的项目数据进行隔离。 2. 首先创建一个工作空间。 3. 上传文档并且在工作空间中进行文本嵌入。 4. 选择对话模式。AnythingLLM 提供了两种对话模式：Chat 模式，大模型会根据自己的训练数据和上传的文档数据综合给出答案；Query 模式，大模型仅仅会依靠文档中的数据给出答案。 5. 测试对话。当上述配置完成之后，就可以跟大模型进行对话了。 四、写在最后 “看十遍不如实操一遍，实操十遍不如分享一遍”。如果对 AI Agent 技术感兴趣，可以联系作者或者加其免费知识星球（备注 AGI 知识库）。

部署私有大语言模型通常包括以下步骤： 1. 部署大语言模型： 下载并安装 Ollama：根据您的电脑系统，从 https://ollama.com/download 下载 Ollama。下载完成后，双击打开，点击“Install”。安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/。 下载模型：如 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）。如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车；如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。复制相关命令行，粘贴进入，点击回车。等待下载完成。 2. 部署 Google Gemma： 进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕。 直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。完成以后就可以直接对话。 3. 关于 Ollama 的其他特点： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 支持自定义模型，可修改模型的温度参数等。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面。 总的来说，Ollama 是一个方便用户在本地运行和管理大型语言模型的框架，具有良好的可扩展性和多样的使用场景。安装完之后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序即可，在 linux 上可以通过 ollama serve 启动）。可以通过 ollama list 进行确认。

以下是部署 Ollama 的详细步骤： 1. 下载并安装 Ollama： 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 下载完成后，双击打开，点击“Install”。 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 2. 下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型）： 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 复制以下命令行，粘贴进入，点击回车。 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 3. 部署 Google Gemma： 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26，cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。 4. 安装 Docker Desktop： 点击/复制到浏览器去下载 https://docs.docker.com/desktop/install/windowsinstall/ 。 下载后，双击下载项目，出现下图，点击 ok，开始加载文件。注意！！！！这里下载相对比较快，下载完成后，不要点击“close and restart”，因为这样会直接重启，导致 llama3 下载中断。 这里先不点击，等待终端的模型下载完成后，再点击重启。 重启后，点击：“Accept” 。 选择第一个，点击"Finish" 。 然后会提示您注册账号，如果打不开网页，就需要科学上网了。 按照正常的注册流程，注册账号，并登录 Docker 即可。登录后会进入 Docker Desktop。此处完成。 5. 下载 Open WebUI： 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。 如果是 Windows 电脑，点击 win+R，输入 cmd，点击回车。 如果是 Mac 电脑，按下 Command（⌘）+Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 将以下命令输入，等待下载。 出现上图，即是下载完成。 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 。 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ps.他的回复速度，取决于您的电脑配置。

以下是一些可以本地部署且类似 Coze 的平台以及直接对接 Coze 平台 Bot 的微信聊天机器人的搭建方法： Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，集成丰富插件工具，适用于构建各类问答 Bot。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及将 Copilot 部署到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于客服、营销、销售等场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景如销售、客服、行程安排等方面表现出色。 直接对接 Coze 平台 Bot 的微信聊天机器人搭建： 1. 微信功能差异：微信公众号、微信服务号、微信客服支持与 Coze AI 平台对接，个人微信和微信群之前不支持，现国内版已发布 API 接口功能，可实现对接。 2. 部署步骤： 服务器配置：受社群好友小雨启发，将复杂代码相关集成隐藏和优化，使用简单模板配置，修改容器编排模板，若之前有模板需修改，无模板则新建，更新后创建新的容器编排并启动服务，服务启动成功后进入 COW 服务扫码绑定微信机器人，具体步骤可参考入门教程。 测试：在微信群中测试 AI 机器人。 请注意，对接国外版 Coze 平台需要部署的服务支持相关条件。