直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何部署本地的智能数据库

回答

以下是关于如何部署本地智能数据库的详细步骤：

  1. 引言：
    • 作者是致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。
    • 本文将分享如何部署本地大模型以及搭建个人知识库，让您了解相关流程和技术。
  2. 本地知识库进阶：
    • 若要更灵活掌控知识库，可使用额外软件 AnythingLLM，它包含所有 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。
    • 安装地址：https://useanything.com/download 。
    • 安装完成后进入配置页面，主要分为三步：
      • 第一步：选择大模型。
      • 第二步：选择文本嵌入模型。
      • 第三步：选择向量数据库。
    • AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。
    • 构建本地知识库的步骤：
      • 首先创建一个工作空间。
      • 上传文档并在工作空间中进行文本嵌入。
      • 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。
      • 完成配置后即可进行测试对话。
  3. 写在最后：
    • 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。
    • 若对 AI Agent 技术感兴趣，可联系作者或加入其免费知识星球（备注 AGI 知识库）。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

手把手教你本地部署大模型以及搭建个人知识库

本文的思路来源于视频号博主：黄益贺我按照他的视频进行了实操，并且附加了一些关于RAG的额外知识[heading1]一、引言[content]大家好，我是大圣，一个致力使用AI工具将自己打造为超级个体的程序员。目前沉浸于AI Agent研究中无法自拔今天给大家分享的是手把手教你如何部署本地大模型以及搭建个人知识库读完本文，你会学习到如何使用Ollama一键部署本地大模型通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的RAG的概念以及所用到的一些核心技术如何通过AnythingLLM这款软件搭建完全本地化的数据库虽然我们大多数人不需要在自己部署大模型，但是我期望在本文的帮助下，能够带你手把手折腾一遍。这样在使用任何软件的时候，可以做到知其然，知其所以然。

手把手教你本地部署大模型以及搭建个人知识库

如果想要对知识库进行更加灵活的掌控，我们需要一个额外的软件：AnythingLLM。这个软件包含了所有Open WebUI的能力，并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址：https://useanything.com/download当我们安装完成之后，会进入到其配置页面，这里面主要分为三步1.第一步：选择大模型1.第二步：选择文本嵌入模型1.第三步：选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念，我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式：Chat模式：大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式：大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后，我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家：看十遍不如实操一遍，实操十遍不如分享一遍如果你也对AI Agent技术感兴趣，可以联系我或者加我的免费知识星球（备注AGI知识库）

4.4 历史更新

《[手把手教你本地部署大模型以及搭建个人知识库](https://waytoagi.feishu.cn/wiki/ZKGmwsQhTihYZ8kdu7uccF1lnQc)》作者大圣，本文介绍了：如何使用Ollama一键部署本地大模型；通过搭建本地的聊天工具，了解ChatGPT的信息是如何流转的；RAG的概念以及所用到的一些核心技术；如何通过AnythingLLM这款软件搭建完全本地化的数据库。正如作者所说，并不一定需要具备太多编程知识，而是一颗热爱折腾的心。《[邬嘉文：GPT具身对话机器人](https://waytoagi.feishu.cn/wiki/SWJxwBMlUio2WGkwf2wcfJyKnhh)》作者尝试用一个ChatGPT驱动具身机器人的语音、表情以及头部动作，全面展示GPT的表现力，他将整个过程记录下来，希望对想研究具身智能的同学有启发。快讯：OpenAI：GPT-4turbo，重新夺回最强大模型Google：最新压缩记忆技术，可以1B模型上下文长度提高到100万Meta：准备发布Llama3

其他人在问
我想知道如果我上传给Coze数据库，我的数据安全有保障吗
关于您上传数据到 Coze 数据库的数据安全保障问题，以下是相关信息： 合规说明方面： 不存在产出违法违规内容，包括色情暴力、政治敏感和违法犯罪等。 不存在爬取行为，遵循 robot.txt 爬虫协议，未使用匿名代理。 不存在版权争议问题，未爬取强版权资源、付费内容等。 不存在跨境数据传输，未使用海外 API 和海外模型。 有安全合规声明，作者声明作品没有侵权，作品安全可用且公开可接受。 Coze 数据库的功能特点： 知识库功能不仅支持上传和存储外部知识内容，还提供多样化的检索能力，能解决大模型可能出现的幻觉问题和专业领域知识的不足，显著提升回复准确性。支持从多种数据源上传文本和表格数据，自动将知识内容切分成多个片段进行存储，并允许用户自定义内容分片规则，提供多种检索方式，适应各种使用场景。 数据库具备记忆能力，可以存储和检索用户的交互历史，以提供更加个性化的服务。支持实时更新，确保信息最新。能存储用户的交互历史，包括提问、回答和反馈，用于理解用户需求和优化对话流程，可进行个性化服务和错误纠正与学习。 综上所述，从目前的信息来看，您上传给 Coze 数据库的数据在一定程度上是有安全保障的。但具体情况还需参考 Coze 数据库的最新政策和规定。
2024-11-14
大模型如何接入企业数据库
大模型接入企业数据库的相关内容如下： 原理介绍： 从文档处理角度来看，实现流程包括配置要求。 配置要求： ChatGLM6B 模型硬件需求： 模型文件下载至本地需要 15GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 13GB 和 14GB。 INT8：分别为 8GB 和 9GB。 INT4：分别为 6GB 和 7GB。 MOSS 模型硬件需求： 模型文件下载至本地需要 70GB 存储空间。 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同： FP16（无量化）：分别为 68GB 和 。 INT8：分别为 20GB 和 。 Embedding 模型硬件需求：默认选用的 Embedding 模型约占用显存 3GB，也可修改为在 CPU 中运行。 项目启动： Web 启动：运行 web.py，若显存不足则调整 configs/model_config.py 文件中 LLM_MODEL 参数更换模型，若连接无法连接修改 web.py 文件末尾 lauch 中 0.0.0.0 为 127.0.0.1，点击 URL 进入 UI 界面。 API 模式启动。 命令行模式启动。 上传知识库： 左侧知识库问答中选择新建知识库，可传输 txt、pdf 等。可以调整 prompt，匹配不同的知识库，让 LLM 扮演不同的角色。例如上传公司财报，充当财务分析师；上传客服聊天记录，充当智能客服；上传经典 Case，充当律师助手；上传医院百科全书，充当在线问诊医生等等，MOSS 同理。 使用数据表： 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。 1. 单击页面顶部的工作流页签，然后单击创建工作流。 2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。 1. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。 2. 根据以下信息配置数据库节点。 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。 SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 注意：不支持 Select语法，不支持多表 Join 操作，最多返回 100 行数据。
2024-10-11
向量数据库
向量数据库是大语言模型从工具走向生产力实践中热门的 RAG 方式所必备的基础设施。 RAG 能够从海量文本数据中检索相关信息并生成高质量文本输出，而向量数据库在其中发挥着重要作用。 目前市面上的向量数据库众多，操作方式无统一标准。本文将基于 LangChain 提供的 VectorStore 类中的统一操作方法，以 chroma 向量数据库作为示例，从最为基础的 CRUD 入手介绍其使用方法。 向量数据库的工作原理如下： 如果是文本，会通过模型转换成向量对象，对象存入数据库中再去使用。传统数据库以表格形式存储简单数据，向量数据库处理的是复杂的向量数据，并使用独特方法进行搜索。常规数据库搜索精确匹配数据，向量数据库则使用特定相似性度量寻找最接近匹配，使用特殊的近似近邻（ANN）搜索技术，包括散列搜索和基于图的搜索等方法。 要理解向量数据库的工作原理及其与传统关系数据库（如 SQL）的不同，必须先理解嵌入的概念。非结构化数据（如文本、图像和音频）缺乏预定义格式，给传统数据库带来挑战。为在人工智能和机器学习应用中利用这些数据，需使用嵌入技术将其转换为数字表示，嵌入就像给每个项目赋予独特代码，以捕捉其含义或本质。
2024-09-02
如何在coze的prompt中调用数据库
在 Coze 的 prompt 中调用数据库可以参考以下步骤： 1. 基础框架： 本 bot 由提示词、数据库和工作流三部分构成。提示词使用结构化框架，要求大模型根据不同行为调用不同工作流。数据库用于记录不同用户历史记账记录，工作流中会用到。 2. 工作流： 增加记账记录 add_accounting_record： 开始：定义一个{{prompt}}，把用户在 bot 输入的记账内容传入进来。 大模型：任务简单，使用任意模型均可，无需调整参数。输入定义了{{input}}引用开始节点的 prompt 参数。提示词让大模型拆解用户输入内容，识别【记账事项】、【发生时间】、【变动金额】，并分别赋值到{{item}}、{{occurrence_time}}、{{balance_change}}。输出定义了相应的{{item}}、{{occurrence_time}}、{{balance_change}}。 数据库——插入记账记录：输入定义了{{item}}、{{occurrence_time}}、{{balance_change}}，用于接收大模型节点输出传入的内容。SQL 命令中，因数据库存入金额最小单位是分，所以当用户输入花费金额时，需乘以 100 存储。 3. 使用数据表： 用户通过自然语言与 Bot 交互来插入或查询数据库中的数据。Bot 会根据用户输入自动创建新记录并存储，也可根据用户查询条件检索数据返回。 在 Prompt 中添加并使用数据表时： 明确说明要执行的操作和涉及的字段，包括字段使用说明，以使大语言模型更准确执行操作。 在数据库功能区域添加要操作的数据表。 在调试区域进行测试，可单击调试区域右上方的已存数据查看数据表中的数据。
2024-09-02
向量数据库高效储存是什么意思 举个例子
向量数据库高效储存指的是专门用于存储高维向量，以实现快速准确的相似性搜索。在人工智能领域，尤其是自然语言处理和计算机视觉等方面，模型会生成并处理大量高维向量，传统数据库难以有效应对，向量数据库则为这些应用提供了高度优化的环境。 例如，像 GPT3 这样的大型语言模型，有 1750 亿个参数，会产生大量向量化数据，传统数据库很难有效处理，而向量数据库能够有效地管理和查询这些向量。 从系统角度看，预处理管道中向量数据库至关重要，负责高效存储、比较和检索多达数十亿的嵌入（即向量）。市场上常见的选择如 Pinecone，完全由云托管，容易上手，具备大型企业在生产中所需的多种功能。同时，还有 Weaviate、Vespa 和 Qdrant 等开源系统，通常具有出色的单节点性能，可针对特定应用定制；Chroma 和 Faiss 等本地向量管理库，有丰富的开发人员经验，便于启动小型应用程序和开发实验；pgvector 之类的 OLTP 扩展，对于特定开发人员和企业也是一种解决方案。 向量存储是用于存储和检索文本嵌入向量的工具，这些向量是文本数据的数值表示，能让计算机理解和处理自然语言。其主要功能包括高效存储大量文本向量、快速检索相似文本向量以及支持复杂的查询操作，如范围搜索和最近邻搜索。
2024-08-27
向量数据库高效存储与内存的关系
向量数据库的高效存储与内存有着密切的关系。 在生成式人工智能领域，通过扩展上下文窗口，模型能够处理更大量的文本并更好地保持上下文，但仅扩展上下文窗口并不能充分改善内存，因为推理的成本和时间与提示的长度呈准线性甚至二次方关系。此时，检索机制就显得尤为重要，它通过与提示相关的上下文数据增强和完善 LLM 的原始训练语料库。向量数据库（例如 Pinecone）已成为高效检索相关信息的事实标准，并作为 LLM 的内存层，使模型更容易快速准确地搜索和引用海量信息中的正确数据。 向量数据库专门用于存储高维向量，以实现快速准确的相似性搜索。由于人工智能模型，尤其是自然语言处理和计算机视觉领域的模型会生成并处理这些向量，所以对高效存储和检索系统的需求变得至关重要。像 GPT3 这样的大型语言模型，因其处理的数据量和复杂性，产生了大量向量化数据，传统数据库难以有效处理，所以基于 GPT3 和类似模型构建的应用在很大程度上依赖于向量数据库来有效地管理和查询这些向量。 例如，Marqo 向量数据库具有嵌入式存储在内存中的 HNSW 索引，实现了最先进的搜索速度，还能利用横向索引分片将规模扩大到亿级文档索引，支持异步和非阻塞数据上传和搜索，使用来自 PyTorch、Huggingface、OpenAI 等公司的最新机器学习模型，可从预先配置的模型开始或自带模型，内置 ONNX 支持和转换功能，可实现更快的推理和更高的吞吐量，并支持 CPU 和 GPU。
2024-08-27
智能体搭建案例
以下为您提供两个智能体搭建案例： 案例一： 智能体名称：市场分析报告 智能体简介：品牌营销公司在用的生成智能体，输入行业/类目关键词自动检索关联信息并生成报告。数据化呈现更具真实性，附带信息来源网址便于源信息校正。可帮助品牌主/营销人员减少信息收集时间，聚焦决策判断。 应用场景： 目标人群：企业管理层（做发展策略评估）、投资者（评估投资机会）、创业者（评估项目可行性）、营销人员（做营销计划依据）。 当前痛点：信息收集需要长时间；报告的真实性是否可验证；现有大模型做的市场报告太过概念化，不能做有效参考。 应用价值：减少信息收集时间、真实可验证、聚焦决策判断。 智能体主要功能：根据用户的要求或指定的行业、产品，搜索网络信息，生成一份完整的市场调研报告，用数据支撑，并附引用链接。 案例二： 智能体开发平台：字节扣子和腾讯元器。 概念定义：智能体（Agent）简单理解就是 AI 机器人小助手，参照移动互联网，类似 APP 应用的概念。AI 大模型是技术，面向用户提供服务的是产品，很多公司开始关注 AI 应用层的产品机会。 C 端案例：社交方向，用户注册后先捏一个自己的 Agent，然后让自己的 Agent 和其他人的 Agent 聊天，两个 Agent 聊到一起后再真人介入；还有借 Onlyfans 入局打造个性化聊天的创业公司。 B 端案例：帮助 B 端商家搭建 Agent。 智能体开发平台介绍：字节于 2 月 1 日正式推出 AI 聊天机器人构建平台 Coze 的国内版“扣子”，主要用于开发下一代 AI 聊天机器人。国内还有很多智能体开发平台，如 Dify.AI，但个人比较常用的还是扣子。
2024-12-20
哪个智能体能够根据用户的购物历史、浏览行为和偏好，提供个性化的产品推荐。
以下智能体能够根据用户的购物历史、浏览行为和偏好提供个性化的产品推荐： 1. 电子商务网站：通过收集用户的购物历史和浏览习惯等数据，使用机器学习和数据挖掘技术进行分析，从而推荐相似产品。 2. 基于人工智能的语音助手：可以分析用户行为、偏好以及历史购买记录，为用户提供更个性化的商品推荐，提升购物体验。 3. 中小企业：利用 AI 分析客户行为数据，包括购买历史、浏览记录、反馈等，基于分析结果生成个性化的产品推荐和服务。 4. 扣子模板中的个性化推荐引擎：利用人工智能和机器学习算法，根据用户的历史行为和偏好，实时推荐最相关的产品或服务，以提升转化率。
2024-12-20
智能体在电商领域的应用
智能体在电商领域有以下应用： 1. 电商导购：以“什么值得买”智能体为例，当用户输入“我想买个笔记本电脑”，智能体会先提取关键词“笔记本电脑”，通过相关 API 检索商品信息，与内置提示词组装成上下文，请求大模型回答，提供更好的商品推荐效果。 2. 工作流协作：工作流也可理解为多智能体协作，通过多个智能体的组装解决复杂场景的搜索问题。例如给新产品取名，涉及多个步骤和检测，人工操作费时，而 AI 搜索与 Workflow 模式可有效解决，通过定义多个智能体完成各项功能，并由调度中枢协调工作和决策。 在品牌卖点提炼方面： 1. 构建中对结构的理解和控制最为重要，旨在提供结构化思路，单点可通过不断迭代完善。品牌卖点提炼助手本质是办公助手，能为有营销思维的团队提供思路，提高团队效率。 2. 实际搭建需根据公司业态调整，给智能体更多提示词提升分析合理性。不同行业的线上、线下和人员触点不同，遵循营销管理流程保证输出，调整提示词提升准确度。营销管理结构化提示词中避免依赖举例，决策和洞察力仍依赖人员，智能体作为灵感助手辅助决策。 3. 最终提炼的品牌卖点应用于与用户交互的所有场景，即触点，包括线上（如微信、抖音等平台）、线下（产品到达消费者手上的场景或线下实体门店场景）和人员（线上直播间、人工客服或线下销售人员等）触点。在最终步骤，需找到所有传达品牌卖点的场景，结合需求制作落地页或沟通话术，建立品牌价值。
2024-12-20
我想用coze搭建一个智能体，关于自然语言课程的期末复习指南，要将我的教材导入扣子作为知识库，智能体支持用户提问，搜索知识点，结合知识库和互联网搜索的内容给出问答，需要使用多智能体或工作流，使用卡片功能进行显示，请给出我搭建这个智能体的步骤
以下是使用 Coze 搭建一个关于自然语言课程期末复习指南智能体的步骤： 1. 访问 Coze 官网（https://www.coze.cn），注册并登录。 2. 点击页面左上角的⊕，通过【标准创建】填入智能体的基本信息。 3. 了解 Bot 开发调试界面： 人设与回复逻辑（左侧区域）：设定智能体的对话风格、专业领域定位，配置回复的逻辑规则和限制条件，调整回复的语气和专业程度。 功能模块（中间区域）： 技能配置： 插件：扩展智能体的专业能力，如计算器、日历等工具。 工作流：设置固定的处理流程和业务逻辑。 图像流：处理和生成图像的相关功能。 触发器：设置自动化响应条件。 知识库管理： 文本：存储文字类知识材料。 表格：结构化数据的存储和调用。 照片：图像素材库。 记忆系统： 变量：存储对话过程中的临时信息。 数据库：管理持久化的结构化数据。 长期记忆：保存重要的历史对话信息。 文件盒子：管理各类文档资料。 交互优化（底部区域）： 开场白：设置初次对话的问候语。 用户问题建议：配置智能推荐的后续问题。 快捷指令：设置常用功能的快速访问。 背景图片：自定义对话界面的视觉效果。 预览与调试（右侧区域）：实时测试智能体的各项功能，调试响应效果，优化交互体验。 4. 设定智能体的人设与回复逻辑后，为智能体配置对应的技能，以保证其可以按照预期完成目标任务。例如，以获取 AI 新闻的智能体为例，需要为它添加一个搜索新闻的接口来获取相关新闻。具体操作如下： 在智能体编排页面的技能区域，单击插件功能对应的+图标。 在添加插件页面，选择相关功能，然后单击新增。 修改人设与回复逻辑，指示智能体使用相应插件来搜索所需内容。 （可选）为智能体添加开场白，让用户更好地了解智能体的功能。开场白功能目前支持豆包、微信公众号（服务号）。 5. 配置好智能体后，在预览与调试区域中测试智能体是否符合预期。可单击清除图标清除对话记录。 6. 完成测试后，将智能体发布到社交渠道中使用。具体操作如下： 在智能体的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome
2024-12-20
当前电商领域有哪些智能体可以用
在电商领域，以下是一些常见的智能体类型及应用示例： 1. 简单反应型智能体：如温控器，根据当前的感知输入直接采取行动，不维护内部状态和考虑历史信息。 2. 基于模型的智能体：像自动驾驶汽车，维护内部状态，对当前和历史感知输入进行建模，能推理未来状态变化并据此行动。 3. 目标导向型智能体：例如机器人导航系统，具有明确目标，能评估行动方案并选择最优行动。 4. 效用型智能体：如金融交易智能体，能量化不同状态的效用值，选择效用最大化的行动。 5. 学习型智能体：例如强化学习智能体，通过与环境交互不断学习最优策略。 以“什么值得买”智能体为例，当用户输入“我想买个笔记本电脑”，智能体会先提取关键词，再通过相关 API 检索商品信息，与内置提示词组装后请求大模型回答，成为电商导购类的垂直搜索应用，在商品推荐方面效果较好。 此外，工作流（Workflow）也可理解为多智能体协作（MultiAgents），通过多个智能体的组装解决复杂场景的搜索问题。例如给新产品取名，可定义多个智能体分别负责不同功能，还需要有调度中枢协调工作和做决策。 还有“买买买！💥产品买点提炼神器强化版🚀”智能体，专注于市场营销领域，能帮助用户从产品出发挖掘卖点并转化为买点，生成小红书文案和抖音短视频脚本等，并保存至飞书文档。
2024-12-20
智能图书馆的技术价值
智能图书馆的技术价值主要体现在以下方面： RAG（检索增强生成）技术： 工作原理： 检索（Retrieval）：如同图书馆员根据描述从庞大知识库中找出相关书籍和文章，系统从知识库或文档集合中找到与用户问题相关的内容。 增强（Augmented）：类似图书馆员挑选出最相关段落和信息并汇总，大模型对检索到的信息进行筛选和优化，确保选中最相关和有用的信息。 生成（Generation）：如同图书馆员把汇总信息组织成连贯、易懂的回答，大模型将整合的信息生成自然流畅的回答。 综合解释：RAG 就像超级智能的图书馆员，先检索相关信息，再筛选优化，最后生成连贯回答。 优点： 成本效益：实现成本低于训练和维护大型专有模型。 灵活性：可利用多种数据源，包括结构化和非结构化数据，迅速适应不同领域和变化的数据。 可扩展性：随时增加或更新知识库内容，无需重新训练模型。 缺点：回答准确性不如专有模型的方案。 其他相关技术： DALLE 3：与 ChatGPT 结合，用户输入会话命令可获得匹配图像，改善了之前图像生成器的操作方式。 开放式有声读物集合：微软和麻省理工学院联手，使用文本转语音技术将 5000 本书转换为免费有声读物并在 Spotify 上提供。 AudioShake 的 AI 程序：可隔离预先录制音频的元素，分解成组成部分，解决老音乐音轨分离问题。 Ai Pin：磁性连接衣服成为 AI 助手，使用专有软件和 OpenAI 的 GPT，仅用声音就能完成多种操作。
2024-12-19
怎么部署dify到ecs
部署 Dify 到 ECS 有以下几种方法： 方法一：通过云服务器、Dify 和智能微秘书免费搭建微信机器人 参考链接：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 这些命令在宝塔面板的终端安装。dockercompose 文件在 /root/dify/docker 目录下，可修改和学习其中文件的含义。 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决。 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填邮箱密码建立知识库，选择模型（如智谱 AI，获取钥匙并复制保存），创建应用进行测试和发布。 方法二：腾讯云一键部署 打开腾讯云官网，在左上角【最新活动】进入，新老用户均可享受优惠。 Dify 社区版官方要求 2 核 4G，可根据需求选择境内或境外服务器。境内服务器 159 一年。 选好后创建服务器，选择【使用应用模板创建】【AI】，初始化完成后，在控制台服务器中复制公网 IP 到浏览器（加上 /apps），进入 Dify 安装页面，设置管理员账号密码，正常情况下即可进入 Dify 网站配置模型服务。 方法三：云服务器 Docker 部署 左侧菜单栏文件打开终端，根据 Dify 官方的部署文档操作。 敲入 git 命令（把 Dify 的代码复制到服务器），显示 100%即复制完成。 依次敲下面三个命令，出现相应结果即为成功。 使用方法与方案一相同。 更新时根据官方文档，在 BT 页面的文件中打开终端，按顺序执行命令。同时注意同步环境变量配置，如果.env.example 文件有更新，务必同步修改本地的.env 文件，检查并确保配置项与实际运行环境相匹配。
2024-12-18
你的知识库是怎么部署的
部署个人知识库需要考虑硬件配置和相关技术原理。 硬件方面： 生成文字大模型，最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（如果要跑 GPT3.5 差不多性能的大模型）。 生成图片大模型（比如跑 SD），最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM。 生成音频大模型，最低配置为 8G VRAM，建议配置为 24G VRAM。 技术原理方面： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。 RAG 应用包括文档加载、文本分割、存储、检索和输出这 5 个过程。 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 文本分割：把 Documents 切分为指定大小的块。 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 检索：通过某种检索算法找到与输入问题相似的嵌入片。 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。 此外，搭建基于 GPT API 的定制化知识库，涉及给 GPT 输入（投喂）定制化的知识。GPT3.5 一次交互（输入和输出）只支持最高 4096 个 Token。为了处理大量领域知识，OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量（列表），两个向量之间的距离衡量它们的关联性，小距离表示高关联度。
2024-11-11
本地部署的AI工具
以下是关于本地部署的 AI 工具的相关信息： 目前市面上的 AI 工具分为线上和线下本地部署两种： 线上的优势：出图速度快，不依赖本地显卡配置，无需下载大型模型，能查看其他创作者的作品，但出图分辨率受限，一般最高支持 1024×1024 左右，制作横板、高清图片会受影响。 线下部署的优势：可以添加插件，不卡算力，出图质量高。但使用时电脑基本处于宕机状态，配置不高可能会出现爆显存导致出图失败的情况。 具体的部署步骤（以 windows10 系统为例，mac 系统步骤类似，命令有所不同）： 1. 安装环境： 点击电脑“系统”，输入“cmd”，回车打开命令窗口。 在命令窗口中，粘贴代码确认是否有 python 和 pip。 若没有，需安装：先安装 python，安装包可通过下载，按照步骤安装，关闭窗口再次运行命令确认。 2. 部署项目： 下载 COW 机器人项目并解压缩。 回到 chatgptonwechat/文件路径下，空白处右键，打开 Powershell 复制粘贴“python app.py”，弹出二维码扫码登录。 注意事项： 1. 程序在本地运行，关闭窗口进程结束，若要持续使用需保持窗口打开和运行。 2. 若突然不管用，可点击窗口并按空格。 3. 配置时，在 config.json 中的 OpneAi_Api 填“http://localhost:3000/api/v1/chat/completions”。 对于游戏截图升级到 KV 品质的应用，可充分发挥线上和线下平台的优势：线上找参考、测试模型，线下作为主要出图工具。先在线上绘图网站的绘图广场发现想要的画风，点击创作获取模型 lora 和 tag，截取游戏人物底图将线上算力集中在人物身上，多批次尝试不同画风得出合适模型+lora 组合，最后在 C 站（）下载对应模型到本地加载部署后正式生图。
2024-11-10
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
联想异能者配置i5-12450八核，32GB内存,1TB固态硬盘，用于本地部署开源大模型可以部署哪些开源大模型
以下是一些您的联想异能者配置（i512450 八核，32GB 内存，1TB 固态硬盘）可部署的开源大模型及相关信息： ComfyUI 相比 WebUI 配置更低，系统资源占用更少，出图速度更快。ComfyUI 最低可在小于 3G 的 GPU 上运行，甚至没有 GPU 光用 CPU 也可以运行，但速度极慢。SDXL 出来后提高了运行配置，最低需要 8GB 显存+32GB 运行内存，12GB 流畅运行，推荐 16GB 以上。玩 SDwebui 和 ComfyUI 建议使用 6GB 以上的显存的 NVIDIA 显卡（N 卡），内存在 16G 以上。硬盘会影响加载模型的速度，所以最好把软件和模型部署在 SSD（固态硬盘）上。 截止 2024 年 5 月，主流的 AI 笔记本电脑主要是一些专门为人工智能和深度学习设计的高性能移动工作站。一些知名品牌包括微软第 11 代 Surface Pro、微星 Creator/Workstation 系列、技嘉 Aero/Aorus 系列、戴尔 Precision 移动工作站、惠普 ZBook 移动工作站、联想 ThinkPad P 系列。这些笔记本通常配备强大的 GPU（如 NVIDIA RTX 系列）、大容量内存（32GB 以上）和高速固态硬盘，还通常预装了 NVIDIA CUDA、cuDNN 等深度学习框架，以及各种 AI 开发工具。但这类高端 AI 笔记本价格相对较高，通常在 2000 美元以上。用户可根据自身需求和预算选择合适型号，并关注散热、续航等实际使用体验。 请注意，配置上不封顶，您可根据自己的需求和预算来选择。
2024-11-04
如何做大模型的云端部署与微调
做大模型的云端部署与微调，主要包括以下步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源： 确保有足够的训练数据覆盖目标应用场景。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 例如，对于 SDXL 的大模型，本地部署时要注意模型分为 base+refiner 以及配套的 VAE 模型，需将其放入对应文件夹，并在秋叶启动器中将 webUI 的版本升级到 1.5 以上。而对于 Llama3 的部署和微调，实操分两部分，包括本地部署并通过 webdemo 对话，以及使用特定数据集进行微调，具体流程为购买服务器、安装代码环境、下载通用模型和数据集、挑选微调框架、编写微调程序和验证结果。 总的来说，部署和微调大模型需要综合考虑多方面因素，根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。
2024-10-26