Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

大模型如何接入企业数据库

Answer

大模型接入企业数据库的相关内容如下：

原理介绍： 从文档处理角度来看，实现流程包括配置要求。

配置要求：

  • ChatGLM-6B 模型硬件需求：
    • 模型文件下载至本地需要 15GB 存储空间。
    • 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同：
      • FP16（无量化）：分别为 13GB 和 14GB。
      • INT8：分别为 8GB 和 9GB。
      • INT4：分别为 6GB 和 7GB。
  • MOSS 模型硬件需求：
    • 模型文件下载至本地需要 70GB 存储空间。
    • 量化等级不同，最低 GPU 显存（推理）和最低 GPU 显存（高效参数微调）要求不同：
      • FP16（无量化）：分别为 68GB 和 - 。
      • INT8：分别为 20GB 和 - 。
  • Embedding 模型硬件需求：默认选用的 Embedding 模型GanymedeNil/text2vec-large-chinese约占用显存 3GB，也可修改为在 CPU 中运行。

项目启动：

  • Web 启动：运行 web.py，若显存不足则调整 configs/model_config.py 文件中 LLM_MODEL 参数更换模型，若连接无法连接修改 web.py 文件末尾 lauch 中 0.0.0.0 为 127.0.0.1，点击 URL 进入 UI 界面。
  • API 模式启动。
  • 命令行模式启动。

上传知识库： 左侧知识库问答中选择新建知识库，可传输 txt、pdf 等。可以调整 prompt，匹配不同的知识库，让 LLM 扮演不同的角色。例如上传公司财报，充当财务分析师；上传客服聊天记录，充当智能客服；上传经典 Case，充当律师助手；上传医院百科全书，充当在线问诊医生等等，MOSS 同理。

使用数据表： 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用，支持完整读写模式。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保已经搭建了一个 Bot，并在这个 Bot 中创建好了数据表。

  1. 单击页面顶部的工作流页签，然后单击创建工作流。
  2. 输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。
  3. 在基础节点页签下，将数据库节点拖入到工作流配置画布区域。
  4. 根据以下信息配置数据库节点。
  • 输入：添加 SQL 执行中需要的参数，可以是一个变量，也可以是一个固定值。
  • SQL:输入要执行的 SQL 语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成 SQL。在弹出的页面中，选择这个数据库工作流生效的 Bot 和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成 SQL 语句，最后单击使用。 注意：不支持 Select*语法，不支持多表 Join 操作，最多返回 100 行数据。
Content generated by AI large model, please carefully verify (powered by aily)

References

开发：GLM等大模型外接数据库

从文档处理角度来看，实现流程如下：[heading1]配置要求[content]ChatGLM-6B模型硬件需求注：模型文件下载至本地需要15 GB存储空间。|量化等级|最低GPU显存（推理）|最低GPU显存（高效参数微调）|<br>|-|-|-|<br>|FP16（无量化）|13 GB|14 GB|<br>|INT8|8 GB|9 GB|<br>|INT4|6 GB|7 GB|MOSS模型硬件需求注：模型文件下载至本地需要70 GB存储空间|量化等级|最低GPU显存（推理）|最低GPU显存（高效参数微调）|<br>|-|-|-|<br>|FP16（无量化）|68 GB|-|<br>|INT8|20 GB|-|Embedding模型硬件需求默认选用的Embedding模型[GanymedeNil/text2vec-large-chinese](https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main)约占用显存3GB，也可修改为在CPU中运行。

开发：GLM等大模型外接数据库

运行web.py若显存不足则调整configs/model_config.py文件中LLM_MODEL参数更换模型若连接无法连接修改web.py文件末尾lauch中0.0.0.0为127.0.0.1点击URL进入UI界面[heading2]API模式启动[heading2]命令行模式启动[heading1]上传知识库[content]左侧知识库问答中选择新建知识库，可传输txt pdf等可以调整prompt，匹配不同的知识库，让LLM扮演不同的角色上传公司财报，充当[财务分析师](https://www.zhihu.com/search?q=%E8%B4%A2%E5%8A%A1%E5%88%86%E6%9E%90%E5%B8%88&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A3030429770%7D)上传客服聊天记录，充当智能客服上传经典Case，充当律师助手上传医院[百科全书](https://www.zhihu.com/search?q=%E7%99%BE%E7%A7%91%E5%85%A8%E4%B9%A6&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A3030429770%7D)，充当在线问诊医生等等MOSS同理

数据库

[title]数据库[heading1]使用数据表[heading2]通过工作流数据库节点操作数据表通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过NL2SQL方式和代码方式进行调用，支持完整读写模式。下图是工作流中数据库节点配置示例。当发布工作流后，在用户与Bot对话时，大语言模型会根据需要调用工作流，按照工作流中数据库节点中配置的SQL来执行数据表操作。参考以下操作，在工作流中添加并配置工作流节点。在工作流中配置数据库节点前，确保你已经搭建了一个Bot，并在这个Bot中创建好了数据表。1.单击页面顶部的工作流页签，然后单击创建工作流。2.输入工作流名称和工作流的使用描述，然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。1.在基础节点页签下，将数据库节点拖入到工作流配置画布区域。2.根据以下信息配置数据库节点。2.1.输入：添加SQL执行中需要的参数，可以是一个变量，也可以是一个固定值。2.2.SQL:输入要执行的SQL语句，可以直接使用输入参数中的变量。可单击自动生成使用大模型生成SQL。在弹出的页面中，选择这个数据库工作流生效的Bot和数据表，然后使用自然语言描述要执行的操作，单击自动生成生成SQL语句，最后单击使用。不支持Select*语法。不支持多表Join操作。最多返回100行数据。

Others are asking
向量数据库和矢量数据库的区别
向量数据库和传统数据库（可视为您所提到的“矢量数据库”）主要有以下区别： 1. 查找方式： 传统数据库需要精确的关键词或类别进行查找，如同在普通图书馆中需知道书的具体位置或分类。 向量数据库可以通过自然语言描述所需内容，系统能理解意图并找到最相关的内容。 2. 组织方式： 传统数据库中信息被严格分类和组织，类似图书馆里的书架和编号系统。 向量数据库中信息根据内在特征和相似性自然聚集，如同魔法图书馆里书籍自动根据内容相似性浮动聚集。 3. 灵活性： 传统数据库若要更换组织方式，可能需重新安排整个架构。 向量数据库中，新加入的数据会自动找到合适位置，无需重新组织整个系统。 4. 发现新内容： 传统数据库较难偶然发现相关但之前未知的内容。 向量数据库在搜索时可能发现许多相关但之前不知道的内容，因其理解内容本质而非仅依赖标签。 此外，向量数据库以多维向量形式保存信息，代表某些特征或质量，能根据数据的向量接近度或相似度快速、精确地定位和检索数据，从而实现根据语义或上下文相关性进行搜索。而传统数据库通常以表格形式存储简单数据，搜索依赖精确匹配或设定标准。 为了在人工智能和机器学习应用中利用非结构化数据（如文本、图像和音频等），需要使用嵌入技术将其转换为数字表示，嵌入过程通常通过特殊神经网络实现，使计算机能更有效地辨别数据中的模式和关系。
2025-01-10
coze工作流中数据库如何应用？主要是返回数据
在 Coze 工作流中，数据库的应用如下： 工作流由多个节点构成，节点是基本单元。Coze 平台支持的节点类型包括数据库节点。 数据库节点的输入：用户可以定义多个输入参数。 数据库节点的输出：如果数据库是查询作用，则输出会包含查询出来的内容。通过 SQL 语句告诉数据库要执行的动作，这里的 SQL 语句可以让 AI 自动生成并进行适当改动。 注意事项：Coze 平台的逻辑是数据库与 bot 绑定，使用数据库功能时，需要在 bot 中设置相同名称和数据结构的数据库进行绑定。 测试工作流：编辑完成的工作流无法直接提交，需要进行测试。点击右上角的“test run”，设定测试参数，查看测试结果，完成后发布。 相关参考文档和示例： 海外参考文档：https://www.coze.com/docs/zh_cn/use_workflow.html 国内参考文档：https://www.coze.cn/docs/guides/use_workflow 国内版本示例： 搜索新闻：https://www.coze.cn/docs/guides/workflow_search_news 使用 LLM 处理问题：https://www.coze.cn/docs/guides/workflow_use_llm 生成随机数：https://www.coze.cn/docs/guides/workflow_use_code 搜索并获取第一个链接的内容：https://www.coze.cn/docs/guides/workflow_get_content 识别用户意图：https://www.coze.cn/docs/guides/workflow_user_intent 在【拔刀刘】自动总结公众号内容，定时推送到微信的案例中，循环体内部的数据库节点用来在数据库中查询是否已经推送过该篇文章，输入项为上一步中的 url 和开始节点的 key（重命名为 suid）。查询数据库需要文章 url 和用户的 suid 两个值来判断这名用户的这篇文章是否推送过。记得设置输出项“combined_output”。同时，Coze 平台中使用数据库功能需要在 bot 中设置相同名称和数据结构的数据库进行绑定，具体设置方法参见“相关资源”。
2025-01-08
AI智能数据库查询助手
以下是关于您提出的“AI 智能数据库查询助手”的相关信息： 能联网检索的 AI： 存在能联网检索的 AI，它们通过连接互联网实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 AI 新产品｜网站精选推荐： AIHelperBot 自动生成 SQL Queries，支持数据库一键链接或导入。当前收费$5 每月，可免费试用 7 天。链接：https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具，基于 GPT3.5，可以根据数据生成图表并回答问题。链接：https://chartgpt.cadlabs.org/ Embedding Store 功能如其名，是一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线。链接：https://www.embedding.store/ AI 在医疗药品零售领域的应用： AI 在医疗药品零售领域有着多方面的应用前景： 药品推荐系统：利用机器学习算法分析用户购买记录、症状描述等数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析历史销售数据、天气、疫情等因素，AI 系统可以预测未来某段时间内的药品需求量，优化药店的库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户可以用手机拍摄药品图像，AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手：基于自然语言处理技术，AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题，减轻人工客服的工作压力。 药店运营分析：AI 可以分析药店的销售、顾客流量、库存等大数据，发现潜在的运营问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉、图像识别等技术，AI 能够自动检测药品的包装、标签、颜色等是否合格，及时发现问题。 药品防伪追溯：利用区块链等技术，AI 可以实现全流程的药品溯源，确保药品供应链的安全性和真实可信度。 总之，AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全，是一个值得重视的发展方向。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-07
如何部署本地的智能数据库
以下是关于如何部署本地智能数据库的详细步骤： 1. 引言： 作者是致力于使用 AI 工具将自己打造为超级个体的程序员，目前沉浸于 AI Agent 研究。 本文将分享如何部署本地大模型以及搭建个人知识库，让您了解相关流程和技术。 2. 本地知识库进阶： 若要更灵活掌控知识库，可使用额外软件 AnythingLLM，它包含所有 Open WebUI 的能力，并额外支持选择文本嵌入模型和向量数据库。 安装地址：https://useanything.com/download 。 安装完成后进入配置页面，主要分为三步： 第一步：选择大模型。 第二步：选择文本嵌入模型。 第三步：选择向量数据库。 AnythingLLM 中有 Workspace 的概念，可创建独有 Workspace 与其他项目数据隔离。 构建本地知识库的步骤： 首先创建一个工作空间。 上传文档并在工作空间中进行文本嵌入。 选择对话模式，包括 Chat 模式（大模型根据训练数据和上传文档综合给出答案）和 Query 模式（大模型仅依靠文档中的数据给出答案）。 完成配置后即可进行测试对话。 3. 写在最后： 作者推崇“看十遍不如实操一遍，实操十遍不如分享一遍”。 若对 AI Agent 技术感兴趣，可联系作者或加入其免费知识星球（备注 AGI 知识库）。
2024-12-02
我想知道如果我上传给Coze数据库，我的数据安全有保障吗
关于您上传数据到 Coze 数据库的数据安全保障问题，以下是相关信息： 合规说明方面： 不存在产出违法违规内容，包括色情暴力、政治敏感和违法犯罪等。 不存在爬取行为，遵循 robot.txt 爬虫协议，未使用匿名代理。 不存在版权争议问题，未爬取强版权资源、付费内容等。 不存在跨境数据传输，未使用海外 API 和海外模型。 有安全合规声明，作者声明作品没有侵权，作品安全可用且公开可接受。 Coze 数据库的功能特点： 知识库功能不仅支持上传和存储外部知识内容，还提供多样化的检索能力，能解决大模型可能出现的幻觉问题和专业领域知识的不足，显著提升回复准确性。支持从多种数据源上传文本和表格数据，自动将知识内容切分成多个片段进行存储，并允许用户自定义内容分片规则，提供多种检索方式，适应各种使用场景。 数据库具备记忆能力，可以存储和检索用户的交互历史，以提供更加个性化的服务。支持实时更新，确保信息最新。能存储用户的交互历史，包括提问、回答和反馈，用于理解用户需求和优化对话流程，可进行个性化服务和错误纠正与学习。 综上所述，从目前的信息来看，您上传给 Coze 数据库的数据在一定程度上是有安全保障的。但具体情况还需参考 Coze 数据库的最新政策和规定。
2024-11-14
向量数据库
向量数据库是大语言模型从工具走向生产力实践中热门的 RAG 方式所必备的基础设施。 RAG 能够从海量文本数据中检索相关信息并生成高质量文本输出，而向量数据库在其中发挥着重要作用。 目前市面上的向量数据库众多，操作方式无统一标准。本文将基于 LangChain 提供的 VectorStore 类中的统一操作方法，以 chroma 向量数据库作为示例，从最为基础的 CRUD 入手介绍其使用方法。 向量数据库的工作原理如下： 如果是文本，会通过模型转换成向量对象，对象存入数据库中再去使用。传统数据库以表格形式存储简单数据，向量数据库处理的是复杂的向量数据，并使用独特方法进行搜索。常规数据库搜索精确匹配数据，向量数据库则使用特定相似性度量寻找最接近匹配，使用特殊的近似近邻（ANN）搜索技术，包括散列搜索和基于图的搜索等方法。 要理解向量数据库的工作原理及其与传统关系数据库（如 SQL）的不同，必须先理解嵌入的概念。非结构化数据（如文本、图像和音频）缺乏预定义格式，给传统数据库带来挑战。为在人工智能和机器学习应用中利用这些数据，需使用嵌入技术将其转换为数字表示，嵌入就像给每个项目赋予独特代码，以捕捉其含义或本质。
2024-09-02
如果想做一个智能硬件接入豆包的话，应该怎么做？
要将智能硬件接入豆包，您可以参考以下步骤和相关信息： 1. 了解智能体的交互能力：包括大模型本身的交互能力、多 Agent 的灵活性以及 workflow 的妙用，通过引导用户输入相关信息，便于大模型理解和分析，同时注意上下文说明。 2. 构建智能体的知识体量：利用豆包大模型本身的行业数据和语料库，创建知识库（结构化数据），包括步骤一至步骤五的处理过程。您可以参考。同时，了解参赛用知识库，包括大模型 RAG 检索、大模型的选择和参数设定以及新模型的调用方法，可参考https://console.volcengine.com/ark/region:ark+cnbeijing/model?projectName=undefined&vendor=Bytedance&view=LIST_VIEW 。 3. 关注智能体的记忆能力：涉及变量和数据库等方面的信息记录。 在具体的应用场景中，如火山引擎 AI 创造者大赛中，不同赛道有不同的要求和核心目标。例如，在汽车品牌相关的赛道中： AI 座舱赛道：利用豆包大模型、扣子专业版以及吉利原子化能力，探索 AI 在智能座舱中的多样化应用，通过智能座舱内的智能体开发，满足车主定制化的需求。 AI 营销赛道：利用豆包大模型和扣子专业版，开发出能高效投放广告、精准用户画像、提升销售能力、优化线索转化智能体方案，助力汽车行业实现高效营销。 AI 售后赛道：利用豆包大模型和扣子专业版，提供创新且实际可行的智能体应用，提升汽车售后服务效率与用户体验，优化汽车售后服务体系，助力汽车行业智能化升级。 此外，在飞书多维表格 AI 共学中，也有基于豆包大模型的能力升级与产品化探索，包括大模型在综合能力、推理能力、指令遵循、代码数学专业知识和图片理解等方面的升级，以及将其能力接入多维表格的字段捷径等尝试。在使用相关功能前，可能需要注册豆包大模型账号并进行关联。
2025-01-22
在comfyUI中可以接入哪些api，又和3D相关的吗
在 ComfyUI 中可以接入以下与 3D 相关的 API： 1. @CSM_ai：可以将文本、图像或草图转换为 3D 素材，并直接应用于游戏中，无需后期处理。体验地址：https://cube.csm.ai ，https://x.com/xiaohuggg/status/1763758877999587757?s=20 2. Move AI 推出的 Move API：可以从 2D 视频生成 3D 运动数据，支持多种 3D 文件格式导出，为 AR 应用、游戏开发等提供高质量 3D 运动数据。链接：https://move.ai/api ，https://x.com/xiaohuggg/status/1761590288576061573?s=20 3. ComfyUI 3D Pack 引入 3D 图像处理：可以快速将图片转换为 3D 模型，支持多角度查看，使用 3D 高斯扩散技术提升模型质量，支持多种格式导出，集成先进 3D 处理算法。链接：https://github.com/MrForExample/ComfyUI3DPack/tree/main ，https://x.com/xiaohuggg/status/1755824687811346514?s=20 此外，ZHO 博主有关于 ComfyUI 的更新记录： 1. 4 月 18 日，ComfyUI Stable Diffusion 3 API 已更新为 V1.5 版，图生图和 SD3 Turbo 都可以正常使用，但 SD3 图生图模式不支持选择比例，SD3 Turbo 模型不支持负面提示词。使用方法是先申请 API，然后填入 config.json 文件即可（每账户 25 免费积分），SD3 每张图 6.5 积分（比较贵）。项目地址：https://github.com/ZHOZHOZHO/ComfyUIStableDiffusion3API ，SD3 API ComfyUI 节点测试成功。 2. 4 月 17 日，Stability AI 刚刚发布了 Stable Diffusion 3 和 Stable Diffusion 3 Turbo，现在已经可通过 Stability AI 开发者平台 API 使用，SAI 计划在不久的将来通过会员资格提供模型权重。详情：https://bit.ly/3W43FjY
2025-01-14
在comfyUI中可以接入哪些节点
在 ComfyUI 中可以接入以下类型的节点： 1. 输入节点： 文本提示节点：用于输入生成图像的文本描述。 图像输入节点：用于输入基础图像进行二次生成。 噪声节点：用于输入初始噪声图像。 2. 处理节点： 采样器节点：选择图像生成所使用的采样器。 调度器节点：选择图像生成所使用的调度器。 CFG Scale 节点：调整引导式采样的强度。 步数节点：设置图像生成的迭代步数。 3. 输出节点： 图像输出节点：显示生成的最终图像。 4. 辅助节点： 批处理节点：支持批量生成多个图像。 图像变换节点：提供图像旋转、翻转等功能。 图像融合节点：可以将多个图像合并成一个。 此外，还有一些特定的节点插件，如： 1. PuLID 节点插件： model：使用预训练的基础文本到图像扩散模型，如 Stable Diffusion。 pulid：加载的 PuLID 模型权重，定义 ID 信息如何插入基础模型。 eva_clip：用于从 ID 参考图像中编码面部特征的 EvaCLIP 模型。 face_analysis：使用 InsightFace 模型识别和裁剪 ID 参考图像中的面部。 image：提供的参考图像用于插入特定 ID。 method：选择 ID 插入方法，如“fidelity”（优先保真度）、“style”（保留生成风格）和“neutral”（平衡两者）。 weight：控制 ID 插入强度，范围为 0 到 5。 start_at 和 end_at：控制在去噪步骤的哪个阶段开始和停止应用 PuLID ID 插入。 attn_mask：此选项用于提供灰度掩码图像，以控制 ID 自定义的应用位置，但并不是必需输入，而是可选输入。 Advanced Node：提供了高级节点，可以通过调整 fidelity 滑块和 projection 选项进行更精细的生成调优。 2. 中文提示词输入相关节点： 安装完成后，在【新建节点】【Alek 节点】下，有【预览文本】、【绘画】、【姿态】、【clip 文本编码器】和【翻译文本】这五个节点。 【clip 文本编码器（翻译）】可代替自带的【clip 文本编码器】，直接输入中文。但引用负向 embedding 时，文件夹路径不能有中文。 【翻译文本】节点可代替【元节点】，在 sdxl 流程中，当需要将文本信息单独列出来时使用。 【预览文本】节点可连接到【翻译文本】检查翻译是否正确。 如果翻译失效，可双击“embedded_instail”进行安装，然后用记事本打开 BaiduTranslate.py，填入在百度翻译开发平台申请的 ID 和密码，即可正常翻译。
2025-01-14
可以把tripo的节点接入comfyui吗
要将 tripo 的节点接入 ComfyUI，您可以参考以下步骤： 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中（如果您在 Windows 上；否则，选择另一个文件 requirements.txt）。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键，这将安装所有所需的依赖项，使其与 ComfyUI 兼容。请注意，如果为 Comfy 使用了虚拟环境，必须首先激活它。 3. 在使用自定义节点之前，有一些要注意的事项： 您的图像必须放在一个以命名的文件夹中。那个数字很重要：LoRA 脚本使用它来创建一些步骤（称为优化步骤…但别问我是什么^^’）。它应该很小，比如 5。然后，下划线是必须的。 对于 data_path，您必须写入包含数据库文件夹的文件夹路径。例如：C:\\database\\5_myimages ，您必须写 C:\\database 。 Python 在这里需要斜杠，但节点会自动将所有反斜杠转换为斜杠。文件夹名称中的空格也不是问题。 4. 参数方面： 在第一行，您可以从 checkpoint 文件夹中选择任何模型。然而，据说您必须选择一个基本模型进行 LoRA 训练。 您选择一个名字为您的 LoRA，如果默认值对您不好，就更改这些值（epochs 数应该接近 40），然后启动工作流程！ 5. 一旦您点击 Queue Prompt，所有事情都会在命令提示符中发生。 6. 建议与字幕自定义节点和 WD14 标签一起使用。但请注意，在制作字幕时禁用 LoRA 训练节点。因为 Comfy 可能会在制作字幕之前启动训练。 7. 关于 Tensorboard：训练会在 log 文件夹中创建一个日志文件，该文件夹会在 Comfy 的根文件夹中创建。该日志可能是一个可以在 Tensorboard UI 中加载的文件。 ComfyUI 的核心是其节点式界面，节点类型包括输入节点（如文本提示节点、图像输入节点、噪声节点）、处理节点（如采样器节点、调度器节点、CFG Scale 节点、步数节点）、输出节点（如图像输出节点）、辅助节点（如批处理节点、图像变换节点、图像融合节点）。用户可以通过拖放和连接各种节点来创建自定义的图像生成工作流，还可以创建自定义节点来扩展功能，自定义节点安装目录为 D:\\ComfyUI\\custom_nodes 。ComfyUI 还提供了丰富的节点管理功能，包括保存/加载节点图、复制/粘贴节点、批量编辑等。
2025-01-14
如何把多个大模型接入一个智能体？
要将多个大模型接入一个智能体，可以参考以下步骤： 1. 理解相关概念： 统辖：是一种广义的包含关系，指普遍性理念或法则对个别事物的包容或管辖。 抽象：从具体事物中提取共同特性，形成概念。 演绎：通过逻辑推理从已知推导出新知识。 反应：对外界刺激或输入的回应或改变。 2. 统辖 prompt：在 prompt 工作流中设置普遍性、统一性或支配性原则，影响其他 prompt 的状态或行为，例如设置统一监督者角色评判其他模块，让大模型注意力集中在特定话题上以提高推理能力。 3. 利用阿里云百炼： 步骤一：创建智能体应用 进入百炼控制台中“我的应用”，单击新增应用，在智能体应用页签，单击直接创建。若之前已创建过应用，则单击右上角的新增应用。控制台页面链接：https://bailian.console.aliyun.com/?spm=5176.29619931.J__Z58Z6CX7MY__Ll8p1ZOR.1.2f3e59fciQnmL7/home 进入智能体应用管理界面后，选择大模型并进行参数配置，例如选择通义千问Max，可根据需求配置模型参数。 测试智能体应用：选择大模型后，可输入问题进行测试。 4. 在网站上增加一个 AI 助手： 创建大模型问答应用：通过创建百炼应用获取大模型的推理 API 服务。 进入百炼控制台的，在页面右侧点击新增应用，选择智能体应用并创建。在应用设置页面，模型选择通义千问Plus，其他参数保持默认，也可输入一些 Prompt 设定人设。在页面右侧提问验证模型效果，点击右上角发布。 获取调用 API 所需的凭证：在我的应用>应用列表中查看所有百炼应用 ID 并保存，在顶部导航栏右侧点击人型图标，点击 APIKEY 进入我的 APIKEY 页面，创建新 APIKEY 并保存。
2025-01-10
飞书如何接入大模型？
飞书接入大模型的步骤如下： 1. 搭建，用于汇聚整合多种大模型接口，并获取白嫖大模型接口的方法。 2. 搭建作为知识库问答系统，将知识文件放入其中，并接入上面的大模型。如果不想接入微信，搭建到这里即可，它有问答界面。 3. 搭建接入微信，并配置FastGpt将知识库问答系统接入微信。建议先用小号以防封禁风险。完成上述3步即可。 另外，对于将相关内容发布到飞书： 1. 目标是发布到飞书并在飞书中调用。 2. 尝试发布，在页面右上角点击发布，若飞书未授权则点击配置，然后再次点击发布。 3. 发布成功后可在飞书工作台中找到并使用。但可能存在与所说步骤不完全一致的情况，可通过workflow解决。 对于重度用户，工作流的最好教程参见官方文档：https://www.coze.cn/docs/guides/welcome 。工作流可以解决大模型调用写邮件插件时可能出现的速度慢和可能出错等问题，例如采取工作流+代码的组合方法，将用户原始输入直接传送给插件WebPilot，并通过另一个工作流AI Project进行样式注入等。
2025-01-07
帮我用最简单的方法解释一下时间序列模型
时间序列模型是用于分析和处理随时间变化的数据的一类模型。 例如，在评估 GPT4V 对时间序列和视频内容的理解时，会考虑其对现实世界中随时间展开的事件的理解能力，像时间预测、排序、定位、推理和基于时间的理解等。 在视频生成方面，如 Video LDM 模型，先训练图像生成器，再微调添加时间维度以生成视频。 总的来说，时间序列模型旨在理解和预测数据在时间上的变化规律和趋势。
2025-01-23
以豆包为例，如何通过API调用豆包大模型？
要通过 API 调用豆包大模型，以下是一些相关步骤和信息： 1. 直接调用大模型（之前完成过 coze 对接的同学，直接去二、百炼应用的调用）： 百炼首页：https://bailian.console.aliyun.com/ 以调用“qwenmax”模型为例，在/root/chatgptonwechat/文件夹下，打开 config.json 文件，需要更改"model"，和添加"dashscope_api_key"。 获取 key 的视频教程： 获取 key 的图文教程：以下是参考配置。 注意：需要“实名认证”后，这些 key 才可以正常使用，如果对话出现“Access to mode denied.Please make sure you are eligible for using the model.”的报错，那说明您没有实名认证，点击去，或查看自己是否已认证。 2. 创建大模型问答应用： 首先可以通过创建一个百炼应用，来获取大模型的推理 API 服务，用于实现 AI 助手。 创建应用： 进入百炼控制台的，在页面右侧点击新增应用。在对话框，选择智能体应用并创建。 在应用设置页面，模型选择通义千问Plus，其他参数保持默认。您也可以选择输入一些 Prompt，比如设置一些人设以引导大模型更好的应对客户咨询。 在页面右侧可以提问验证模型效果。不过您会发现，目前它还无法准确回答你们公司的商品信息。点击右上角的发布，我们将在后面的步骤中去解决这一问题。 获取调用 API 所需的凭证： 在我的应用>应用列表中可以查看所有百炼应用 ID。保存应用 ID 到本地用于后续配置。 在顶部导航栏右侧，点击人型图标，点击 APIKEY 进入我的 APIKEY 页面。在页面右侧，点击创建我的 APIKEY，在弹出窗口中创建一个新 APIKEY。保存 APIKEY 到本地用于后续配置。 3. 配置 FastGpt、OneAPI： 首先配置 OneAPI，还记得刚刚让您白嫖的大模型 API 吗？阿里的接口，这时要派上用场了，去阿里模型的链接里创建 ApiKey，并复制下来。然后在 OneAPI 的页面，点击【渠道】添加新渠道。添加时，类型选择阿里通义千问，名称自己取个，类型选择好后模型是会默认加进去，您不用删减，还有就把刚刚阿里那复制的 ApiKey 粘贴到秘钥里去。这样就 OK 了。后续有其他的大模型也是一样的添加方式。
2025-01-23
大模型训练方式
大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-01-23
大模型下文档投喂后，大模型是如何解读文档提取出答案？
大模型在文档投喂后解读文档并提取答案的过程通常包括以下步骤： 1. 问题解析阶段：接收并预处理问题，通过嵌入模型（如 Word2Vec、GloVe、BERT）将问题文本转化为向量，以确保问题向量能有效用于后续检索。 2. 知识库检索阶段：知识库中的文档同样向量化后，比较问题向量与文档向量，选择最相关的信息片段，并抽取相关信息传递给下一步骤。 3. 信息整合阶段：接收检索到的信息，与上下文构建形成融合、全面的信息文本。整合信息准备进入生成阶段。 4. 大模型生成回答：整合后的信息被转化为向量并输入到 LLM（大语言模型），模型逐词构建回答，最终输出给用户。 在这个过程中还包括以下信息处理步骤： 1. 信息筛选与确认：系统会对检索器提供的信息进行评估，筛选出最相关和最可信的内容，同时对信息的来源、时效性和相关性进行验证。 2. 消除冗余：识别和去除多个文档或数据源中可能存在的重复信息，以防在生成回答时出现重复或相互矛盾的信息。 3. 关系映射：分析不同信息片段之间的逻辑和事实关系，如因果、对比、顺序等，构建一个结构化的知识框架，使信息在语义上更加连贯。 4. 上下文构建：将筛选和结构化的信息组织成一个连贯的上下文环境，包括对信息进行排序、归类和整合，形成一个统一的叙述或解答框架。 5. 语义融合：在必要时，合并意义相近但表达不同的信息片段，以减少语义上的重复并增强信息的表达力。 6. 预备生成阶段：整合好的上下文信息被编码成适合生成器处理的格式，如将文本转化为适合输入到生成模型的向量形式。 最终，全新的上下文被一起传递给大语言模型。由于这个上下文包括了检索到的信息，大语言模型相当于同时拿到了问题和参考答案，通过 LLM 的全文理解，最后生成一个准确和连贯的答案。 相关概念： LLM：Large language model 的缩写，即大语言模型。 Prompt：中文译作提示词，是输入给大模型的文本内容，可以理解为和大模型说的话、下达的指令。 Token：大模型语言体系中的最小单元，不同厂商的大模型对中文文本的切分方法不同，通常 1Token≈12 个汉字，大模型的收费计算方法及对输入输出长度的限制通常以 token 为单位计量。 上下文：英文通常翻译为 context，指对话聊天内容前、后的内容信息，上下文长度和上下文窗口都会影响大模型回答的质量。
2025-01-23
SD模型
Stable Diffusion（SD）模型是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将文本输入到 SD 模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过“桥梁”CLIP Text Encoder 模型转换为机器数学信息。该模型作为 SD 模型中的前置模块，将输入文本编码生成 Text Embeddings 特征矩阵，用于控制图像生成。 目前 SD 模型使用的是中的 Text Encoder 模型，其只包含 Transformer 结构，由 12 个 CLIPEncoderLayer 模块组成，模型参数大小为 123M，输出 Text Embeddings 的维度为 77x768。 以下是相关资源获取方式： SD 模型权重：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 模型”，可获得包含多种模型权重的资源链接。 SD 保姆级训练资源：关注 Rocky 的公众号 WeThinkIn，后台回复“SDTrain”，可获得包含数据处理、模型微调训练及基于 SD 的 LoRA 模型训练代码等全套资源。 Stable Diffusion 中 VAE、UNet 和 CLIP 三大模型的可视化网络结构图：关注 Rocky 的公众号 WeThinkIn，后台回复“SD 网络结构”，即可获得网络结构图资源链接。
2025-01-22
到今天，大语言模型还会产生“幻觉”吗
截至今天，大语言模型仍会产生“幻觉”。 大语言模型偶尔会根据输入输出一些荒谬或不符合事实的内容，目前各家大语言模型在该问题上的表现都不尽如人意。产生“幻觉”的原因包括： 1. 样本存在错误（Imitative Falsehoods）：如果大语言模型学习的“教材”中有错误，它也容易给出错误回答。缓解该问题的一个办法是上采样（Up Sampling）。 2. 信息过时（Outdated Factual Knowledge）：以前正确的信息现在可能过时了。 此外，大语言模型通过训练数据猜测下一个输出结果，可能因错误数据导致给出错误答案，优质数据集对其很重要。如果在其训练过程中，模型被暴露于大量知识之中，它并没有完美地记忆所见到的信息，并不十分清楚自己的知识边界，可能会尝试回答有关深奥话题的问题，并虚构听起来有道理但实际不正确的内容。 在构建应用程序时，可以使用一些技术来避免这种情况，例如要求模型先从文本中找到相关引文，然后使用引文回答问题，并将答案追溯回源文件，这通常有助于减少“幻觉”的发生。
2025-01-22
如何构建企业AI知识库
构建企业 AI 知识库可以参考以下步骤： 1. 结合企业私有数据与 RAG 模型的私有化部署。如有特殊需求，还可以进行模型的 Finetuning（微调），以优化性能。基础模型负责提供推理提示，RAG 用于整合新知识，实现快速迭代和定制化信息检索。 2. 确定功能范围，包括编写【prompt】提示词，设定 Bot 的身份和目标。 3. 创建【知识库】： 整理“关键字”与“AI 相关资料链接”的对应关系，并将信息存储起来。 选择创建知识库路径，如个人空间知识库创建知识库。 支持的知识库文档类型包括本地文档、在线数据、飞书文档、Notion 等，可根据需求选择，如本次使用【本地文档】。 按照操作指引上传文档、分段设置、确认数据处理。 小技巧：知识库的好用程度与内容切分粒度有关，可以在内容中加上特殊分割符，如“”，便于自动切分数据。分段标识符号选择“自定义”，内容填“”。如果内容有误需要编辑，可以点击具体内容，鼠标右键会看到“编辑”和“删除”按钮进行相应操作。 在构建过程中，KnowHow 很重要，同时工作流不必复杂，能实现目的即可，所以在设计 Bot 前“确定目的”和“确定功能范围”很关键。
2025-01-23
企业标书模拟评分系统
很抱歉，目前知识库中没有关于企业标书模拟评分系统的相关内容。但一般来说，企业标书模拟评分系统通常会涉及对标书的各项指标进行量化评估，包括但不限于技术方案的可行性、项目经验、价格合理性、服务保障等方面。您可以进一步明确您关于这个系统的具体问题，以便我为您提供更有针对性的帮助。
2025-01-20
AI 做产品渲染图的工具和企业内落地使用的流程和方案是什么
以下是关于 AI 做产品渲染图的工具和企业内落地使用的流程和方案的相关内容： 工具： 等工具可帮助品牌创建引人注目的产品照片。 可制作用于电子邮件或社交媒体的营销材料。 可以编写经过 SEO 优化的产品描述。 企业内落地使用流程和方案： 1. 市场分析：利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况，处理大量数据，快速识别关键信息，如受欢迎的产品、价格区间、销量等。 2. 关键词优化：借助 AI 分析和推荐高流量、高转化的关键词，优化产品标题和描述，提高搜索排名和可见度。 3. 产品页面设计：使用 AI 设计工具，根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成：运用 AI 文案工具撰写有说服力的产品描述和营销文案，提高转化率。 5. 图像识别和优化：通过 AI 图像识别技术选择或生成高质量的产品图片，更好地展示产品特点。 6. 价格策略：利用 AI 分析不同价格点对销量的影响，制定有竞争力的价格策略。 7. 客户反馈分析：借助 AI 分析客户评价和反馈，了解客户需求，优化产品和服务。 8. 个性化推荐：依靠 AI 根据用户的购买历史和偏好提供个性化的产品推荐，增加销售额。 9. 聊天机器人：采用 AI 驱动的聊天机器人提供 24/7 的客户服务，解答疑问，提高客户满意度。 10. 营销活动分析：使用 AI 分析不同营销活动的效果，了解哪些活动更能吸引顾客并产生销售。 11. 库存管理：依靠 AI 帮助预测需求，优化库存管理，减少积压和缺货情况。 12. 支付和交易优化：利用 AI 分析不同的支付方式对交易成功率的影响，优化支付流程。 13. 社交媒体营销：借助 AI 在社交媒体上找到目标客户群体，通过精准营销提高品牌知名度。 14. 直播和视频营销：运用 AI 分析观众行为，优化直播和视频内容，提高观众参与度和转化率。
2025-01-17
AI在食品制造型企业有哪些场景可以做？
在食品制造型企业中，AI 可以应用于以下场景： 1. 质量控制：利用 AI 检测产品缺陷，确保食品质量。 2. 预测性维护：预测生产设备故障，避免生产中断。 3. 供应链管理：根据历史数据和市场变化，自动生成采购计划、库存预测和物流优化方案，提高供应链效率。 4. 产品设计和开发：借助 AI 生成工具，根据文字描述快速生成食品的包装设计、配方等元素，提高设计效率。 5. 工艺规划和优化：结合自然语言处理能力，自动生成生产工艺流程、设备选型等方案，优化生产过程。 6. 客户服务：基于对话模型的 AI 客服机器人，自动生成个性化的客户回复，提升客户体验。
2025-01-16
ai在企业的落地场景
AI 在企业中有多种落地场景，以下为您详细介绍： 1. 决策方面： 在实际企业环境中，领导者常面临平衡 AI 与人类判断以快速决策的问题。例如依赖 AI 进行销售数据分析来制定产品定价策略，但当市场环境变化时，AI 建议可能不适用。 企业领导者需认识到 AI 决策的不透明性，设立审核流程，如某公司全球化扩张时，AI 提供的局部市场数据分析建议需经领导者基于经验和洞察的审查。 为最大化 AI 优势并避免盲目依赖，企业可建立“AI 决策审核流程”，包括数据源验证、算法透明度、专家审查、伦理与社会影响评估等步骤。 2. 医疗保健领域： 医学影像分析：辅助诊断疾病。 药物研发：加速研发过程，识别潜在药物候选物和设计新疗法。 个性化医疗：分析患者数据提供个性化治疗方案。 机器人辅助手术：提高手术精度和安全性。 3. 金融服务领域： 风控和反欺诈：识别和阻止欺诈行为，降低风险。 信用评估：帮助金融机构做出贷款决策。 投资分析：分析市场数据辅助投资决策。 客户服务：提供 24/7 服务并回答常见问题。 4. 零售和电子商务领域： 产品推荐：分析客户数据进行个性化推荐。 搜索和个性化：改善搜索结果和提供个性化购物体验。 动态定价：根据市场需求调整产品价格。 聊天机器人：回答客户问题并解决问题。 5. 制造业领域： 预测性维护：预测机器故障避免停机。 质量控制：检测产品缺陷提高质量。 供应链管理：优化供应链提高效率和降低成本。 机器人自动化：控制工业机器人提高生产效率。
2025-01-13
企业级AI的现状如何了?
目前企业级 AI 的现状呈现出以下特点： 1. 应用方面：更多迁移到具体业务场景，企业重点放在自主构建应用程序上，如客户支持和内部聊天机器人等，同时也在尝试更新颖的应用，如编写消费品配方、缩小分子发现范围和进行销售推荐。 2. 资源配置和态度：企业对生成式 AI 的资源配置和态度在过去 6 个月发生显著变化，预算几乎增加两倍，将更多应用部署在较小的开源模型上，并将更多业务从早期实验转移到生产环境中。 3. 市场机会：生成式人工智能在 2023 年席卷消费市场，2024 年企业领域的收入机会预计数倍于消费市场。 4. 创新与挑战：基础模型的出现使企业构建自己的 AI 应用程序更易，但“GPT wrappers（GPT 套壳）”存在局限性。目前尚不清楚当更多面向企业的 AI 应用上市时情况是否会改变。那些能在“LLM+UI”公式之外创新，并帮助企业更好利用专有数据的应用将表现出色。 5. 赋能企业：许多公司正将 AI 融入工作流程以快速达成 KPI、扩张规模和降低成本。应用公司在 AI 50 强榜单中占据主导地位。不远的将来，有望看到 UX 和 UI 围绕 AI 的功能进行重新设计。
2025-01-11