大模型接入企业数据库的相关内容如下:
原理介绍: 从文档处理角度来看,实现流程包括配置要求。
配置要求:
项目启动:
上传知识库: 左侧知识库问答中选择新建知识库,可传输 txt、pdf 等。可以调整 prompt,匹配不同的知识库,让 LLM 扮演不同的角色。例如上传公司财报,充当财务分析师;上传客服聊天记录,充当智能客服;上传经典 Case,充当律师助手;上传医院百科全书,充当在线问诊医生等等,MOSS 同理。
使用数据表: 通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过 NL2SQL 方式和代码方式进行调用,支持完整读写模式。参考以下操作,在工作流中添加并配置工作流节点。在工作流中配置数据库节点前,确保已经搭建了一个 Bot,并在这个 Bot 中创建好了数据表。
从文档处理角度来看,实现流程如下:[heading1]配置要求[content]ChatGLM-6B模型硬件需求注:模型文件下载至本地需要15 GB存储空间。|量化等级|最低GPU显存(推理)|最低GPU显存(高效参数微调)|<br>|-|-|-|<br>|FP16(无量化)|13 GB|14 GB|<br>|INT8|8 GB|9 GB|<br>|INT4|6 GB|7 GB|MOSS模型硬件需求注:模型文件下载至本地需要70 GB存储空间|量化等级|最低GPU显存(推理)|最低GPU显存(高效参数微调)|<br>|-|-|-|<br>|FP16(无量化)|68 GB|-|<br>|INT8|20 GB|-|Embedding模型硬件需求默认选用的Embedding模型[GanymedeNil/text2vec-large-chinese](https://huggingface.co/GanymedeNil/text2vec-large-chinese/tree/main)约占用显存3GB,也可修改为在CPU中运行。
运行web.py若显存不足则调整configs/model_config.py文件中LLM_MODEL参数更换模型若连接无法连接修改web.py文件末尾lauch中0.0.0.0为127.0.0.1点击URL进入UI界面[heading2]API模式启动[heading2]命令行模式启动[heading1]上传知识库[content]左侧知识库问答中选择新建知识库,可传输txt pdf等可以调整prompt,匹配不同的知识库,让LLM扮演不同的角色上传公司财报,充当[财务分析师](https://www.zhihu.com/search?q=%E8%B4%A2%E5%8A%A1%E5%88%86%E6%9E%90%E5%B8%88&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A3030429770%7D)上传客服聊天记录,充当智能客服上传经典Case,充当律师助手上传医院[百科全书](https://www.zhihu.com/search?q=%E7%99%BE%E7%A7%91%E5%85%A8%E4%B9%A6&search_source=Entity&hybrid_search_source=Entity&hybrid_search_extra=%7B%22sourceType%22%3A%22answer%22%2C%22sourceId%22%3A3030429770%7D),充当在线问诊医生等等MOSS同理
[title]数据库[heading1]使用数据表[heading2]通过工作流数据库节点操作数据表通过在工作流中添加数据库节点对数据表进行操作。在工作流中可通过NL2SQL方式和代码方式进行调用,支持完整读写模式。下图是工作流中数据库节点配置示例。当发布工作流后,在用户与Bot对话时,大语言模型会根据需要调用工作流,按照工作流中数据库节点中配置的SQL来执行数据表操作。参考以下操作,在工作流中添加并配置工作流节点。在工作流中配置数据库节点前,确保你已经搭建了一个Bot,并在这个Bot中创建好了数据表。1.单击页面顶部的工作流页签,然后单击创建工作流。2.输入工作流名称和工作流的使用描述,然后单击确认。工作流名称和描述可以帮助大语言模型理解什么场景下需要调用该工作流。1.在基础节点页签下,将数据库节点拖入到工作流配置画布区域。2.根据以下信息配置数据库节点。2.1.输入:添加SQL执行中需要的参数,可以是一个变量,也可以是一个固定值。2.2.SQL:输入要执行的SQL语句,可以直接使用输入参数中的变量。可单击自动生成使用大模型生成SQL。在弹出的页面中,选择这个数据库工作流生效的Bot和数据表,然后使用自然语言描述要执行的操作,单击自动生成生成SQL语句,最后单击使用。不支持Select*语法。不支持多表Join操作。最多返回100行数据。