在电脑硬件配置普通的情况下,用 AI 搭建知识库可以参考以下几种方法:
使用阿里云百炼:
使用 GPT: 要搭建基于 GPT API 的定制化知识库,涉及到给 GPT 输入(投喂)定制化的知识。但 GPT-3.5,也就是当前免费版的 ChatGPT 一次交互(输入和输出)只支持最高 4096 个 Token,约等于 3000 个单词或 2300 个汉字。为了使用 GPT 的语言能力来处理大量的领域知识,OpenAI 提供了 embedding API 解决方案。参考 OpenAI embedding documents。embeddings 是一个浮点数字的向量(列表)。两个向量之间的距离衡量它们的关联性。小距离表示高关联度,大距离表示低关联度。
使用 Dify:
接下来,我们可以尝试让大模型在面对客户问题时参考这份文档,以产出一个更准确的回答和建议。1.上传文件:在百炼控制台的[数据管理](https://bailian.console.aliyun.com/#/data-center)中的非结构化数据页签中点击导入数据,根据引导上传我们虚构的百炼系列手机产品介绍:2.根据您上传的文档大小,百炼需要一定时间解析,通常占用1~6分钟,请您耐心等待。3.1.2.建立索引:进入[知识索引](https://bailian.console.aliyun.com/#/knowledge-base),根据引导创建一个新的知识库,并选择刚才上传的文件,其他参数保持默认即可。知识库将为上一步骤中准备的文档建立索引,以便后续大模型回答时检索参考。3.选择向量存储类型时,如果您希望集中存储、灵活管理多个应用的向量数据,可选择ADB-PG。4.1.2.1.2.引用知识:完成知识库的创建后,可以返回[我的应用](https://bailian.console.aliyun.com/#/app-center)进入到刚才创建的应用设置界面,打开知识检索增强开关、选择目标知识库,测试验证符合预期后点击发布。Prompt中会被自动添加一段信息,以便大模型在后续回答时参考检索出来的信息。3.1.[heading3]4.2检验效果[content]有了参考知识,AI助手就能准确回答关于您公司的商品的问题了。
要搭建基于GPT API的定制化知识库,涉及到给GPT输入(投喂)定制化的知识。但GPT-3.5,也就是当前免费版的ChatGPT一次交互(输入和输出)只支持最高4096个Token,约等于3000个单词或2300个汉字。这点容量对于绝大多数领域知识根本不够。为了使用GPT的语言能力来处理大量的领域知识,OpenAI提供了embedding API解决方案。参考OpenAI embedding documents。[heading2]理解embeddings[content]embeddings(直译为嵌入)是一个浮点数字的向量(列表)。两个向量之间的距离衡量它们的关联性。小距离表示高关联度,大距离表示低关联度。进一步解释:向量(列表):向量是数学中表示大小和方向的一个量,通常用一串数字表示。在计算机科学和数据科学中,向量通常用列表(list)来表示。列表是一种数据结构,它包含一组有序的元素。例如,一个二维向量可以表示为[2,3],这意味着沿着两个轴的分量分别为2和3。在这里,"list"是一种编程术语,意味着一系列有序的数据。向量之间的距离:向量之间的距离是一种度量两个向量相似性的方法。有多种方式可以计算两个向量之间的距离,最常见的是欧几里得距离。欧几里得距离计算方法是将两个向量的对应元素相减,然后取平方和,再开平方。例如,向量A=[1,2]和向量B=[4,6]之间的欧几里得距离为sqrt((4-1)^2+(6-2)^2)=5。较小距离意味着高相关性,因为向量间相似度高。在OpenAI词嵌入中,靠近向量的词语在语义上相似。例如,“猫”和“狗”距离近,它们都是宠物,与“汽车”距离远,相关性低。文档上给了创建embeddings的示例上面的命令访问embeddings API接口,将input语句,转化成下面这一串浮点数字。
使用Dify构建知识库的具体步骤如下:1.准备数据:收集需要纳入知识库的文本数据,包括文档、表格等格式。对数据进行清洗、分段等预处理,确保数据质量。2.创建数据集:在Dify中创建一个新的数据集,并将准备好的文档上传至该数据集。为数据集编写良好的描述,描述清楚数据集包含的内容和特点。3.配置索引方式:Dify提供了三种索引方式供选择:高质量模式、经济模式和Q&A分段模式。根据实际需求选择合适的索引方式,如需要更高准确度可选高质量模式。4.集成至应用:将创建好的数据集集成到Dify的对话型应用中,作为应用的上下文知识库使用。在应用设置中,可以配置数据集的使用方式,如是否允许跨数据集搜索等。5.持续优化:收集用户反馈,对知识库内容和索引方式进行持续优化和迭代。定期更新知识库,增加新的内容以保持知识库的时效性。总的来说,Dify提供了一个可视化的知识库管理工具,使得构建和维护知识库变得相对简单。关键步骤包括数据准备、数据集创建、索引配置,以及将知识库集成到应用中并持续优化。内容由AI大模型生成,请仔细甄别