以下是为您推荐的个人知识库软件:
此外,还有通过 GPT 打造个人知识库的方法,比如将文本转换成向量节省空间,拆分成小文本块并通过 embeddings API 转换成 embeddings 向量,在向量储存库中保存这些向量和文本块作为问答的知识库。当用户提问时,将问题转换成向量与库中向量比对,提取关联度高的文本块与问题组合成新的 prompt 发送给 GPT API 。
终于到了我最想讲的一段了,因为自从我发布了这个教程[大圣:胎教级教程:万字长文带你使用Coze打造企业级知识库](https://waytoagi.feishu.cn/wiki/CT3UwDM8OiVmOOkohPbcV3JCndb)之后,我收到的最多问题之一就是:为什么我将我的笔记全部投喂给Coze之后,他的回答很不准确呢?为了回答这个问题,我每次都要语音个10-20分钟,这也是我写这篇文章的目的,毕竟坑是自己埋下的,含着泪也要填完如果你是要利用Coze或者FastGPT等工具来搭建知识库,那么在当下的技术条件下,你一定要有个预期,当下这些平台的RAG能力仅仅对问答这种场景是友好的,其他的场景效果都差强人意~如果你需要企业级的复杂知识库场景,你可能需要找专业的团队了,他们的收费在几万到几十万不等(可以联系我,我这边有靠谱的资源)如果你想使用专门搭建个人知识库的软件,我推荐你看下的另一篇文章:[手把手教你本地部署大模型以及搭建个人知识库](https://waytoagi.feishu.cn/wiki/ZKGmwsQhTihYZ8kdu7uccF1lnQc?from=from_copylink)这篇文章你忽略本地部署大模型这一环节,你直接看其中推荐的一个软件这款软件据说效果不错(但是需要你自己对接一些额外的API),并且我建议你先了解RAG的原理再去使用,否则你可能会头大。我目前还没有深度使用,等后续使用了,我再了些教程!
如果想要对知识库进行更加灵活的掌控,我们需要一个额外的软件:AnythingLLM。这个软件包含了所有Open WebUI的能力,并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址:https://useanything.com/download当我们安装完成之后,会进入到其配置页面,这里面主要分为三步1.第一步:选择大模型1.第二步:选择文本嵌入模型1.第三步:选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念,我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式:Chat模式:大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式:大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后,我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家:看十遍不如实操一遍,实操十遍不如分享一遍如果你也对AI Agent技术感兴趣,可以联系我或者加我的免费知识星球(备注AGI知识库)
上面将文本转换成向量(一串数字)能大大节省空间,它不是压缩,可简单理解为索引(Index)。接下来就有意思了。比如我有一个大文本,可以先把它拆分成若干个小文本块(也叫chunk),通过embeddings API将小文本块转换成embeddings向量,这个向量是跟文本块的语义相关。在一个地方(向量储存库)中保存这些embeddings向量和文本块,作为问答的知识库。当用户提出一个问题时,该问题先通过embeddings API转换成问题向量,然后将这问题向量与向量储存库的所有文本块向量比对,查找距离最小的几个向量,把这几个向量对应的文本块提取出来,与原有问题组合成为新的prompt(问题/提示词),发送给GPT API。这样一来就不用一次会话中输入所有领域知识,而是输入了关联度最高的部分知识。一图胜千言,转一张原理图。再举一个极其简单的例子,比如有一篇万字长文,拆分成Chrunks包含:文本块1:本文作者:越山。xxxx。文本块2:公众号越山集的介绍:传播效率方法,分享AI应用,陪伴彼此在成长路上,共同前行。文本块3:《反脆弱》作者塔勒布xxxx。文本块4:“科技爱好者周刊”主编阮一峰会记录每周值得分享的科技内容,周五发布。...文本块n如果提问是”此文作者是谁?“。可以直观的看出上面的文本块1跟这个问题的关联度最高,文本块3次之。通过比较embeddings向量也可以得到这结论。那最后发送给GPT API的问题会类似于”此文作者是谁?从以下信息中获取答案:本文作者:越山。xxxx。《反脆弱》作者塔勒布xxxx。“这样一来,大语言大概率能回答上这个问题。