以下是使用 AI 工具创建个人工作知识库的方法:
私人知识库中的内容一般有两种:日常从互联网收集的优质信息和个人日常的思考以及分享。如果想基于这套知识库打造个人专属的 ChatGPT,常见的有两种技术方案:训练专有大模型和利用 RAG(检索增强生成)技术。训练专有大模型效果虽好,但存在高成本、更新难度大等缺陷,并非当下主流方案。
如果想要对知识库进行更加灵活的掌控,我们需要一个额外的软件:AnythingLLM。这个软件包含了所有Open WebUI的能力,并且额外支持了以下能力选择文本嵌入模型选择向量数据库[heading2]AnythingLLM安装和配置[content]安装地址:https://useanything.com/download当我们安装完成之后,会进入到其配置页面,这里面主要分为三步1.第一步:选择大模型1.第二步:选择文本嵌入模型1.第三步:选择向量数据库[heading2]构建本地知识库[content]AnythingLLM中有一个Workspace的概念,我们可以创建自己独有的Workspace跟其他的项目数据进行隔离。1.首先创建一个工作空间1.上传文档并且在工作空间中进行文本嵌入1.选择对话模式AnythingLLM提供了两种对话模式:Chat模式:大模型会根据自己的训练数据和我们上传的文档数据综合给出答案Query模式:大模型仅仅会依靠文档中的数据给出答案1.测试对话当上述配置完成之后,我们就可以跟大模型进行对话了[heading1]六、写在最后[content]我非常推崇的一句话送给大家:看十遍不如实操一遍,实操十遍不如分享一遍如果你也对AI Agent技术感兴趣,可以联系我或者加我的免费知识星球(备注AGI知识库)
私人知识库中内容一般有两种:日常从互联网收集的优质信息个人日常的思考以及分享如果我想基于这套知识库打造个人专属的ChatGPT该怎么做呢?这里面常见的会有两种技术方案1.训练专有大模型2.利用RAG(检索增强生成)技术初次听到这两个名词你可能有点懵,不要慌,接下来我会通俗易懂的语言让你了解他们的原理。[heading3]训练专有大模型[content]KimiChat和ChatGPT等AI聊天软件为什么能够精准的回答问题,因为他们使用了整个互联网的语料进行了训练,从而拥有了整个互联网的知识。看到这里你应该知道我想要讲什么了,对,既然能用整个互联网的知识训练出KimiChat和ChatGPT等大模型,那我能不能使用我的知识库来训练一个专有的大模型呢?当然可以!而且这样的效果是最好的。但是这并不是当下主流的方案,因为他有以下几个缺陷:高成本:训练和维护一个大型专有模型的成本非常高,需要大量的计算资源和专业知识。更新难度:如果需要更新模型的知识,需要重新训练或微调模型,这可能是一个复杂且耗时的过程下面让我们来看另一个方案:RAG(检索增强生成)
[heading5]3)创建【知识库】,整理“关键字”与“AI相关资料链接”的对应关系,并将信息存储起来。创建知识库路径:个人空间-知识库-创建知识库知识库文档类型支持:本地文档、在线数据、飞书文档、Notion等,本次使用【本地文档】按照操作指引上传文档、分段设置、确认数据处理。💡小技巧:知识库好不好用,跟内容切分粒度有很大关系,我们可以在内容中加上一些特殊分割符,比如“###”,以便于自动切分数据。分段标识符号要选择“自定义”,内容填“###”。最终的知识库结果如下,同一颜色代表同一个数据段,如果内容有误需要编辑,可以点击具体内容,鼠标右键会看到“编辑”和“删除”按钮,可以编辑或删除。[heading5]4)创建【工作流】,告诉AI机器人应该按什么流程处理信息。[content]创建工作流路径:个人空间-工作流-创建工作流“AI前线”Bot的工作流最终结果如上,本次只用到了“知识库”进行处理。工作流设计好后,先点击右上角“试运行”,测试工作流无误后,就可以点击发布啦。如果任务和逻辑复杂,可以结合左边“节点”工具来实现。比如:可以在工作流中再次调用【大模型】,总结分析知识库内容;可以调用【数据库】存储用户输入的信息;可以调用【代码】来处理复杂逻辑等等;💡个人建议:工作流不必复杂,能实现目的即可,所以在设计Bot前“确定目的”和“确定功能范围”很重要。