本地化搭建问答机器人的流程如下:
加载所需的库和模块。其中,feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型,使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容,这里只是给了一个url,如果需要接收多个url,只要稍微改动即可。然后,通过一个专门的文本拆分器将长文本拆分成较小的块,并附带相关的元数据如标题、发布日期和链接。最终,这些文档被合并成一个列表并返回,可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里,我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型,它具有以下特点:支持超过100种语言的语义表示及检索任务,多语言、跨语言能力全面领先(M ulti-Lingual)最高支持8192长度的输入文本,高效实现句子、段落、篇章、文档等不同粒度的检索任务(M ulti-Granularity)同时集成了稠密检索、稀疏检索、多向量检索三大能力,一站式支撑不同语义检索场景(M ulti-Functionality)从hf下载好模型之后,假设放置在某个路径/path/to/bge-m3,通过下面函数,利用FAISS创建一个高效的向量存储。|实现RAG
在这种情况下,我们可能会把网站添加到书签栏,然后时不时就会打开看一下,这种做法无疑是比较低效的,一旦网站变多,更是不现实。如果我们能把真正想要关注的信息汇聚在同一个平台上,并且一旦有更新,就能第一时间在各种终端(如电脑、手机、Kindle等)收到提醒,那岂不是美哉。这里,我给大家推荐一个宝藏项目:RSSHubhttps://docs.rsshub.app/zh/感谢RSSHub这个开源项目,它给各种各样的网站生成了RSS源,堪称「万物皆可RSS」。你能想到的大部分社交媒体(如微博、Twitter、知乎等)、传统媒体(如央视新闻、路透社等)和金融媒体(如财联社、东方财富、格隆汇等),都能够配合RSSHub,进行订阅。通过RSSHub以及其他渠道,我个人维护了一个订阅源,如下:感兴趣的读者,关注本公众号,然后发送rss,即可下载我打包好的RSS订阅源。那么,有了RSS订阅源,我们就可以通过Python解析RSS订阅源来实时获取相关数据。流程拆解有了数据,就意味着成功了一半。|创建Python虚拟环境创建python虚拟环境,并安装相关库,我安装的是当前最新的库,版本如下:ollama:0.1.8langchain:0.1.14faiss-cpu:1.8.0(如果有gpu,则安装gpu版本)gradio:4.25.0feedparser:6.0.11sentence-transformers:2.6.1lxml:5.2.1|导入依赖库
1.支持多种大型语言模型:Ollama支持包括通义千问、Llama 2、Mistral和Gemma等在内的多种大型语言模型,这些模型可用于不同的应用场景。2.易于使用:Ollama旨在使用户能够轻松地在本地环境中启动和运行大模型,适用于macOS、Windows和Linux系统,同时支持cpu和gpu。3.模型库:Ollama提供了一个模型库,用户可以从中下载不同的模型。这些模型有不同的参数和大小,以满足不同的需求和硬件条件。Ollama支持的模型库可以通过https://ollama.com/library进行查找。4.自定义模型:用户可以通过简单的步骤自定义模型,例如修改模型的温度参数来调整创造性和连贯性,或者设置特定的系统消息。5.API和集成:Ollama还提供了REST API,用于运行和管理模型,以及与其他应用程序的集成选项。6.社区贡献:Ollama社区贡献丰富,包括多种集成插件和界面,如Web和桌面应用、Telegram机器人、Obsidian插件等。7.总的来说,Ollama是一个为了方便用户在本地运行和管理大型语言模型而设计的框架,具有良好的可扩展性和多样的使用场景。后面在捏Bot的过程中需要使用Ollama,我们需要先安装,访问以下链接进行下载安装。https://ollama.com/download/安装完之后,确保ollama后台服务已启动(在mac上启动ollama应用程序即可,在linux上可以通过ollama serve启动)。我们可以通过ollama list进行确认,当我们还没下载模型的时候,正常会显示空:可以通过ollama命令下载模型,目前,我下载了4个模型:几个模型简介如下: