直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

如何在个人电脑中部署本地RAG

回答

在个人电脑中部署本地 RAG 可以按照以下步骤进行：

  1. 加载所需的库和模块：
    • 确保 ollama 服务已开启并下载好模型，ollama 用于在 python 程序中跑大模型。
    • feedparse 用于解析 RSS 订阅源。
  2. 从订阅源获取内容：
    • 函数用于从指定的 RSS 订阅 url 提取内容，如需接收多个 url 可稍作改动。
    • 通过专门的文本拆分器将长文本拆分成较小的块，并附带相关元数据，如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，用于进一步的数据处理或信息提取任务。
  3. 为文档内容生成向量：
    • 使用文本向量模型 bge-m3，从 hf 下载好模型后放置在指定路径，如 /path/to/bge-m3，通过函数利用 FAISS 创建一个高效的向量存储。
  4. 创建 Python 虚拟环境：
    • 创建 python 虚拟环境，并安装相关库，版本如下：
      • ollama：0.1.8
      • langchain：0.1.14
      • faiss-cpu：1.8.0（有 gpu 则安装 gpu 版本）
      • gradio：4.25.0
      • feedparser：6.0.11
      • sentence-transformers：2.6.1
      • lxml：5.2.1
  5. 导入依赖库。
  6. 基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现 RAG。
  7. 创建网页 UI：通过 gradio 创建网页 UI，并进行评测。
  8. 问答测试：对于同样的问题和上下文，基于 Qwen-7b、Gemma、Mistral、Mixtral 和 GPT-4 分别进行多次测试。 总结：
  9. 本文展示了如何使用 Langchain 和 Ollama 技术栈在本地部署一个资讯问答机器人，同时结合 RSSHub 来处理和提供资讯。
  10. 上下文数据质量和大模型的性能决定了 RAG 系统性能的上限。
  11. RAG 通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG加载所需的库和模块。其中，feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型，使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容，这里只是给了一个url，如果需要接收多个url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里，我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型，它具有以下特点：支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（M ulti-Lingual）最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（M ulti-Granularity）同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（M ulti-Functionality）从hf下载好模型之后，假设放置在某个路径/path/to/bge-m3，通过下面函数，利用FAISS创建一个高效的向量存储。|实现RAG

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG在这种情况下，我们可能会把网站添加到书签栏，然后时不时就会打开看一下，这种做法无疑是比较低效的，一旦网站变多，更是不现实。如果我们能把真正想要关注的信息汇聚在同一个平台上，并且一旦有更新，就能第一时间在各种终端（如电脑、手机、Kindle等）收到提醒，那岂不是美哉。这里，我给大家推荐一个宝藏项目：RSSHubhttps://docs.rsshub.app/zh/感谢RSSHub这个开源项目，它给各种各样的网站生成了RSS源，堪称「万物皆可RSS 」。你能想到的大部分社交媒体（如微博、Twitter、知乎等）、传统媒体（如央视新闻、路透社等）和金融媒体（如财联社、东方财富、格隆汇等），都能够配合RSSHub，进行订阅。通过RSSHub以及其他渠道，我个人维护了一个订阅源，如下：感兴趣的读者，关注本公众号，然后发送rss，即可下载我打包好的RSS订阅源。那么，有了RSS订阅源，我们就可以通过Python解析RSS订阅源来实时获取相关数据。流程拆解有了数据，就意味着成功了一半。|创建Python虚拟环境创建python虚拟环境，并安装相关库，我安装的是当前最新的库，版本如下：ollama：0.1.8langchain：0.1.14faiss-cpu：1.8.0（如果有gpu，则安装gpu版本）gradio：4.25.0feedparser：6.0.11sentence-transformers：2.6.1lxml：5.2.1|导入依赖库

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

[title]本地部署资讯问答机器人：Langchain+Ollama+RSSHub实现RAG基于用户的问题，从向量数据库中检索相关段落，并根据设定的阈值进行过滤，最后让模型参考上下文信息回答用户的问题，从而实现RAG。|创建网页UI最后，通过gradio创建网页UI，并进行评测。生成的Web UI如下：需要上述完整代码的读者，关注本公众号，然后发送fin，即可获取github仓库代码链接。问答测试对于同样的问题和上下文，我基于Qwen-7b、Gemma、Mistral、Mixtral和GPT-4分别进行了多次测试。下面是一些case：qwengemmamistralmixtralgpt4主要结论（只是针对有限的几次测试，个人主观评判）如下：👍 GPT-4表现最好，指令遵循能力很强，在回答的时候能附上引用段落编号✌️ Mixtral表现第二，但没有在回答的时候附上引用💪 Qwen-7b表现第三，也没有在回答的时候附上引用😅 Gemma表现一般，而且回答里面有一些幻觉😅 Mistral表现一般，使用英文回复，不过在回答的时候附上了引用段落编号总结1.本文展示了如何使用Langchain和Ollama技术栈在本地部署一个资讯问答机器人，同时结合RSSHub来处理和提供资讯。2.上下文数据质量和大模型的性能决定了RAG系统性能的上限。3.RAG通过结合检索技术和生成模型来提升答案的质量和相关性，可以缓解大模型幻觉、信息滞后的问题，但并不意味着可以消除。

其他人在问
有没有RAG 基本架构的中文图示
以下是关于 RAG 基本架构的介绍： RAG 是当今大多数现代人工智能应用程序的标准架构。以 Sana 的企业搜索用例为例，其工作原理如下： 1. 应用程序加载和转换无结构文件（如 PDF、幻灯片、文本文件），跨越企业数据孤岛（如 Google Drive 和 Notion），通过数据预处理引擎（如 Unstructured）转换为 LLM 可查询格式。 2. 这些文件被“分块”成更小的文本块，作为向量嵌入并存储在数据库（如 Pinecone）中，以实现更精确的检索。 3. 当用户提出问题时，系统检索语义上最相关的上下文块，并将其折叠到“元提示”中，与检索到的信息一起馈送给 LLM。 4. LLM 从检索到的上下文中合成答复返回给用户。 RAG 的基本概念： RAG 是一种结合了检索和生成的技术，能让大模型在生成文本时利用额外的数据源，提高生成的质量和准确性。其基本流程为： 首先，给定用户输入（如问题或话题），RAG 从数据源中检索出相关文本片段（称为上下文）。 然后，将用户输入和检索到的上下文拼接成完整输入传递给大模型（如 GPT），输入通常包含提示，指导模型生成期望输出（如答案或摘要）。 最后，从大模型的输出中提取或格式化所需信息返回给用户。
2024-10-17
基于飞书的知识库RAG的搭建，需要什么接口进行全文搜索
基于飞书的知识库 RAG 搭建，可用于全文搜索的接口方式主要有以下几种： 1. 语义检索：语义匹配关注查询和文档内容的意义，而非仅仅表面的词汇匹配。通过向量的相似性来判断语义的相似性。 2. 全文检索：这是基于关键词的检索方式。例如，对于句子“猫的饮食习惯包括吃鱼和鸡肉”，输入“猫”“饮食”“猫的饮食习惯”“吃鱼”等关键词可搜索到该句子，但输入“猫喜欢吃什么呀”则无法搜索到。 3. 混合检索：结合了语义匹配和全文检索的优点，通常系统先进行全文检索获取初步结果，然后再对这些结果进行语义匹配和排序。 此外，在本地部署资讯问答机器人实现 RAG 时，会涉及加载所需的库和模块，如 feedparse 用于解析 RSS 订阅源，ollama 用于在 python 程序中跑大模型。还会为文档内容生成向量，如使用文本向量模型 bgem3 等。 在开发 LangChain 应用开发指南中，实现 LangChain 和 RAG 的结合时，需要加载数据、分割文档、转换嵌入并存储到向量存储器、创建检索器以及聊天模型等步骤。
2024-10-17
知识图片与RAG
RAG 分为离线数据处理和在线检索两个过程。离线数据处理旨在构建知识库，就像准备一本“活字典”，知识会按特定格式和排列方式存储在其中以待使用。在线检索则是利用知识库和大模型进行查询的过程。 LangChain 是专注于大模型应用开发的平台，提供一系列组件和工具帮助构建 RAG 应用，包括： 1. 数据加载器（DocumentLoader）：能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据）的文档对象。 2. 文本分割器（DocumentSplitter）：将文档对象分割成多个小文档对象，方便后续检索和生成，因大模型输入窗口有限，短文本更易找相关信息。 3. 文本嵌入器（Embeddings）：将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索。 4. 向量存储器（VectorStore）：存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：基于大模型如 GPT3，根据输入序列生成输出消息。 使用 LangChain 构建 RAG 应用的一般流程如下：（具体流程未给出）
2024-10-11
RAG什么意思
RAG 是检索增强生成（RetrievalAugmented Generation）的缩写，是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。 RAG 的最常见应用场景包括知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 大模型存在一些缺点，如无法记住所有知识尤其是长尾知识、知识容易过时且不好更新、输出难以解释和验证、容易泄露隐私训练数据、规模大导致训练和运行成本高，而 RAG 具有一些优点，如数据库对数据的存储和更新稳定、数据更新敏捷且可解释、能降低大模型输出出错的可能、便于管控用户隐私数据、可降低大模型的训练成本。 一个 RAG 的应用可以抽象为 5 个过程：文档加载（从多种不同来源加载文档）、文本分割（把文档切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量形式并存储到向量数据库）、检索（通过检索算法找到与输入问题相似的嵌入片）、输出（把问题以及检索出来的嵌入片一起提交给 LLM 生成答案）。
2024-10-08
什么是RAG技术
RAG 是检索增强生成（RetrievalAugmented Generation）的缩写，是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给 AI 大模型，让大模型“知道”我们的私有知识，变得越来越“懂”我们。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。 RAG 由两部分组成：一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案。这种结合使得 RAG 非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。 一个 RAG 的应用可以抽象为 5 个过程： 1. 文档加载（Document Loading）：从多种不同来源加载文档。 2. 文本分割（Splitting）：把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储（Storage）：包括将切分好的文档块进行嵌入（Embedding）转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2024-10-06
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大语言模型（LLM）需要 RAG 进行检索优化的原因在于 LLM 存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳，还存在丢失原有知识的风险。 3. 输出难以解释和验证，结果可能受幻觉等问题干扰，且内容黑盒不可控。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，增删改查可解释，对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本。 RAG 在 Natural Questions、WebQuestions 和 CuratedTrec 等基准测试中表现出色，在使用 MSMARCO 和 Jeopardy 问题进行测试时，生成的答案更符合事实、具体且多样，FEVER 事实验证使用 RAG 后也有更好结果。基于检索器的方法越来越流行，常与 ChatGPT 等流行 LLM 结合使用以提高能力和事实一致性。 在商业化问答场景中，优化 AI 更准确回答问题的过程中，RAG 是一个专业术语。RAG 由检索器和生成器组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息制作精确连贯的答案，适合处理需要广泛知识的任务，能提供详细准确的回答。
2024-10-01
有没有一款AI可以管理个人电脑上存储的各类文件，并且根据这些文件形成个人知识库，方便用户进行搜索、总结、创新等工作？
是的，市面上存在一些AI工具，它们可以帮助管理个人电脑上存储的各类文件，并将这些文件组织成个人知识库，以便于搜索、总结和创新。以下是一些具有这些功能的AI工具或软件： 1. Evernote（印象笔记）： 一个流行的笔记应用，支持跨平台同步，可以存储文本、图片、网页和语音等多种形式的内容。 2. Notion： 一个强大的工作区管理工具，支持笔记、数据库、看板、日历等，可以用来组织个人知识库。 3. Obsidian： 一款基于Markdown的知识管理和笔记应用，支持链接思维和网络化知识结构。 4. Zettlr： 一个面向研究人员和作家的笔记工具，支持引用管理和知识图谱。 5. Devonthink： 一款专业的信息管理软件，支持文档索引、全文搜索和AI辅助的自动分类。 6. OneNote（微软OneNote）： 微软提供的数字笔记本，支持笔记、绘图和文档整理。 7. Trello： 一个看板式的项目管理工具，也可以用来管理个人知识库。 8. Airtable： 一个灵活的数据库工具，结合了电子表格和数据库的功能，支持丰富的字段类型和自定义视图。 9. Google Keep（谷歌便签）： 一个简单的笔记应用，支持文本、图片和语音笔记，可以快速记录想法。 10. Bear： 一款美观的笔记应用，支持Markdown和标签系统，适合个人知识管理。 11. RemNote： 一个专注于学习和记忆的笔记应用，支持双向链接和间隔重复学习。 12. Nuclear： 一个知识管理和搜索工具，支持全文搜索、标签和自定义元数据。 这些工具通常具备强大的搜索功能、标签系统、引用管理、自动分类和AI辅助的整理功能，可以帮助用户高效地管理和利用个人知识库。选择合适的工具时，需要考虑个人的需求、使用习惯和偏好。随着AI技术的发展，这些工具的功能也在不断增强，为用户提供更加智能化的知识管理体验。
2024-06-23
dify的部署和ollama联动
以下是关于 Dify 与 Ollama 联动部署的相关信息： Ollama 的特点和功能： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 CPU 和 GPU。 3. 提供模型库，用户可从中下载不同参数和大小的模型，通过 https://ollama.com/library 查找。 4. 支持自定义模型，可修改温度参数调整创造性和连贯性，或设置特定系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 的安装和使用： 1. 访问 https://ollama.com/download/ 下载安装。 2. 安装完后，确保 Ollama 后台服务已启动。在 Mac 上启动 Ollama 应用程序，在 Linux 上通过 ollama serve 启动。可通过 ollama list 确认。 3. 通过 ollama 命令下载模型。 Google Gemma 的本地部署： 1. 进入 ollama.com 下载程序并安装（支持 Windows、Linux 和 macOS）。 2. 在命令提示符中输入 ollama v 检查版本，安装完成后版本应为 0.1.26。 3. 输入 cls 清空屏幕，然后输入 ollama run gemma 运行模型（默认是 2b），首次需要下载。若想用 7b，运行 ollama run gemma:7b 。 4. 完成后可直接对话。2b 反应速度快但互动话题有限，7b 输出内容质量相对高但可能卡顿，对非英文语种反馈不稳定。 5. 常用内部指令：/set 显示设置界面可调整的设置项；/show 显示模型信息；/load <model> 加载已有模型；/bye 退出。 整体框架设计思路： 可先采取 Langchain + Ollama 的技术栈作为 demo 实现，后续也可考虑使用 dify、fastgpt 等更直观易用的 AI 开发平台。本次开发的运行环境是 Intel Mac，其他操作系统也可行。下载模型等可能需要梯子。 Langchain 简介： Langchain 是当前大模型应用开发的主流框架之一，提供一系列工具和接口，使与 LLM 交互变简单。其核心在于“链”概念，是模块化组件系统，包括 Model I/O、Retrieval、Chains、Agents、Memory 和 Callbacks 等组件，可灵活组合支持复杂应用逻辑。其生态系统还包括 LangSmith、LangGraph 和 LangServe 等工具，帮助开发者高效管理从原型到生产的各个阶段以优化 LLM 应用。
2024-10-08
如在腾讯云上部署ollama
以下是在腾讯云上部署 Ollama 的详细步骤： 一、下载并安装 Ollama 1. 根据您的电脑系统，点击进入 https://ollama.com/download 下载 Ollama。 2. 下载完成后，双击打开，点击“Install”。 3. 安装完成后，将下方地址复制进浏览器中。如果出现下方字样，表示安装完成：http://127.0.0.1:11434/ 二、下载 qwen2:0.5b 模型（0.5b 是为了方便测试，下载快，自己设备充足的话，可以下载更大的模型） 1. 如果您是 Windows 电脑，点击 win+R，输入 cmd，点击回车。如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 2. 复制以下命令行，粘贴进入，点击回车。 3. 回车后，会开始自动下载，等待完成。（这里下载久了，可能会发现卡着不动，不知道下载了多少了。鼠标点击一下窗口，键盘点空格，就会刷新了） 4. 下载完成后您会发现，大模型已经在本地运行了。输入文本即可进行对话。 三、下载 Open WebUI 1. 回到桌面，再打开一个新的终端窗口（可以放心多个窗口，不会互相影响）。如果您是 Windows 电脑，点击 win+R，输入 cmd，点击回车。如果您是 Mac 电脑，按下 Command（⌘）+ Space 键打开 Spotlight 搜索，输入“Terminal”或“终端”，然后从搜索结果中选择“终端”应用程序。 2. 将以下命令输入，等待下载。 3. 出现相关图示，即是下载完成。 4. 点击或复制下方地址进入浏览器：http://localhost:3000/auth/ 5. 点击进行注册即可，注册输入昵称、邮箱、密码。注册完即可登录进入。 6. 登入后，看到如下页面，点击顶部的 Model，选择“llama3:8b”。 7. 完成。您已经拥有了一个属于自己的本地大语言模型。可以开始与他对话啦！ 四、部署 Google Gemma 1. 首先进入 ollama.com，下载程序并安装（支持 windows，linux 和 macos）。 2. 查找 cmd 进入命令提示符，输入 ollama v 检查版本，安装完成后版本应该显示 0.1.26。 3. 输入 cls 清空屏幕，接下来直接输入 ollama run gemma 运行模型（默认是 2b），首次需要下载，需要等待一段时间，如果想用 7b，运行 ollama run gemma:7b 。 4. 完成以后就可以直接对话了，2 个模型都安装以后，可以重复上面的指令切换。
2024-09-27
部署本地知识库有哪些开源的
以下是一些关于部署本地知识库的开源相关信息： 在“手把手教你本地部署大模型以及搭建个人知识库”中提到： 利用大模型的能力搭建知识库本身就是一个 RAG 技术的应用。在这个过程中，首先检索外部数据，然后在生成步骤中将这些数据传递给 LLM。RAG 的应用可抽象为 5 个过程，包括文档加载（从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器）、文本分割（把 Documents 切分为指定大小的块）、存储（将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库）、检索（通过某种检索算法找到与输入问题相似的嵌入片）。 文中还介绍了如何使用 Ollama 一键部署本地大模型、通过搭建本地的聊天工具了解 ChatGPT 的信息流转、如何通过 AnythingLLM 这款软件搭建完全本地化的数据库。 智谱·AI 开源了以下模型： WebGLM10B：利用百亿参数通用语言模型（GLM）提供高效、经济的网络增强型问题解答系统。它旨在通过将网络搜索和检索功能集成到预训练的语言模型中，改进现实世界的应用部署。 WebGLM2B：与 WebGLM10B 类似。 MathGLM2B：在训练数据充足的情况下，20 亿参数的 MathGLM 模型能够准确地执行多位算术运算，准确率几乎可以达到 100%，其结果显著超越最强大语言模型 GPT4 在相同测试数据上 18.84%的准确率。
2024-09-24
如何本地部署大模型搭建个人知识库
以下是关于本地部署大模型搭建个人知识库的详细步骤： 一、Ollama 的安装以及大模型下载 安装完成 Ollama 后，在命令行中运行如下命令即可：。考虑机器配置及不同版本的内存要求，可选择 7b 参数的模型。运行大模型时，Ollama 会自动下载大模型到本地。 二、RAG 是什么 利用大模型的能力搭建知识库属于 RAG 技术的应用。在进行本地知识库的搭建实操前，需对 RAG 有大概了解。大模型的训练数据有截止日期，当需要依靠不在训练集中的数据时，主要通过检索增强生成 RAG（Retrieval Augmented Generation）实现。RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档。LangChain 提供 100 多种不同的文档加载器，包括 PDF 等非结构化数据、SQL 等结构化数据以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或“文档片”。 3. 存储：涉及两个环节，分别是将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 三、通过 Open WebUI 使用大模型 1. 首先访问相关网址，打开页面时使用邮箱注册账号。 2. 登陆成功后，Open WebUI 一般有两种使用方式，第一种是聊天对话，第二种是 RAG 能力，即让模型根据文档内容回答问题，这是构建知识库的基础之一。若要求不高，已搭建本地大模型并通过 Web UI 实现对话功能。ChatGPT 访问速度快且回答效果好的原因在于其服务器配置高、训练参数多、数据更优及训练算法更好。若想更灵活掌握知识库，请继续探索。
2024-09-24
dify私有化部署
以下是关于 Dify 私有化部署的相关信息： 1. 部署步骤： 通过云服务器进行部署，相关命令在宝塔面板的终端安装，例如在/root/dify/docker 目录下的 dockercompose 文件。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 以解决。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），随便填写邮箱密码建立知识库并进行设置。 2. 模型选择与配置： 可以选择国内有免费额度的模型，如智谱 AI。 以智谱 AI 为例，在其官网用手机号注册，添加 API keys 并查看免费额度，将钥匙复制保存。 随便创建应用，可先选择智谱 glm4 测试，然后点发布。 创建并复制 api 秘钥。 3. Dify 特点： 作为开源应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟可在本地完成部署。 支持本地部署和云端应用，能应对工作流、智能体、知识库等。 本地部署需自行处理模型接入等问题，包括购买 API、接入不同类型模型，构建个人知识库时还需考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20
dify部署
以下是关于 Dify 部署的相关信息： 1. 可以通过云服务器来部署 Dify。相关命令在宝塔面板的终端安装，比如在/root/dify/docker 目录下的 dockercompose 文件，可修改并学习其中文件的意思。若 docker compose ps 时发现 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决，要确保前一步成功再进行下一步。 2. 部署完成后，在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后面的:8888），随便填写邮箱密码建立知识库并进行设置。 3. 选择模型时，国内模型有免费额度，以智谱 AI 为例，点设置从其获取钥匙，在智谱官网用手机号注册，添加 API keys 并复制，查看免费额度，回到部署页面复制钥匙保存，创建应用。可先选择智谱 glm4 测试，有回应后点发布，创建并复制 api 秘钥。 4. Dify 是开源的私人定制类 AI 应用，易用性出色且功能强大，安装过程简单快捷，熟练用户约 5 分钟能在本地完成部署。它支持本地部署和云端应用，能应对工作流、智能体和知识库等，但本地部署需自行处理模型接入等问题，构建个人知识库时要考虑数据量、嵌入质量和 API 费用等因素。
2024-09-20