Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

rag教程有吗

Answer

以下为您提供关于 RAG 的教程:

首先,有一篇题为“胎教级教程:万字长文带你理解 RAG 全流程”的文章。作者大圣指出这是面向普通人的 RAG 科普,而非技术向文章。文章强调 RAG 技术在当前 AI 发展中的重要性,其衍生产品能为企业和个人带来效率提升,但也存在局限性。作者希望通过阐述 RAG 完整流程,让读者全面认知该技术,管理好预期,在使用相关产品时能充分发挥其潜力。适合包括 AI 爱好者、企业老板、AI 产品经理等人群。

其次,“【AI+知识库】商业化问答场景,让 AI 回复更准确,一篇专为所有‘小白’讲透 RAG 的实例教程(上篇)”中提到,通过一个简单的问答示例展示了有时回答不准确的情况,从而引出 RAG 这一优化回答的专业术语。接着介绍了基础概念,RAG 即检索增强生成,由检索器和生成器组成,适合处理需要广泛知识的任务。

最后,在“胎教级教程:万字长文带你理解 RAG 全流程”中还提到了 RAG 全貌概览。RAG 流程分为离线数据处理和在线检索两个过程,离线数据处理构建知识库,在线检索则是利用知识库和大模型进行查询。以构建智能问答客服为例来了解 RAG 流程中的 What 与 Why 。

Content generated by AI large model, please carefully verify (powered by aily)

References

胎教级教程:万字长文带你理解 RAG 全流程

大家好,我是大圣,一名致力于在AI时代打造超级个体的软件开发工程师。继Coze的胎教级教程之后,我再次为大家带来RAG(检索增强生成)技术的胎教级别教程。这篇文章不是一篇面向RAG研究者的技术向文章,而是面向普通人的RAG科普。这篇文章一共1.6万字,我为什么要花费大的心力写这篇文章呢?因为在当前AI技术的发展中,工作流和RAG已成为核心应用。RAG不仅是一项真正落地的AI技术,而且其衍生产品不仅服务于企业,更能为个人效率带来显著提升。然而,任何技术都有其局限性。许多人初次接触RAG时兴致勃勃,但实际使用后却失望而归。这并非RAG技术不够强大,而是因为期望过高。因此,我希望通过全面详细地阐述RAG的完整流程,让你对这项技术有更全面的认知。这样,在使用RAG相关产品时,可以更好地理解其能力边界,从而充分发挥其潜力在开始花费你的时间看这篇长文之前,我希望先管理好你的预期这是一篇关于RAG的科普性文章,我会用我一贯的文风(通俗易懂)给小白讲清楚RAG的各个环节严格来讲,这不是一篇技术向文章,为了让更多人可以听懂,我隐去了一些不重要的技术细节和术语本文适合任何人,不包括但不限于:AI爱好者/为企业寻找知识库解决方案的老板/AI产品经理等读完本文,我希望你在使用任何知识库工具的时候,对每一步操作都是清晰的,做到知其然,知其所以然废话不多说,我们开始!

【AI+知识库】商业化问答场景,让AI回复更准确,一篇专为所有“小白”讲透RAG的实例教程(上篇)

其中,她是陈美嘉,这里是人设中的设定。吵架的经过是知识库中的内容。在我提问了之后,大模型去知识库里找到了相关内容,然后回复了我。这就是一个简单的正确回复的demo示例。然而,我们会发现,有时候她的回答会十分不准确。图二明显回答的牛头不对马嘴。图三是知识库截图,其中是有“一菲为美嘉找了一份助教工作”的内容的。但是回答这个问题时,AI并没有根据正确的知识库内容回答。这,就是基于知识库问答中的一个非常常见的错误场景。在其他情况下,甚至有可能出现报价错误、胡编乱造等等。这在严肃场景中,是不能接受的出错。现在应该能够直观的理解,为什么需要让大模型根据知识库回答的更加准确、更符合我们的要求。在AI领域中,优化AI更准确回答问题的过程,有一个更加专业的术语,叫做RAG。接下来,咱们进入正题,一步一步探索,如何优化回答。二、基础概念如果我们要优化幻觉问题和提高准确性,就务必要了解清楚从“问题输入”--“得到回复”,这个过程中,究竟发生了什么。然后针对每一个环节,逐个调优,以达到效果最佳化。因此,我们先深入其中了解问答全貌。[heading3]1、RAG介绍[content]RAG(Retrieval-Augmented Generation),即检索增强生成,是一种结合信息检索和文本生成能力的技术,它由两部分组成:一个“检索器”和一个“生成器”。检索器从外部知识中快速找到与问题相关的信息,生成器则利用这些信息来制作精确和连贯的答案。这种结合使得RAG非常适合处理需要广泛知识的任务,如问答系统,能够提供详细而准确的回答。

胎教级教程:万字长文带你理解 RAG 全流程

旁白:一路千辛万苦,终于要真正了解RAG的全貌了,好激动前面的开胃菜已经完毕,这里我们进入正餐,先上一张图注:这张图引用自:https://mp.weixin.qq.com/s/37tKVQbxenVVBAeMZ334aQ公众号:AI花果山一位RAG大佬,正在编写一系列教程《RAG高效应用指南》这张图将会是我们本章的知识地图,看到这么多的概念,不要慌,我们先整体理解下RAG。自顶向下,RAG的流程分为离线数据处理和在线检索两个过程。我们前面讲到,知识库是RAG的“活字典”,可以让AI随时进行查阅。而离线数据处理的目的就是为了构建出这本“活字典”。经过离线数据后,知识则会按照某种格式以及排列方式存储在知识库中,等待被使用。而在线检索则是我们使用利用知识库+大模型进行查询的过程。在学习一门新知识的时候,是什么与为什么同等重要是什么让你知其然为什么让你知其所以然接下来我们就以RAG最经典的应用场景《构建智能问答客服》来了解RAG所有流程中的What与Why

Others are asking
RAG-Fusion
RAG(检索增强生成)是由 Lewis 等人于 2020 年中期提出的一种大语言模型领域的范式。 大型语言模型如 GPT 系列虽在自然语言处理方面取得显著成功,但仍存在局限性,如处理特定领域或高度专业化查询时易产生错误信息或“幻觉”,尤其在查询超出训练数据或需要最新信息时。 RAG 将外部数据检索整合到生成过程中,包括初始的检索步骤,查询外部数据源获取相关信息后再回答问题或生成文本,这不仅为后续生成提供信息,还能确保回答基于检索证据,从而显著提高输出的准确性和相关性。其演进轨迹分为四个阶段。 在 2017 年创始阶段,重点是通过预训练模型吸收额外知识增强语言模型。 RAG 能解决大语言模型知识局限性、幻觉问题和数据安全性等问题,可让大模型从权威知识源检索组织相关信息,更好控制文本输出,且能与微调结合使用。但 RAG 不适合教模型理解广泛领域或学习新语言、格式或样式。 LangChain 是用于构建高级语言模型应用程序的框架,提供一系列工具和组件,RAG 作为技术可在 LangChain 框架内实施利用,两者关系包括:LangChain 提供实现 RAG 必需的工具和组件;允许通过模块化组件构建 RAG 应用;简化 RAG 应用开发过程;利用其实现 RAG 可提高性能;支持构建复杂的 RAG 应用。
2025-01-02
rag高级优化
以下是关于 RAG 高级优化的相关内容: RAG 是一种结合信息检索和文本生成能力的技术,由检索器和生成器两部分组成。在生成式 AI 的发展中,RAG 发挥着重要作用。 在模型开发方面,新兴的推理技术如连锁思考、树状思考和反射正在提高模型执行更复杂推理任务的能力,缩小客户期望与模型能力的差距。迁移学习技术如 RLHF 和微调变得更加可用,开发者可从 Hugging Face 下载开源模型并微调以实现优质性能。检索增强生成(RAG)引入关于业务或用户的上下文,减少幻觉并增加真实性和实用性,像 Pinecone 这样的公司的向量数据库成为 RAG 的基础设施支柱。新的开发者工具和应用框架为创建更先进的 AI 应用提供了帮助。 对于 RAG 的改进策略和方法,在检索有用信息方面,可通过优化索引来实现。比如按照子部分索引,将文本块再拆分为较小的文本进行多次索引,适用于有多个主题和冲突信息的复杂长文本;按照文本框可以回答的问题索引,让 LLM 生成假设性问题用于索引,适用于用户问题不明确的场景;按照文本块的摘要进行索引,适用于文本框中有多余或无关细节的情况。此外,在重排 rerank 方面,大部分场景下选择最相似的信息即可。 在商业化问答场景中,有时大模型的回答会不准确,如出现牛头不对马嘴、报价错误、胡编乱造等情况。优化 AI 更准确回答问题的过程称为 RAG,了解从“问题输入”到“得到回复”的过程,针对每个环节逐个调优,可达到最佳效果。
2025-01-02
RAG优化
RAG(RetrievalAugmented Generation,检索增强生成)是一种结合检索和生成能力的自然语言处理架构。 大语言模型(LLM)需要 RAG 进行检索优化,原因在于 LLM 存在一些缺点: 1. LLM 无法记住所有知识,尤其是长尾知识,对其接受能力不高。 2. LLM 的知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证,存在黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,无学习风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,结合模型理解能力可降低大模型输出出错可能。 4. 知识库存储用户数据便于管控隐私,且可控、稳定、准确。 5. 数据库维护可降低大模型训练成本。 在商业化问答场景中,优化 AI 更准确回答问题的过程称为 RAG。RAG 由检索器和生成器组成,检索器从外部知识中找到相关信息,生成器利用这些信息生成精确连贯的答案,适合处理需要广泛知识的任务。 目前,业界针对 RAG 的优化主要围绕“问题输入”“检索相关信息”“生成回复”这三个环节开展,如通过 COT 等方式提升 LLM 对问题的理解程度,使用特定方式提升语义搜索准确率,选择和优化 embedding 算法保留原始数据信息。但即便每个环节优化到 90%,最终准确率也只有 72%。有一种不用向量也可以 RAG 的方法,基于结构化数据和 LLM 的交互,具有准确、高效、灵活、易扩展等优势。
2025-01-02
RAG搜索
RAG(Retrieval Augmented Generation,检索增强生成)是一种利用大模型能力搭建知识库的技术。以下是关于 RAG 的详细介绍: 背景:大模型训练数据有截止日期,当需要依靠不在训练集中的数据时,RAG 应运而生。 过程: 文档加载:从多种来源加载文档,如 PDF 等非结构化数据、SQL 等结构化数据、Python 等代码。 文本分割:把文档切分为指定大小的块。 存储:包括将切分好的文档块嵌入转换成向量形式,并将向量数据存储到向量数据库。 检索:通过检索算法找到与输入问题相似的嵌入片。 输出:把问题及检索出来的嵌入片提交给 LLM,生成更合理的答案。 核心组件:分为检索、增强、生成三部分。其中检索是核心组件之一,负责从外部数据源或知识库中获取与用户查询相关的信息,其质量和效率对 RAG 系统性能至关重要。涉及检索策略、检索粒度、检索方法、检索效率、外部数据源等关键概念和技术。 引入方式:可以从 AI 搜索切入来理解 RAG。AI 大模型擅长语义理解和文本总结,但不擅长获取实时信息;搜索引擎擅长获取实时信息但信息分散。AI 与搜索引擎结合,给 AI 配备知识库,类似于 RAG 原理。
2024-12-27
dify 实现rag
Dify 是一个开源的大规模语言模型(LLM)应用开发平台,具有以下特点和优势: 1. 配备 RAG 引擎,允许用户编排从代理到复杂 AI 工作流的 LLM 应用。 2. 关键特性: 快速部署,5 分钟内可部署定制化的聊天机器人或 AI 助手。 创意文档生成,能从知识库生成清晰、逻辑性强且无长度限制的文档。 长文档摘要,可轻松对长文档进行摘要。 自定义 API,能安全连接业务知识,解锁更深层次的 LLM 洞察。 连接全球 LLM。 生产就绪,比 LangChain 更接近生产环境。 开源,可被社区广泛使用和改进。 3. 资源获取:可从 Dify 的 GitHub 仓库(https://github.com/langgenius/dify.git 和 https://docs.dify.ai/)获取源代码、文档、安装指南、使用说明和贡献指南等资源。 4. 是一个结合后端即服务和 LLMOps 理念的平台,为用户提供直观界面快速构建和部署生产级别的生成式 AI 应用,具备强大工作流构建工具、广泛模型集成、功能丰富的提示词 IDE 及全面的 RAG Pipeline 用于文档处理和检索,允许定义 Agent 智能体,并通过 LLMOps 功能对应用程序性能持续监控和优化。提供云服务和本地部署选项,满足不同用户需求。其设计理念注重简单性、克制和快速迭代,个人研究可单独使用,企业级落地项目推荐多种框架结合。 5. 官方手册:https://docs.dify.ai/v/zhhans
2024-12-25
RAG
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 其核心目的是为大语言模型(LLM)提供额外的、来自外部知识源的信息,通过检索模式为大语言模型的生成提供帮助,使生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,受训练数据和学习方式限制,对长尾知识接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,加上模型理解能力,降低大模型输出出错可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统,用户提出问题,RAG 模型从大规模的文档集合中检索相关的文档,然后生成回答。 RAG 由一个“检索器”和一个“生成器”组成,检索器从外部知识中快速找到与问题相关的信息,生成器则利用这些信息来制作精确和连贯的答案,非常适合处理需要广泛知识的任务,如问答系统,能够提供详细而准确的回答。
2024-12-25
wpsAI使用教程
以下是关于 WPS AI 的使用教程: 首先,在与 GPT4 交流制作 PPT 大纲的过程中,通过自然交流体验,经过多次迭代完成大纲。之后使用 WPS AI 对大纲进行优化,其内容会丰富不少,且大纲还能二次修改。接着,利用 WPS AI 制作 PPT,不到 2 分钟即可完成,然后可直接向 WPS AI 提出修改主题配色和字体等要求,30 秒左右就能完成修改。目前 WPS AI 功能强大且免费,建议抓紧使用,不过需注意可能未来会收费。
2025-01-01
Claude的computer use功能有哪些使用教程
以下是关于 Claude 的 Computer Use 功能的使用教程: 1. 随便新建一个目录,Shift+鼠标右键,选择“Powershell”。 2. 粘贴相关内容并回车。因网络问题可能会不成功,已为您打包项目,可公众号回复“CUD”获取。 3. 下载完成后,打开 anthropicquickstarts 进入 computerusedemo 文件夹,在这个文件夹内打开“Powershell”。 4. 输入相关指令,等待下载完成。 5. 然后继续输入相关内容。 6. 打开浏览器,输入 http://localhost:8080/。注意:此时要关掉代理。您会看到相关页面,然后点击左上角打开设置。 7. 填入“API Key”点击回车即可在 Chat 页面处进行对话。(注意:此时要打开代理) 如果没有 API 的小伙伴,可以在文末留言,会抽取三个小伙伴送出充值的 API 以供体验使用,里边一共 20 刀额度,用完即止。 完成上述步骤,您就可以愉快体验了。 另外,作者自己的体验感受是,目前该功能并没有演示视频中那么完美,实际体验起来依然是一个“笨笨”的雏形状态。但当看到它根据指令不断试错、自己寻找解决方案并执行时,还是会感到震撼。Claude ComputerUse 是在接受任务后列出行动计划,并根据实时的屏幕变化进行下一步的思考、计划和操作。它可以对未知的工作进行主动探索和试错,与 RPA 有巨大的差异。目前放出的版本有非常多的能力限制,并非直接操作电脑,而是运行在一个虚拟环境中进行工作,并且被设置了一些严格的规范,不允许下载、使用、影响任何媒体。
2024-12-30
Ai入门教程
以下是为您提供的 AI 入门教程: 一、了解 AI 基本概念 建议阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。同时,浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 二、开始 AI 学习之旅 在「」中,您可以找到为初学者设计的课程,特别推荐李宏毅老师的课程。您还可以通过在线教育平台(如 Coursera、edX、Udacity)上的课程按照自己的节奏学习,并有可能获得证书。 三、选择感兴趣的模块深入学习 AI 领域广泛,涵盖图像、音乐、视频等。您可以根据自身兴趣选择特定模块深入学习,同时一定要掌握提示词的技巧,它容易上手且很有用。 四、实践和尝试 理论学习后,实践是巩固知识的关键。您可以尝试使用各种产品做出自己的作品,知识库中也有很多大家实践后的作品和文章分享,欢迎您在实践后进行分享。 五、体验 AI 产品 与现有的 AI 产品进行互动是学习 AI 的有效方式。例如,尝试使用 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,以获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 六、AI 绘画入门教程 1. 非常推荐先看 Nenly 同学的教程,相关链接: B 站:https://space.bilibili.com/1814756990 提示词宝典:BV12X4y1r7QB 模型新手包:BV1Us4y117Rg 汉化及扩展安装:BV1hz4y1a76M 学习资料链接:https://nenly.notion.site/017c3341c8b84a7ebb4c2cb16f36e28f 随堂练习素材下载: 夸克:https://pan.quark.cn/s/98b88f75cc5f 度盘:https://pan.baidu.com/s/10rzgzIjzad7AKmjw8zO_w?pwd=nely 2. 从 0 入门 AI 绘画教程: 强烈推荐,学完变大神系列章节教学视频: 课程内容: 第一节课:AI 绘画原理与基础界面 第二节课:20 分钟搞懂 Prompt 与参数设置,您的 AI 绘画“咒语”学明白了吗? 第三节课:打破次元壁!用 AI“重绘”照片和 CG 第四节课:AI 绘画模型,“画风”自由切换 第五节课:提高 AI 绘画分辨率的方式 第六节课:LoRa|Hypernetwork 概念简析 第七节课:定向修手修脸,手把手教您玩转局部重绘! 第八节课:提示词补全翻译反推,“终极”放大脚本与细节优化插件 第九节课:LoRA 从原理到实践 第十节课:零基础掌握 ControlNet!
2024-12-29
我需要关于waytoAGI的使用教程
以下是关于 waytoAGI 的使用教程: 1. 二狗子的整合包:通往 AGI 之路天命人整合包(工作流和一键包都上传了),链接:,提取码:LYAI。 2. 二狗子推荐的环境安装器,对没有魔法的小白同学比较友好,项目地址:https://github.com/11dogzi/ComfyuinodesHJGL.git 。 3. B 站 up 小黄瓜帮忙做的使用教程:【环境依赖一键安装,多种源便捷更改,解决依赖问题!】https://www.bilibili.com/video/BV1XZ421i7Nk/?share_source=copy_web&vd_source=766e97e9a72d0634f585e86f359dc8d6 。 4. 小白的 30min Cursor AI 编程上手步骤: 基础需求:需要魔法。 网址:https://www.cursor.com 。 注册:下载安装软件后,直接在页面中注册即可。
2024-12-28
小白从0学习ai的教程在哪里
以下是为小白从 0 学习 AI 提供的教程和建议: 1. 了解 AI 基本概念: 建议阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,您将找到一系列为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛(比如图像、音乐、视频等),您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。 6. 对于零基础小白: 网上有很多基础课程,您可以找找相关教程。 看一些科普类教程,比如相关视频。 阅读 OpenAI 的文档,理解每个参数的作用和设计原理。 推荐一些练手的 Prompt 工具和相关教程文档。 7. 推荐视频: 【包教包会】一条视频速通 AI 大模型原理_哔哩哔哩_bilibili:https://www.bilibili.com/video/BV17t4218761/?vd_source=3cc4af77a2ef185635e8097d3326c893 由(女神)主讲,和某知识 up 主 Genji 一起制作的免费公益课,新手友好,带你 50 分钟速通 AI 大模型原理。 用大模型保存你的全部人生,你会接受吗:专访安克创新 CEO 阳萌|大咖谈芯第 11 期_哔哩哔哩_bilibili:https://www.bilibili.com/video/BV1iT421Q7M1 某知识 up 主老石谈芯专访安克创新 CEO 阳萌的视频,一共两期,视频链接是第二期。两期内容都值得观看,访谈非常硬核。
2024-12-27
即梦AI生图教程
以下是即梦 AI 生图的教程: 1. 打开即梦 AI 官网:https://jimeng.jianying.com/aitool/home 。 2. 点击 AI 作图中的图片生成。 3. 填写绘图提示词,选择生图模型 2.1,点击立刻生成。 此外,还有即梦 AI 智能画布的相关案例,比如匡威鞋的春季海报: 以匡威春季上新为背景,将鞋子以夸张的比例融入上海城市中,体现运动和城市生活结合的“青春、城市、活力”主题。 制作步骤如下: |步骤|执行|截图| |||| |第 1 步|找了一个目标效果图| | |第 2 步|把鞋子用即梦智能画布抠图,用画布模式放到外滩背景上| | |第 3 步|使用画布模式 轮廓边缘,做融合、扩图、局部重绘,把楼绘制的好看一点| | |第 4 步|用醒图 App 增加文案| | 三步轻松上手,设计从未如此简单!释放你的创造力,成为自己心中的设计大师!快来一起玩 AI,探索 AI 的无限可能!关注「烧拍 AI」了解更多 AI 资讯!
2024-12-26