Chat with Wiki - 请推荐一份学习rag的资料

Answer

以下是为您推荐的学习 RAG（Retrieval-Augmented Generation，检索增强生成）的资料：

《Retrieval-Augmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf），该资料对 RAG 进行了较为全面的介绍和分析。
关于新知识的学习，您可以参考“胎教级教程：万字长文带你理解 RAG 全流程”。其中提到可以通过 Claude 帮助了解细节概念，然后再通过 Coze 搭建 Demo 来实践学习。还不知道 Coze 是什么的同学可以看公开分享：胎教级教程：万字长文手把手教你用 Coze 打造企业级知识库。
了解“RAG 是什么？”：RAG 是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型提供额外的、来自外部知识源的信息。通过检索模式为大语言模型的生成提供帮助，使生成的答案更符合要求。同时，还介绍了大模型存在的缺点以及 RAG 的优点，如数据库对数据存储和更新稳定、敏捷、可解释等。

希望这些资料对您学习 RAG 有所帮助。

Content generated by AI large model, please carefully verify (powered by aily)

References

大语言模型技术的本质导致了大模型的输出结果具有不可预测性，此外，静态的训练数据导致了大模型所掌握的知识存在截止日期，无法即时掌握最新信息。因此，当我们将大模型应用于实际业务场景时会发现，通用的基础大模型无法满足我们的实际业务需求。主要存在以下原因：知识的局限性：模型自身的知识完全源于它的训练数据，而现有的主流大模型（ChatGPT、文心一言、通义千问…）的训练集基本都是抓取网络公开的数据用于训练，对于一些实时性的、非公开的或离线的数据是无法获取到的，这部分知识也就无从具备。幻觉问题：大模型的底层原理是基于数学概率的文字预测，即文字接龙。因此大模型存在幻觉问题，会在没有答案的情况下提供虚假信息，提供过时或通用的信息，从可信度低非权威来源的资料中提供结果等。数据安全性：对于企业来说，数据安全至关重要，没有企业愿意承担数据泄露的风险，将自身的私域数据上传第三方平台进行训练。因此如何大模型落地应用时如何保障企业内部数据安全是一个重要问题。而RAG是解决上述问题的一套有效方案。它可以让大模型从权威的、预先确定的知识来源中检索、组织相关信息，更好地控制大模型生成的文本输出，并且用户可以深入了解LLM如何生成最终的结果。并且，RAG可以和微调结合使用，两者并不冲突。RAG类似于为模型提供教科书，允许它基于特定查询检索信息。这该方法适用于模型需要回答特定的询问或解决特定的信息检索任务。然而，RAG不适合教模型来理解广泛的领域或学习新的语言，格式或样式。微调类似于让学生通过广泛的学习内化知识。这种方法当模型需要复制特定的结构、样式或格式时非常有用。以下是RAG与微调从维度方面的比较：参考资料：《Retrieval-Augmented Generation for Large Language Models:A Survey》（https://arxiv.org/pdf/2312.10997.pdf）

胎教级教程：万字长文带你理解 RAG 全流程

关于新知识的学习，每个人都有自己的方法，这里我推荐我的一个方法，那就是Claude+CozeClaude大家都很清楚了，目前最强的AI大模型，一个月20美元，好用到飞起。而Coze呢则是一款AI Agent的衍生产品，对我来说他现在最大的价值就是两点依靠Coze来跟进当前AI Agent工具的发展情况，对其保持关注，发现商业化的机会做产品Demo，我有任何的想法都可以考虑在Coze中实现一个Demo还不知道Coze是什么的同学可以看我的公开分享：[胎教级教程：万字长文手把手教你用Coze打造企业级知识库](https://axsppz4oyvj.feishu.cn/wiki/ZP1wwFWhvii1sfkvcEFc2saznoh)我在学习RAG的过程首先会通过Claude帮助我了解细节的概念，然后再通过Coze搭建一个Dmeo，在动手实践中学习RAG在学习RAG的过程中，我一共创建了4个Bot：产品资料问答机器人这个Bot是利用了Coze的知识库能力，演示知识库在企业中的应用。相关资料请参考我的公开分享：[胎教级教程：万字长文手把手教你用Coze打造企业级知识库](https://axsppz4oyvj.feishu.cn/wiki/ZP1wwFWhvii1sfkvcEFc2saznoh)Query改写助手学习Bot：这里为了学习Query的改写，我专门做了一个Bot机器人进行学习Bot地址：https://www.coze.cn/store/bot/7400077517299957800?panel=1&bid=6dkpl06gg601j

问：RAG 是什么？

RAG（Retrieval-Augmented Generation），即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，它旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。简单来说，就是通过检索的模式，为大语言模型的生成提供帮助，从而使大模型生成的答案更符合要求。[heading2]为什么LLM需要RAG？[content]众所周知，大模型已经在很多领域和问题下都取得了很好的效果，那为什么还需要RAG进行检索优化呢？[heading3]LLM的缺点[content]1.LLM无法记住所有知识，尤其是长尾的。受限于训练数据、现有的学习方式，对长尾知识的接受能力并不是很高；长尾数据是指数据集中某些类别数量较少，而其他类别样本数较多的不平衡“长尾”状态。例如在自然语言处理中，一些少见的词汇出现频率很低，而常见的词汇出现频率很高。2.LLM的知识容易过时，而且不好更新。只是通过微调，模型的接受能力其实并不高而且很慢，甚至有丢失原有知识的风险；3.LLM的输出难以解释和验证。一方面最终的输出的内容黑盒且不可控，另一方面最终的结果输出可能会受到幻觉之类的问题的干扰；4.LLM容易泄露隐私训练数据。用用户个人信息训练模型，会让模型可以通过诱导泄露用户的隐私；5.LLM的规模大，训练和运行的成本都很大。[heading3]RAG的优点[content]1.数据库对数据的存储和更新是稳定的，不像模型会存在学不会的风险。2.数据库的数据更新可以做得很敏捷，增删改查可解释，而且对原有的知识不会有影响。3.数据库的内容是明确、结构化的，加上模型本身的理解能力，一般而言数据库中的内容以及检索算法不出错，大模型的输出出错的可能就大大降低。4.知识库中存储用户数据，为用户隐私数据的管控带来很大的便利，而且可控、稳定、准确。5.数据库维护起来，可以降低大模型的训练成本，毕竟新知识存储在数据库即可，不用频繁更新模型，尤其是不用因为知识的更新而训练模型。