以下是关于 RAG 的一些实践:
从OpenAI Demo day的演讲整理所得,并不能完全代表OpenAI的实际操作。在提升RAG的成功案例中,OpenAI团队从45%的准确率开始,尝试了多种方法并标记哪些方法最终被采用到生产中。他们尝试了假设性文档嵌入(HyDE)和精调嵌入等方法,但效果并不理想。通过尝试不同大小块的信息和嵌入不同的内容部分,他们将准确率提升到65%。通过Reranking和对不同类别问题特别处理的方法,他们进一步提升到85%的准确率。最终,通过提示工程、查询扩展和其他方法的结合,他们达到了98%的准确率。团队强调了模型精调和RAG结合使用时的强大潜力,尤其是在没有使用复杂技术的情况下,仅通过简单的模型精调和提示工程就接近了行业领先水平。
文本加载器就是将用户提供的文本加载到内存中,便于进行后续的处理
[title]本地部署资讯问答机器人:Langchain+Ollama+RSSHub实现RAG基于用户的问题,从向量数据库中检索相关段落,并根据设定的阈值进行过滤,最后让模型参考上下文信息回答用户的问题,从而实现RAG。|创建网页UI最后,通过gradio创建网页UI,并进行评测。生成的Web UI如下:需要上述完整代码的读者,关注本公众号,然后发送fin,即可获取github仓库代码链接。问答测试对于同样的问题和上下文,我基于Qwen-7b、Gemma、Mistral、Mixtral和GPT-4分别进行了多次测试。下面是一些case:qwengemmamistralmixtralgpt4主要结论(只是针对有限的几次测试,个人主观评判)如下:👍 GPT-4表现最好,指令遵循能力很强,在回答的时候能附上引用段落编号✌️ Mixtral表现第二,但没有在回答的时候附上引用💪 Qwen-7b表现第三,也没有在回答的时候附上引用😅 Gemma表现一般,而且回答里面有一些幻觉😅 Mistral表现一般,使用英文回复,不过在回答的时候附上了引用段落编号总结1.本文展示了如何使用Langchain和Ollama技术栈在本地部署一个资讯问答机器人,同时结合RSSHub来处理和提供资讯。2.上下文数据质量和大模型的性能决定了RAG系统性能的上限。3.RAG通过结合检索技术和生成模型来提升答案的质量和相关性,可以缓解大模型幻觉、信息滞后的问题,但并不意味着可以消除。