Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

如何利用飞书构建RAG系统

Answer

以下是关于如何利用飞书构建 RAG 系统的相关内容:

RAG 的常见误区

  • 随意输入任何文档就能得到准确回答:这是常见误区,RAG 流程包含离线环节(文档解析、切割及向量化写入向量数据库)和在线检索环节(用户问题理解、初步检索、重排序及大模型生成),任何环节都会影响最终质量,有效实现 RAG 系统需要考虑多个复杂因素,如文档预处理、高效索引、相关性排序等,需要专业知识和持续优化。
  • RAG 完全消除了 AI 的幻觉:虽然 RAG 可以显著减少幻觉,但并不能完全消除,只要有大模型参与,就有可能产生幻觉。
  • RAG 不消耗大模型的 Token 了:从大模型生成结果环节可以看出,最终还是将知识库中检索的结果给到 LLM,然后由 LLM 进行重新整理输出,所以 RAG 仍然消耗大模型的 Token。

本地部署资讯问答机器人:Langchain + Ollama + RSSHub 实现 RAG

  • 加载所需的库和模块,如 feedparse 用于解析 RSS 订阅源,ollama 用于在 python 程序中跑大模型,使用前需确保 ollama 服务已开启并下载好模型。
  • 从订阅源获取内容,通过函数从指定的 RSS 订阅 url 提取内容,将长文本拆分成较小的块,并附带相关元数据,最终合并成列表返回。
  • 为文档内容生成向量,使用文本向量模型 bge-m3,从 hf 下载好模型后,通过函数利用 FAISS 创建高效的向量存储。

RAG 性能提升策略和评估方法(产品视角)

  • 前言:RAG 是检索增强生成的缩写,是结合检索模型和生成模型的技术,核心目的是把知识告诉给 AI 大模型,让其“懂”我们,核心流程是根据用户提问从私有知识中检索相关内容,与用户提问一起放入 prompt 中提交给大模型,常见应用场景如知识问答系统。
Content generated by AI large model, please carefully verify (powered by aily)

References

胎教级教程:万字长文带你理解 RAG 全流程

RAG技术无疑是AI领域的一个重要技术,但了解其局限性和正确使用方法同样重要。这一章节,我们来聊聊大家在学习了RAG了之后常见的一些误区。[heading2]随意输入任何文档就能得到准确回答[content]这是最常见的误区,这也是我写这篇文章的一个主要原因之一。很多人在了解了RAG之后,尤其是看过很多营销号的内容之后,感觉像捡到了宝贝。这会给人一种错觉:好像随意的输入任何文档就可以得到准确的回答。上文我们已经讲了RAG的流程,主要包含:离线环节:文档解析,文档切割以及向量化写入向量数据库在线检索环节:用户问题理解、初步检索、重排序以及大模型生成上述的任何一环节而言都会影响RAG的最终质量。尽管RAG的基本概念不难理解,但有效实现RAG系统需要考虑多个复杂因素,如文档预处理、高效索引、相关性排序等。这些都需要专业知识和持续优化[heading2]RAG完全消除了AI的幻觉[content]虽然RAG可以显著减少幻觉,但并不能完全消除。模型仍可能在检索到的信息基础上进行不当的推理或生成错误信息。简单来讲:只要有大模型参与,就有可能产生幻觉[heading2]RAG不消耗大模型的Token了[content]从上面的最后大模型生成结果环节可以看出,最终还是将知识库中检索的结果给到LLM。然后由LLM进行重新整理输出,所以RAG仍然是消耗大模型的Token的请注意:RAG技术并不是简单的将知识库的内容直接检索出来给到用户,而是要经过大模型的处理,从而生成上下文更通顺的回答

本地部署资讯问答机器人:Langchain+Ollama+RSSHub 实现 RAG

加载所需的库和模块。其中,feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型,使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容,这里只是给了一个url,如果需要接收多个url,只要稍微改动即可。然后,通过一个专门的文本拆分器将长文本拆分成较小的块,并附带相关的元数据如标题、发布日期和链接。最终,这些文档被合并成一个列表并返回,可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里,我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型,它具有以下特点:支持超过100种语言的语义表示及检索任务,多语言、跨语言能力全面领先(M ulti-Lingual)最高支持8192长度的输入文本,高效实现句子、段落、篇章、文档等不同粒度的检索任务(M ulti-Granularity)同时集成了稠密检索、稀疏检索、多向量检索三大能力,一站式支撑不同语义检索场景(M ulti-Functionality)从hf下载好模型之后,假设放置在某个路径/path/to/bge-m3,通过下面函数,利用FAISS创建一个高效的向量存储。|实现RAG

RAG性能提升策略和评估方法(产品视角)

作者:牛大局原文:[RAG性能提升策略和评估方法(产品视角)](https://iac2rhlh02p.feishu.cn/wiki/WL4Lwx5dyigl4zkZQojc7esQnWf)[heading1]一、前言[content]相信经过一年的知识沉淀,RAG是什么大家都不陌生了。RAG是检索增强生成(Retrieval-Augmented Generation)的缩写,它是一种结合了检索模型和生成模型的技术。其核心目的是通过某种途径把知识告诉给AI大模型,让大模型“知道”我们的私有知识,变得越来越“懂”我们。RAG的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。RAG的最常见应用场景知识问答系统:RAG可以用于构建问答系统,用户提出问题,RAG模型从大规模的文档集合中检索相关的文档,然后生成回答。

Others are asking
在coze中如何接入飞书插件
在 Coze 中接入飞书插件的步骤如下: 1. 企业微信群聊机器人插件: 到语聚 ai 的第三方 api 集成平台上添加工具动作。 在平台上测试相关动作,获得返回的 API 请求的 python 代码。 按步骤集成到 Coze 的插件创建平台中。 2. 飞书多维表格插件: 使用 Coze 在 Coze IDE 中创建模式创建插件。 根据飞书开放者文档的要求在 Coze IDE 平台中用 handler 的方式编写 python 代码,配置项目依赖。 在 metadata 中配置输入和输出端信息。 最后测试发布成功。 此外,还有以下相关内容供您参考: 1. 通过已有服务 api 创建 Coze 插件: 进入 Coze,个人空间中,选择插件。新建一个插件,起个名字 api_1(名字可随意,描述叫 test)。 在插件的 URL 部分,填入刚才 ngrok 随机生成的 https 的链接地址。 按照指引配置输出参数,测试后发布插件。 手捏插件搞定之后,就可以创建 bot,将创建的插件接进来,在 prompt 里面让它调用插件。 2. 大聪明的保姆级教程: 先创建第一个 bot,然后不断精进。 如创建一个 Coze Bot 帮查阅 Hacker News 并中文返回,可引入联网插件 WebPilot 实现。
2024-12-23
如何用coze的智能体自动存储在飞书智能表格里
要将 Coze 的智能体自动存储在飞书智能表格里,可参考以下步骤: 1. 前期准备: 设计 AI 稍后读助手的方案思路,包括简化“收集”,实现跨平台收集功能,支持电脑(web 端)、安卓、iOS 多端操作,输入 URL 完成收集,借鉴微信文件传输助手通过聊天窗口输入;自动化“整理入库”,系统在入库时自动整理每条内容的关键信息,包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态,且支持跨平台查看;智能“选择”推荐,根据收藏记录和用户阅读兴趣生成阅读计划。 发现同在字节生态中的 Coze、飞书、飞书多维表格可构建完整的 AI 工作流,通过飞书机器人与 Coze 搭建的智能体对话,在聊天窗口完成链接输入和阅读计划输出,由 Coze 调用大模型、插件完成内容整理、推荐,利用飞书多维表格存储和管理稍后读数据,理论上无需开发插件、APP 就能实现跨平台的稍后读收集与智能阅读计划推荐。 2. 逐步搭建 AI 智能体: 搭建整理入库工作流,设置大模型节点提取稍后读元数据,使用 MiniMax 6.5s 245k,设置最大回复长度至 50000 以解析长内容网页。 进行日期转时间戳,使用「日期转时间戳time_stamp_13」插件进行格式转化,因后续的飞书多维表格插件节点入库日期字段只支持 13 位时间戳。 把稍后读元数据转换为飞书多维表格插件可用的格式,飞书多维表格插件目前只支持带有转义符的 string,以 Array<Object>格式输入,需将元数据数组进行格式转换。 添加「飞书多维表格add_records」插件,设置{{app_token}}与{{records}}参数。 结束节点返回入库结果,「飞书多维表格add_records」插件返回入库结果,用于通知外层 bot 工作流的入库是否成功,别忘了对整个工作流进行测试。
2024-12-17
怎么对飞书知识库进行对话问答
以下是关于飞书知识库进行对话问答的相关内容: 1. 关于飞书智能伙伴创建平台: 飞书智能伙伴创建平台(Aily)是飞书团队旗下的企业级 AI 应用开发平台,提供简单、安全且高效的环境,帮助企业构建和发布 AI 应用,推动业务创新和效率提升。 云雀是字节跳动研发的语言模型,能通过自然语言交互高效完成互动对话、信息获取、协助创作等任务。 2. 如何使用问答机器人: 方法 1:在 WaytoAGI 飞书知识库首页找到加入飞书群的链接(最新二维码在知识库首页),加入后直接@机器人。 方法 2:在 WaytoAGI.com 的网站首页,直接输入问题即可得到回答。 3. 问答机器人的作用: 知识库内容庞大,新用户难以快速找到所需内容。 传统搜索基于关键词及相关性,存在局限性。 采用更先进的 RAG 技术,在群中提供便捷的信息检索方式。 4. 在 AI 商用级问答场景中让回答更准确: 问答机器人的配置包括 AI 模型、提示词和知识库。 大语言模型如同拥有无穷智慧的人,提示词可让其成为所需“员工”,知识库则是工作手册。 例如设定使用阿里千问模型,提示词角色为“美嘉”,知识库为《爱情公寓》全季剧情。 5. 实现知识库问答: 知识库问答利用大模型的 RAG 机制,即“检索增强生成”技术,结合检索和生成提高机器对话和信息处理能力。 先从大型数据集中检索与问题相关的信息,再利用这些信息生成回答,可想象成先在巨大图书馆找相关书籍再给出详细回答。 基于 RAG 机制,创建包含大量文章和资料的知识库,通过手工录入上传内容,并在设计 Bot 中添加知识库,设置合适的搜索策略、最大召回数量和最小匹配度,以结合知识库内容进行回答。
2024-12-03
coze如何实现触发自动推送内容到飞书聊天框?
要实现触发自动推送内容到飞书聊天框,可以参考以下步骤: 1. 创意构思:创建 Bot 的初衷是让用户拥有专属的资讯助手,通过 Coze 这样的 AI agent 流程,以多模态形式获取最新资讯,并自动推送到不同平台。该 Bot 项目以扣子为中心平台,通过自研插件、工作流和 Coze API 链接微信群、企业微信群、飞书云文档多维表格等,实现不同平台的信息传递与流通。可根据用户定制化检索需求,自动化抓取热点资讯,进行分析处理,整合成资讯文档,返回 Bot 对话界面,并同步自动发送到不同平台。 2. 效果呈现:Coze Bot 可通过不同提问触发不同检索功能,企业微信群能自动同步获得资讯检索结果,实现多平台联动,还能获取资讯文档具体内容,以及 Coze 与企业微信群的信息同步联动,Coze API 可接入微信进行对话交互检索。 3. 搭建工作流: 在 Bot 中绑定工作流,设置定时任务,发布到飞书渠道。 人设和回复逻辑:设置提示词,直接调用工作流。 工作流:添加创建的工作流。 设置触发器:选择“定时触发”,设定触发时间,如每天 18 点。任务执行时选择工作流,输入 key 和 rss_list 等参数。可同时设置多个触发器,最多 10 个。 发布到飞书:点击右上角“发布”,选择飞书渠道,因为目前 Coze 平台触发器只对飞书渠道生效。 4. 实现定时推送社区日报功能: 写一个爬虫的自定义插件抓取社区日报内容,以普通文本或 markdown 方式输出。 创建工作流,流程为开始>获取前一天日期>调用插件抓取日报内容>输出内容并结束。 在 Bot 设计界面添加触发器,设定定时触发时间,如每天早上 9 点,测试触发成功后发布到飞书,即可定时收到推送。
2024-11-28
扣子的智能体如何在飞书中创建一个可以和用户会话的账号
要在飞书中创建一个可以和用户会话的扣子智能体账号,您可以按照以下步骤进行操作: 1. 创建扣子的令牌: 在扣子官网左下角选择扣子 API。 在 API 令牌中选择“添加新令牌”。 给令牌起一个名字。 为了方便选择永久有效。 选择制定团队空间,可以是个人空间、也可以选择团队空间。 勾选所有权限。 保存好令牌的 Token,切勿向他人泄露。 2. 获取机器人 ID: 在个人空间中找到自己要接入到微信中的机器人,比如画小二智能小助手。 点击对应的机器人进入机器人编辑界面。 在浏览器地址栏的 bot/之后的数据就是该机器人的 Bot ID。 3. API 授权: 点击右上角发布。 会发现多了一个 Bot as API,勾选 Bot as API。 确定应用已经成功授权 Bot as API。 4. 服务器设置: chatgptonwechat(简称 CoW)项目是基于大模型的智能对话机器人,支持微信公众号、企业微信应用、飞书、钉钉接入,可选择多种模型,能处理文本、语音和图片,通过插件访问操作系统和互联网等外部资源,支持基于自有知识库定制企业 AI 应用。 点击“Docker”中的“编排模板”中的“添加”按钮。 将编译好的内容复制进来。 在“容器编排”中“添加容器编排”。 选择在“编排模板”里创建的“coze2openai”。 提示运行成功,如果无法正常启动,请看文档后面的“常见问题”。 5. 绑定微信: 需要提前准备一个闲置的微信,因为这种方法是非官方接口,有可能微信号会受到官方限制。 点击容器,可以看到运行的是两个服务。 点击“wcandyaibot”后面的日志按钮,在弹出层中用提前预备好的微信进行扫码。 手动刷新界面验证是否成功,点击“刷新日志”,看到 WeChat login success 提示微信登录成功。 为确保微信实时在线,点击“日志管理”的“wcandyaibot”的“刷新日志”,显示“wechat login seccess”则表示微信正常登录中。 6. 效果测试: 把绑定的微信号拉到群里或者单独对话,训练的数据越好,对话效果越好。您可以参考个人微信对话和微信群对话效果演示视频:
2024-11-19
用飞书做个智能工单系统
目前飞书知识库中没有关于用飞书做智能工单系统的相关内容。但一般来说,要使用飞书构建智能工单系统,您可以考虑以下步骤: 1. 明确工单系统的需求和功能,例如工单的类型、处理流程、优先级设置等。 2. 利用飞书的应用开发平台或相关工具,创建工单模板和表单,以收集工单的必要信息。 3. 配置工单的流转规则和通知机制,确保工单能够及时准确地分配给相关人员,并通知到相关方。 4. 建立工单的跟踪和监控机制,以便了解工单的处理进度和状态。 5. 对工单数据进行分析和统计,以便优化工单处理流程和提高服务质量。 由于缺乏具体的飞书相关内容,以上步骤仅为一般性的指导,您可能需要进一步探索飞书的功能和相关文档来实现智能工单系统。
2024-11-13
dify 实现rag
Dify 是一个开源的大规模语言模型(LLM)应用开发平台,具有以下特点和优势: 1. 配备 RAG 引擎,允许用户编排从代理到复杂 AI 工作流的 LLM 应用。 2. 关键特性: 快速部署,5 分钟内可部署定制化的聊天机器人或 AI 助手。 创意文档生成,能从知识库生成清晰、逻辑性强且无长度限制的文档。 长文档摘要,可轻松对长文档进行摘要。 自定义 API,能安全连接业务知识,解锁更深层次的 LLM 洞察。 连接全球 LLM。 生产就绪,比 LangChain 更接近生产环境。 开源,可被社区广泛使用和改进。 3. 资源获取:可从 Dify 的 GitHub 仓库(https://github.com/langgenius/dify.git 和 https://docs.dify.ai/)获取源代码、文档、安装指南、使用说明和贡献指南等资源。 4. 是一个结合后端即服务和 LLMOps 理念的平台,为用户提供直观界面快速构建和部署生产级别的生成式 AI 应用,具备强大工作流构建工具、广泛模型集成、功能丰富的提示词 IDE 及全面的 RAG Pipeline 用于文档处理和检索,允许定义 Agent 智能体,并通过 LLMOps 功能对应用程序性能持续监控和优化。提供云服务和本地部署选项,满足不同用户需求。其设计理念注重简单性、克制和快速迭代,个人研究可单独使用,企业级落地项目推荐多种框架结合。 5. 官方手册:https://docs.dify.ai/v/zhhans
2024-12-25
RAG
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 其核心目的是为大语言模型(LLM)提供额外的、来自外部知识源的信息,通过检索模式为大语言模型的生成提供帮助,使生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,受训练数据和学习方式限制,对长尾知识接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,加上模型理解能力,降低大模型输出出错可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统,用户提出问题,RAG 模型从大规模的文档集合中检索相关的文档,然后生成回答。 RAG 由一个“检索器”和一个“生成器”组成,检索器从外部知识中快速找到与问题相关的信息,生成器则利用这些信息来制作精确和连贯的答案,非常适合处理需要广泛知识的任务,如问答系统,能够提供详细而准确的回答。
2024-12-25
推荐 GraphRAG 的学习文档
以下是为您推荐的 GraphRAG 学习文档: 1. ,其中包含 GraphRAG 相关内容。 2. ,涉及 GraphRAG 内容。 3. ,有关于 GraphRAG 的介绍。 4. ,包含 GraphRAG 相关内容。 5. ,通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。
2024-12-24
什么是rag
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 其旨在为大语言模型(LLM)提供额外的、来自外部知识源的信息。通过检索的模式,为大语言模型的生成提供帮助,使大模型生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点: 1. LLM 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证,存在黑盒、不可控以及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大,训练和运行成本高。 而 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且对原有知识无影响。 3. 数据库内容明确、结构化,加上模型的理解能力,降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt(提示词)中,提交给大模型,此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 在一个 RAG 的应用中,可以抽象为以下 5 个过程: 1. 文档加载:从多种不同来源加载文档,LangChain 提供了 100 多种不同的文档加载器,包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据,以及 Python、Java 之类的代码等。 2. 文本分割:文本分割器把 Documents 切分为指定大小的块,称为“文档块”或者“文档片”。 3. 存储:涉及将切分好的文档块进行嵌入转换成向量的形式,并将 Embedding 后的向量数据存储到向量数据库。 4. 检索:通过某种检索算法找到与输入问题相似的嵌入片。 5. Output(输出):把问题以及检索出来的嵌入片一起提交给 LLM,LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2024-12-23
RAG
RAG(RetrievalAugmented Generation)即检索增强生成,是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化,是因为大模型存在一些缺点: 1. 无法记住所有知识,尤其是长尾知识,受限于训练数据和学习方式,对长尾知识的接受能力不高。 2. 知识容易过时且不好更新,微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证,存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大,训练和运行成本高。 RAG 具有以下优点: 1. 数据库对数据的存储和更新稳定,不存在模型学不会的风险。 2. 数据库的数据更新敏捷,可解释且不影响原有知识。 3. 数据库内容明确、结构化,加上模型的理解能力,能降低大模型输出出错的可能。 4. 知识库存储用户数据,便于管控用户隐私数据,且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本,新知识存储在数据库即可,无需频繁更新模型。 RAG 的核心流程是根据用户提问,从私有知识中检索到“包含答案的内容”,然后把“包含答案的内容”和用户提问一起放到 prompt 中,提交给大模型,此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 RAG 由一个“检索器”和一个“生成器”组成,检索器从外部知识中快速找到与问题相关的信息,生成器利用这些信息来制作精确和连贯的答案,非常适合处理需要广泛知识的任务,如问答系统,能够提供详细而准确的回答。
2024-12-19
如何搭建一个RAG应用?
搭建一个 RAG 应用可以使用 LangChain 平台,以下是相关步骤和组件: 1. 数据加载器(DocumentLoader):这是一个对象,能从数据源加载数据并转换为包含 page_content(文本内容)和 metadata(元数据,如标题、作者、日期等)的文档对象。 2. 文本分割器(DocumentSplitter):可将文档对象分割成多个较小的文档对象,方便后续检索和生成,因为大模型输入窗口有限,短文本更易找到相关信息。 3. 文本嵌入器(Embeddings):能将文本转换为高维向量的嵌入,用于衡量文本相似度以实现检索功能。 4. 向量存储器(VectorStore):可存储和查询嵌入,通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器(Retriever):能根据文本查询返回相关文档对象,常见实现是向量存储器检索器,利用向量存储器的相似度搜索功能检索。 6. 聊天模型(ChatModel):可根据输入序列生成输出消息,通常基于大模型如 GPT3 实现文本生成功能。 使用 LangChain 构建 RAG 应用的一般流程如下: 首先,使用合适的数据加载器根据数据源类型加载数据。例如,数据源是网页可用 WebBaseLoader 加载和解析网页得到文档对象。 然后,用合适的文本分割器将文档对象分割成较小的符合要求的文档对象。如文本是博客文章,可用 RecursiveCharacterTextSplitter 分割。 接下来,用文本嵌入器将文档对象转换为嵌入,并存储到向量存储器中。可根据嵌入质量和速度选择合适的嵌入器和存储器,如 OpenAIEmbeddings 和 ChromaVectorStore。 之后,创建向量存储器检索器,传递向量存储器对象和文本嵌入器对象作为参数。 最后,创建聊天模型,根据性能和成本选择合适的模型,如 OpenAIChatModel。 以下是一个使用 LangChain 构建 RAG 应用的示例代码。
2024-12-15
如何构建自己的知识库和数据集
构建自己的知识库和数据集可以参考以下几种方法: 使用 Dify 构建知识库的具体步骤: 1. 准备数据:收集需要纳入知识库的文本数据,包括文档、表格等格式。对数据进行清洗、分段等预处理,确保数据质量。 2. 创建数据集:在 Dify 中创建一个新的数据集,并将准备好的文档上传至该数据集。为数据集编写良好的描述,描述清楚数据集包含的内容和特点。 3. 配置索引方式:Dify 提供了三种索引方式供选择,包括高质量模式、经济模式和 Q&A 分段模式。根据实际需求选择合适的索引方式,如需要更高准确度可选高质量模式。 4. 集成至应用:将创建好的数据集集成到 Dify 的对话型应用中,作为应用的上下文知识库使用。在应用设置中,可以配置数据集的使用方式,如是否允许跨数据集搜索等。 5. 持续优化:收集用户反馈,对知识库内容和索引方式进行持续优化和迭代。定期更新知识库,增加新的内容以保持知识库的时效性。 创建并使用知识库(上传表格数据): 1. API 方式: 获取在线 API 的 JSON 数据,将 JSON 数据上传至知识库。 在表格格式页签下,选择 API,然后单击下一步。 单击新增 API。 输入网址 URL 并选择数据的更新频率,然后单击下一步。 输入单元名称或使用自动添加的名称,然后单击下一步。 配置数据表信息后,单击下一步。 确认表结构:系统已默认获取了表头的列名,您可以自定义修改列名,或删除某一列名。 指定语义匹配字段:选择哪个字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。 查看表结构和数据,确认无误后单击下一步。 完成上传后,单击确定。 2. 自定义方式: 在表格格式页面下,选择自定义,然后单击下一步。 输入单元名称。 在表结构区域添加字段,单击增加字段添加多个字段。 设置列名,并选择指定列字段作为搜索匹配的语义字段。在响应用户查询时,会将用户查询内容与该字段内容的内容进行比较,根据相似度进行匹配。 单击确定。 单击创建分段,然后在弹出的页面输入字段值,然后单击保存。 从零开始,用 GPT 打造个人知识库: 要搭建基于 GPT API 的定制化知识库,涉及到给 GPT 输入(投喂)定制化的知识。但 GPT3.5(当前免费版的 ChatGPT)一次交互(输入和输出)只支持最高 4096 个 Token,约等于 3000 个单词或 2300 个汉字。这点容量对于绝大多数领域知识根本不够。为了使用 GPT 的语言能力来处理大量的领域知识,OpenAI 提供了 embedding API 解决方案。embeddings 是一个浮点数字的向量(列表),两个向量之间的距离衡量它们的关联性。小距离表示高关联度,大距离表示低关联度。向量是数学中表示大小和方向的一个量,通常用一串数字表示。在计算机科学和数据科学中,向量通常用列表(list)来表示。向量之间的距离是一种度量两个向量相似性的方法,最常见的是欧几里得距离。在 OpenAI 词嵌入中,靠近向量的词语在语义上相似。文档上给了创建 embeddings 的示例,上面的命令访问 embeddings API 接口,将 input 语句,转化成下面这一串浮点数字。
2024-12-23
如何通过AI构建自己的知识体系,比如通识教育,英语口语,以及子女学习辅导
以下是关于如何通过 AI 构建自己在通识教育、英语口语、子女学习辅导方面知识体系的建议: 通识教育: 1. 把学习任务切割成小单元,利用 AI 构建专属智能体。 2. 定期根据结果反馈调整智能体。 3. 审视学习流程,更多地应用 AI 。 4. 培养并维持旺盛的好奇心和持续学习的习惯,广泛阅读,深入研究新领域,不断探索前沿知识。 英语口语: 1. 利用智能辅助工具,如 Grammarly 进行写作和语法纠错,改进表达和写作能力。 2. 借助语音识别应用,如 Call Annie 进行口语练习和发音纠正,获取实时反馈和建议。 3. 使用自适应学习平台,如 Duolingo 获得量身定制的学习计划和个性化内容练习。 4. 与智能对话机器人,如 ChatGPT 进行会话练习和对话模拟,提升交流能力和语感。 子女学习辅导: 1. 对于英语学习,可参考上述英语口语的学习方法。 2. 数学学习方面,使用自适应学习系统,如 Khan Academy 获得个性化学习路径和练习题;利用智能题库和作业辅助工具,如 Photomath 获取问题解答和解题步骤;借助虚拟教学助手,如 Socratic 解答问题、获取教学视频和答疑服务;参与交互式学习平台,如 Wolfram Alpha 的课程和实践项目进行数学建模和问题求解。 需要注意的是,在使用 AI 辅助学习的过程中,要结合传统学习方法,仔细甄别生成的内容,以取得更好的学习效果。
2024-12-22
现在有哪些给非设计师快速构建界面的ai工具
以下是一些可以帮助非设计师快速构建界面的 AI 工具: 1. Lucidchart:流行的在线绘图工具,支持多种视图创建,用户可通过拖放轻松创建架构图。 2. Visual Paradigm:全面的 UML 工具,提供多种架构视图创建功能。 3. ArchiMate:开源建模语言,与 Archi 工具配合可创建逻辑视图。 4. Enterprise Architect:强大的建模、设计和生成代码工具,支持多种视图创建。 5. Microsoft Visio:广泛使用的图表和矢量图形应用程序,有丰富模板用于创建视图。 6. draw.io(现称 diagrams.net):免费在线图表软件,支持创建逻辑和部署视图等。 7. PlantUML:文本到 UML 转换工具,可自动生成序列图等帮助创建逻辑视图。 8. Gliffy:基于云的绘图工具,提供创建各种架构图的功能。 9. Archi:免费开源工具,用于创建 ArchiMate 和 TOGAF 模型,支持逻辑视图创建。 10. Rational Rose:IBM 的 UML 工具,支持创建多种视图。 目前用于产品原型设计的 AIGC 工具包括: 1. UIzard:利用 AI 技术生成用户界面。 2. Figma:基于云的设计工具,提供自动布局和组件库,社区有 AI 插件。 3. Sketch:流行的矢量图形设计工具,插件系统中有利用 AI 技术辅助设计的插件。 在游戏中,从文本提示生成 2D 图像的工具如 Midjourney、Stable Diffusion 和 DallE 2 已广泛应用。生成性 AI 工具在概念艺术方面能帮助非艺术家快速探索概念和想法,一些工作室也尝试用其制作游戏内的生产艺术品。例如,可参考 Albert Bozesan 提供的使用 Stable Diffusion 创建游戏内 2D 资源的教程。
2024-12-19
怎么构建个人本地知识库
构建个人本地知识库可以按照以下步骤进行: 1. 了解 RAG 技术: 利用大模型的能力搭建知识库是 RAG 技术的应用。 大模型训练数据有截止日期,RAG 可解决依靠不在训练集中的数据的问题。 RAG 应用包括文档加载、文本分割、存储、检索和输出 5 个过程。 文档加载可从多种来源加载,如 PDF 等非结构化数据、SQL 等结构化数据和代码等。 文本分割将文档切分为指定大小的块。 存储涉及将文档块嵌入转换为向量形式并存储到向量数据库。 检索通过算法找到与输入问题相似的嵌入片。 输出是将问题和检索出的嵌入片提交给 LLM 生成答案。 文本加载器将用户提供的文本加载到内存以便后续处理。 2. 准备软件: 需要一个额外的软件 AnythingLLM,它包含所有 Open WebUI 的能力,并额外支持选择文本嵌入模型和向量数据库。 3. 安装和配置: 安装地址:https://useanything.com/download 。 安装完成后进入配置页面,主要分为三步:选择大模型、选择文本嵌入模型、选择向量数据库。 4. 构建本地知识库: 在 AnythingLLM 中创建自己独有的 Workspace 与其他项目数据隔离。 首先创建一个工作空间。 上传文档并在工作空间中进行文本嵌入。 选择对话模式,AnythingLLM 提供 Chat 模式(大模型根据训练数据和上传文档综合给出答案)和 Query 模式(大模型仅依靠文档中的数据给出答案)。 完成配置后进行测试对话。 本文的思路来源于视频号博主黄益贺,作者按照其视频进行了实操并附加了一些关于 RAG 的额外知识。
2024-12-19
如何构建自己业务系统的AI Agent
构建自己业务系统的 AI Agent 可以参考以下内容: AI Agent 简介:AI Agent 也称为 AI 智能体,是拥有各项能力来帮助我们做特定事情的“打工人”。它包含自己的知识库、工作流,还能调用外部工具,并结合大模型的自然语言理解能力完成复杂工作。其出现是为了解决如胡编乱造、时效性、无法满足个性化需求等问题,以结合业务场景和需求解决自身问题。 扣子 Coze:字节跳动旗下的新一代一站式 AI Bot 开发平台,无论是否具备编程基础,都能在该平台上迅速构建基于 AI 模型的各类问答 Bot,开发完成后还可发布到各种社交平台和通讯软件上。 构建步骤:通过简单 3 步创建智能体,首先起一个智能体的名称,然后写一段智能体的简单介绍,最后使用 AI 创建一个头像。 工作流相关:构建稳定可用的 AI Agent 是不断调试和迭代的过程。通常从当前性能最强的 LLM 着手,先用单条 Prompt 或 Prompt Chain 测试任务执行质量和稳定性,再根据实际情况和最终使用的 LLM 逐步拆解子任务。一般对于场景多样、结构复杂、对输出格式要求严格的内容,基本可预见到需要拆解为工作流。此外,若涉及生成多媒体内容或从网络自主获取额外信息等能力,必然需要通过工作流调用相应插件。 关于只用一段 Prompt 的 Agent:也算 AI Agent,详见
2024-12-09
你是基于什么网络模型构建的?
以下是为您提供的关于网络模型的相关信息: 在强化学习中,DQN 的网络模型采用一层 128 个神经元的全连接并以 ReLU 作为激活函数,由于游戏不是很复杂所以选用简单的两层网络结构。 对于人工智能是否能预测会发生什么的问题,以一个非常简单的案例为例,使用“蓝色曲线”数据训练的神经网络在复制其训练数据方面做得不错,但在“预测未来”时基本上失败了。 关于安装 WebUI 中的相关模型,有多种模型分别存储在不同的目录中,如 aesthetic_embeddings(美学嵌入模型)、Codeformer、deepbooru(深度图库标签分类模型)等。
2024-12-08
如何利用ai日赚100元
以下是一些利用 AI 日赚 100 元的方式和相关信息: 1. 开发基于通义千问的 AI 助理模型,例如高一的“小朱婷”开发的“航天小飞侠”,通过设计抽奖环节等方式吸引用户,从而获得收益。 2. 利用 AI 进行调酒,如在 AI 玩聚摊位,根据用户的 MBTI 和星座生成专属的鸡尾酒配方,并现场调制售卖。 3. 利用以下 2023 年的 AI 工具进行创作或相关服务以获取收益: AI 研究工具:Claude、ChatGPT、Bing Chat、Perplexity 等。 图片处理:DallE、Leonardo、BlueWillow、Midjourney 等。 版权写作:Rytr、Copy AI、Wordtune、Writesonic 等。 设计:Canva、Clipdrop、Designify、Microsoft Designer 等。 网站搭建:10Web、Framer、Hostinger、Landingsite 等。 视频处理:Klap、Opus、Invideo、Heygen 等。 音频处理:Murf、LovoAI、Resemble、Eleven Labs 等。 SEO 优化:Alli AI、BlogSEO、Seona AI、Clearscope 等。 Logo 设计:Looka、LogoAI、Brandmark、Logomaster 等。 聊天机器人:Droxy、Chatbase、Voiceflow、Chatsimple 等。 自动化工具:Make、Zapier、Bardeen、Postman 等。 市场营销。
2024-12-24
如何利用 AIGC 技术实现游戏产业的生产力革命,请结合相关技术的原理和框架图进行阐述
利用 AIGC 技术实现游戏产业的生产力革命主要体现在以下几个方面: 1. 降低开发成本:AIGC 技术能够极大程度地减少游戏开发过程中的人力、物力和时间投入。 2. 缩减制作周期:加快游戏的制作速度,使游戏能够更快地面向市场。 3. 提升游戏质量:例如生成新的高质量游戏内容,如地图、角色和场景,改进游戏的图像和声音效果等。 4. 带来新的交互体验:为玩家提供更加丰富和独特的游戏体验。 游戏人工智能技术的未来发展方向还包括: 1. 探索将游戏环境中的成果迁移至现实世界:电子游戏作为人工智能算法的测试场,为人工智能模型的构建与训练提供了理想化的场所,但将游戏中的技术推广到现实世界应用仍面临诸多挑战,需要进一步研究和发展。 2. 为通用人工智能的孵化给予帮助:经多个复杂游戏训练后的“玩游戏”的人工智能体,将为通用人工智能的发展提供支持。 随着游戏中生成式人工智能革命的进展,它将彻底重塑用户生成内容(UGC),创造一个任何人都可以构建游戏的世界,并将游戏市场扩大到超出许多人的想象。在未来几年,深厚的技术知识或艺术掌握将不再是开发游戏所需的基本技能,创作者只会受到他们的精力、创造力和想象力的限制。生成式人工智能将通过使游戏创作民主化来改变和颠覆 UGC 游戏领域,让数百万人能够制作他们的第一款游戏,新一代游戏开发者将释放出一波游戏设计创造力浪潮,从而永远改变游戏行业。
2024-12-24
如果利用ai做好电商
利用 AI 做好电商可以从以下几个方面入手: 1. 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况,快速识别关键信息,如受欢迎的产品、价格区间和销量等。 2. 关键词优化:借助 AI 分析和推荐高流量、高转化的关键词,优化产品标题和描述,提高搜索排名和可见度。 3. 产品页面设计:使用 AI 设计工具,根据市场趋势和用户偏好自动生成吸引人的产品页面布局。 4. 内容生成:利用 AI 文案工具撰写有说服力的产品描述和营销文案,提高转化率。 5. 图像识别和优化:通过 AI 图像识别技术选择或生成高质量的产品图片,展示产品特点。 6. 价格策略:依靠 AI 分析不同价格点对销量的影响,制定有竞争力的价格策略。 7. 客户反馈分析:利用 AI 分析客户评价和反馈,了解客户需求,优化产品和服务。 8. 个性化推荐:借助 AI 根据用户的购买历史和偏好提供个性化的产品推荐,增加销售额。 9. 聊天机器人:使用 AI 驱动的聊天机器人提供 24/7 的客户服务,解答疑问,提高客户满意度。 10. 营销活动分析:通过 AI 分析不同营销活动的效果,了解哪些活动更能吸引顾客并产生销售。 11. 库存管理:依靠 AI 帮助预测需求,优化库存管理,减少积压和缺货情况。 12. 支付和交易优化:利用 AI 分析不同的支付方式对交易成功率的影响,优化支付流程。 13. 社交媒体营销:借助 AI 在社交媒体上找到目标客户群体,通过精准营销提高品牌知名度。 14. 直播和视频营销:利用 AI 分析观众行为,优化直播和视频内容,提高观众参与度和转化率。 在生成式 AI 领域,电子商务已成为成效显著的垂直行业之一。相关工具如能编写经过 SEO 优化的产品描述。未来,用户有望仅通过描述期望的审美并点击按钮,就能创建完整的电商商店及市场营销材料。
2024-12-24
怎么利用ai做好电商
利用 AI 做好电商可以从以下几个方面入手: 1. 产品推荐:通过分析客户数据,为每个客户推荐可能感兴趣的产品。 2. 搜索和个性化:改善搜索结果,为客户提供个性化的购物体验。 3. 动态定价:根据市场需求动态调整产品价格。 4. 聊天机器人:提供服务,回答客户问题并解决他们的问题。 5. 生成式 AI 工具: 帮助品牌创建引人注目的产品照片,如将静态照片变成动态形象,预期未来会极度个性化。 创作多种内容类型,如用于电子邮件或社交媒体的营销材料、SEO 优化的产品描述等。 未来有望仅通过描述期望的审美并点击按钮,创建完整的电商商店及市场营销材料。 6. 营销和页面优化: 市场分析:利用 AI 分析工具研究市场趋势、消费者行为和竞争对手情况。 关键词优化:分析和推荐高流量、高转化的关键词,优化产品标题和描述。 产品页面设计:AI 设计工具生成吸引人的页面布局。 内容生成:撰写有说服力的产品描述和营销文案。 图像识别和优化:选择或生成高质量的产品图片。 价格策略:分析不同价格点对销量的影响,制定有竞争力的价格策略。 客户反馈分析:了解客户需求,优化产品和服务。 个性化推荐:根据用户购买历史和偏好提供个性化产品推荐。 聊天机器人:提供 24/7 客户服务,解答疑问,提高满意度。 营销活动分析:了解活动效果,吸引顾客并产生销售。 库存管理:预测需求,优化库存管理。 支付和交易优化:分析支付方式对交易成功率的影响,优化支付流程。 社交媒体营销:在社交媒体上找到目标客户群体,精准营销提高品牌知名度。 直播和视频营销:分析观众行为,优化直播和视频内容,提高转化率。
2024-12-24
我如何利用AI软件写出好 的小说
以下是利用 AI 软件写好小说的一些方法: 1. 显式归纳与列出想要的文本特征:比如明确小说需要优秀的文风、细腻的文笔,具体描述如“几句话一换行”“以短句和对话为主,结构紧凑”“用词直白犀利”等,在调试过程中逐步增减描述,直至达到理想效果。 2. 通过 prompt 中的描述与词语映射到预训练数据中的特定类型的文本:直接指出想要的文本类型,如“充满张力的女性复仇文,可能会出现在晋江文学城或者起点中文网的古代言情分类中”。对于新的创作领域,可从熟悉的相关元素入手,如让模型写特殊格式的网络小说,并显式描述特征。 3. 往 prompt 里面塞例子:这是一种暴力但管用且流行的办法。 此外,要用 AI 创作出好的作品,首先要有足够的审美,知道“什么是好的,好在哪里”。同时,固定的故事结构写在 prompt 里可能不好使,因为会丧失多样性和惊喜。
2024-12-24
如何利用AI生成环形图
以下是利用 AI 生成环形图的相关信息: 存在一些可以辅助或自动生成 CAD 图的 AI 工具和插件,在设计和工程领域较为常用。例如: CADtools 12:这是 Adobe Illustrator(AI)插件,添加了 92 个绘图和编辑工具,包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 Autodesk Fusion 360:Autodesk 开发的云端 3D CAD/CAM 软件,集成了 AI 功能,能创建复杂几何形状和优化设计。 nTopology:基于 AI 的设计软件,可创建复杂 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 ParaMatters CogniCAD:基于 AI 的 CAD 软件,能根据输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 一些主流 CAD 软件如 Autodesk 系列、SolidWorks 等,提供了基于 AI 的生成设计工具,可根据输入自动产生多种设计方案。但使用这些工具通常需要一定的 CAD 知识和技能,对于初学者,建议先学习基本的 3D 建模技巧。 如果您是要生成其他类型的环形示意图,例如项目管理流程图,可以按照以下步骤使用 Lucidchart: 1. 注册并登录: 2. 选择模板:在模板库中搜索“项目管理流程图”。 3. 编辑图表:根据项目需求添加和编辑图形和流程步骤。 4. 优化布局:利用 AI 自动布局功能,优化图表的外观。 5. 保存和分享:保存图表并与团队成员分享,或导出为 PDF、PNG 等格式。 利用这些 AI 工具,您可以快速、高效地创建专业的示意图,满足各种工作和项目需求。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-12-23