Navigate to WaytoAGI Wiki →
Home/question.detail.breadcrumb.questionList/question.detail.breadcrumb.questionDetail

dify 实现rag

Answer

Dify 是一个开源的大规模语言模型（LLM）应用开发平台，具有以下特点和优势：

  1. 配备 RAG 引擎，允许用户编排从代理到复杂 AI 工作流的 LLM 应用。
  2. 关键特性：
    • 快速部署，5 分钟内可部署定制化的聊天机器人或 AI 助手。
    • 创意文档生成，能从知识库生成清晰、逻辑性强且无长度限制的文档。
    • 长文档摘要，可轻松对长文档进行摘要。
    • 自定义 API，能安全连接业务知识，解锁更深层次的 LLM 洞察。
    • 连接全球 LLM。
    • 生产就绪，比 LangChain 更接近生产环境。
    • 开源，可被社区广泛使用和改进。
  3. 资源获取：可从 Dify 的 GitHub 仓库（https://github.com/langgenius/dify.git 和 https://docs.dify.ai/）获取源代码、文档、安装指南、使用说明和贡献指南等资源。
  4. 是一个结合后端即服务和 LLMOps 理念的平台，为用户提供直观界面快速构建和部署生产级别的生成式 AI 应用，具备强大工作流构建工具、广泛模型集成、功能丰富的提示词 IDE 及全面的 RAG Pipeline 用于文档处理和检索，允许定义 Agent 智能体，并通过 LLMOps 功能对应用程序性能持续监控和优化。提供云服务和本地部署选项，满足不同用户需求。其设计理念注重简单性、克制和快速迭代，个人研究可单独使用，企业级落地项目推荐多种框架结合。
  5. 官方手册：https://docs.dify.ai/v/zh-hans
Content generated by AI large model, please carefully verify (powered by aily)

References

大模型的快思慢想：适配自己的LLM使用场景II--在Mac/Edge设备及微信上运行Flux

以下实例，依赖环境：CPU：Intel 13th Gen 13900KFRAM:64GB显卡：nVidia RTX 4900 24GBOS：win11 pro+WSL2+Ubuntu 20.04DifyDify.AI是一个开源的大规模语言模型（LLM）应用开发平台，它允许用户编排从代理到复杂AI工作流的LLM应用，并且配备了一个RAG引擎（Retrieval-Augmented Generation）。Dify.AI旨在为特定行业提供聊天机器人和AI助手，这些助手可以嵌入领域知识，以促进人与AI的合作。以下是Dify.AI的一些关键特性和优势：1.快速部署：用户可以在5分钟内部署定制化的聊天机器人或AI助手。2.创意文档生成：Dify.AI能够从知识库生成清晰、逻辑性强的文档，并且没有长度限制。3.长文档摘要：它能够轻松地对长文档进行摘要。4.自定义API：Dify.AI提供自定义API，可以安全地连接业务知识，解锁更深层次的LLM洞察。5.连接全球LLM：它能够连接到全球的LLM（Large Language Models）。6.生产就绪：Dify.AI比LangChain更接近生产环境。7.开源：Dify.AI是一个开源项目，这意味着它可以被社区广泛地使用和改进。可以从Dify.AI的GitHub仓库https://github.com/langgenius/dify.gi t和https://docs.dify.ai/获取开发者和用户可以找到项目的源代码、文档、安装指南、使用说明和贡献指南等资源。

本地部署资讯问答机器人：Langchain+Ollama+RSSHub 实现 RAG

加载所需的库和模块。其中，feedparse用于解析RSS订阅源ollama用于在python程序中跑大模型，使用前请确保ollama服务已经开启并下载好模型|从订阅源获取内容下面函数用于从指定的RSS订阅url提取内容，这里只是给了一个url，如果需要接收多个url，只要稍微改动即可。然后，通过一个专门的文本拆分器将长文本拆分成较小的块，并附带相关的元数据如标题、发布日期和链接。最终，这些文档被合并成一个列表并返回，可用于进一步的数据处理或信息提取任务。|为文档内容生成向量这里，我们使用文本向量模型bge-m3。https://huggingface.co/BAAI/bge-m3bge-m3是智源研究院发布的新一代通用向量模型，它具有以下特点：支持超过100种语言的语义表示及检索任务，多语言、跨语言能力全面领先（M ulti-Lingual）最高支持8192长度的输入文本，高效实现句子、段落、篇章、文档等不同粒度的检索任务（M ulti-Granularity）同时集成了稠密检索、稀疏检索、多向量检索三大能力，一站式支撑不同语义检索场景（M ulti-Functionality）从hf下载好模型之后，假设放置在某个路径/path/to/bge-m3，通过下面函数，利用FAISS创建一个高效的向量存储。|实现RAG

RAG提示工程系列（3）| 迈向工程化应用

Dify是一个开源的大模型应用开发平台，它通过结合后端即服务和LLMOps的理念，为用户提供了一个直观的界面来快速构建和部署生产级别的生成式AI应用。该平台具备强大的工作流构建工具，支持广泛的模型集成，提供了一个功能丰富的提示词IDE，以及一个全面的RAG Pipeline，用于文档处理和检索。此外，Dify还允许用户定义Agent智能体，并通过LLMOps功能对应用程序的性能进行持续监控和优化。Dify提供云服务和本地部署选项，满足不同用户的需求，并且通过其开源特性，确保了对数据的完全控制和快速的产品迭代。Dify的设计理念注重简单性、克制和快速迭代，旨在帮助用户将AI应用的创意快速转化为现实，无论是创业团队构建MVP、企业集成LLM以增强现有应用的能力，还是技术爱好者探索LLM的潜力，Dify都提供了相应的支持和工具。Dify官方手册：https://docs.dify.ai/v/zh-hans一般地，如果是个人研究，推荐大家单独使用Dify，如果是企业级落地项目推荐大家使用多种框架结合，效果更好。

Others are asking
dify-on-wechat如何接coze
要将 Dify 接入企业微信，您可以按照以下步骤进行操作： 1. 创建聊天助手应用：在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 2. 下载 Dify on WeChat 项目：下载并安装依赖。 3. 填写配置文件：在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 4. 把基础编排聊天助手接入微信：快速启动测试，扫码登录，进行对话测试，可以选择源码部署或 Docker 部署。 5. 把工作流编排聊天助手接入微信：创建知识库，导入知识库文件，创建工作流编排聊天助手应用，设置知识检索节点和 LLM 节点，发布更新并访问 API。 6. 把 Agent 应用接入微信：创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。 更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat 另外，CoW（chatgptonwechat）是一个基于大型语言模型的智能对话机器人项目，具有多端部署、基础对话、语音识别、图片生成、丰富插件、Tool 工具、知识库等特性和优势，支持在多个平台部署，包括微信公众号、企业微信应用、飞书、钉钉等。项目开源，GitHub 地址：https://github.com/zhayujie/chatgptonwechat ，Gitee 地址：https://gitee.com/zhayujie/chatgptonwechat 。 您还可以引入项目，在 bot/dify/新建一个 dify_image.py 的程序，将画图程序的调用过程写到 dify bot 中，如用 query“画”开头接提示来触发调用。
2024-12-24
comfyui和dify有什么区别？分别适合什么场景？
ComfyUI 和 Dify 的区别主要体现在以下方面： 1. 用户界面：SD WebUI 的 UI 更像传统产品，有很多输入框和按钮；ComfyUI 的 UI 界面复杂，有很多方块和复杂的连线。 2. 学习成本：ComfyUI 的学习成本比 SD WebUI 高。 3. 工作流方式：ComfyUI 采用连线搭建自动化工作流的方式，从左到右依次运行，通过改变节点可实现不同功能，如一个节点是直接加载图片，另一个是通过画板绘制图片，从而实现导入图片生图或绘图生图等不同功能。 适用场景： ComfyUI 因其自由和拓展性，适合以下场景： 1. 用户可以根据自身需求搭建适合自己的工作流，无需依赖开发者。 2. 能够根据需求开发并改造某个节点，从而调整使其切合自己的工作流甚至改造工作流。 Dify 方面的具体适用场景未在提供的内容中有明确提及。
2024-12-23
dify部署
以下是关于 Dify 部署的相关内容： 通过云服务器部署 Dify： 可参考 https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose ，这些命令在宝塔面板的终端安装，dockercompose 文件在/root/dify/docker 目录下，可学习其中文件的意思。 检查运行情况，若 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 检查处理。 在浏览器地址栏输入公网 IP（去掉宝塔面板地址栏后的:8888），邮箱密码随便填，建立知识库并设置，选择模型，如智谱 ai，获取钥匙并复制保存，创建应用进行测试和发布。 云服务器 Docker 部署 Dify： 腾讯云一键部署存在问题，可重装服务器系统，安装宝塔面板（可视化服务器管理），自定义登陆凭证，放行防火墙端口，获取宝塔面板账号密码。 登陆成功后安装 Docker，在左侧菜单栏的文件中打开终端，根据 Dify 官方部署文档敲入命令进行安装。 安装完成后使用方法与其他方案相同，更新时按照官方文档在 BT 页面的文件中打开终端执行相关命令，并同步环境变量配置。
2024-12-23
怎么部署dify到ecs
部署 Dify 到 ECS 有以下几种方法： 方法一：通过云服务器、Dify 和智能微秘书免费搭建微信机器人 参考链接：https://docs.dify.ai/v/zhhans/gettingstarted/installselfhosted/dockercompose 这些命令在宝塔面板的终端安装。dockercompose 文件在 /root/dify/docker 目录下，可修改和学习其中文件的含义。 检查运行情况，使用 docker compose ps 命令，如果 nginx 容器无法运行，可能是 80 端口被占用，可将终端输出的代码粘贴给 AI 来解决。 在浏览器地址栏输入公网 IP（可在腾讯云服务器或宝塔面板地址栏查看，去掉后面的:8888），随便填邮箱密码建立知识库，选择模型（如智谱 AI，获取钥匙并复制保存），创建应用进行测试和发布。 方法二：腾讯云一键部署 打开腾讯云官网，在左上角【最新活动】进入，新老用户均可享受优惠。 Dify 社区版官方要求 2 核 4G，可根据需求选择境内或境外服务器。境内服务器 159 一年。 选好后创建服务器，选择【使用应用模板创建】【AI】，初始化完成后，在控制台服务器中复制公网 IP 到浏览器（加上 /apps），进入 Dify 安装页面，设置管理员账号密码，正常情况下即可进入 Dify 网站配置模型服务。 方法三：云服务器 Docker 部署 左侧菜单栏文件打开终端，根据 Dify 官方的部署文档操作。 敲入 git 命令（把 Dify 的代码复制到服务器），显示 100%即复制完成。 依次敲下面三个命令，出现相应结果即为成功。 使用方法与方案一相同。 更新时根据官方文档，在 BT 页面的文件中打开终端，按顺序执行命令。同时注意同步环境变量配置，如果.env.example 文件有更新，务必同步修改本地的.env 文件，检查并确保配置项与实际运行环境相匹配。
2024-12-18
dify是什么
Dify 是一个开源的大模型应用开发平台。它具有以下特点和功能： 1. 理念创新：结合后端即服务和 LLMOps 的理念。 2. 直观界面：为用户提供直观的界面，能快速构建和部署生产级别的生成式 AI 应用。 3. 强大工具：具备强大的工作流构建工具，支持广泛的模型集成，提供功能丰富的提示词 IDE 以及全面的 RAG Pipeline 用于文档处理和检索。 4. 智能体支持：允许用户定义 Agent 智能体。 5. 性能优化：通过 LLMOps 功能对应用程序的性能进行持续监控和优化。 6. 部署灵活：提供云服务和本地部署选项，满足不同用户需求。 7. 开源优势：通过开源特性，确保对数据的完全控制和快速的产品迭代。 8. 设计理念：注重简单性、克制和快速迭代，旨在帮助用户将 AI 应用的创意快速转化为现实。 9. 适用范围：无论是创业团队构建 MVP、企业集成 LLM 以增强现有应用的能力，还是技术爱好者探索 LLM 的潜力，Dify 都能提供相应的支持和工具。 Dify 官方手册：https://docs.dify.ai/v/zhhans 。一般来说，如果是个人研究，推荐单独使用 Dify，如果是企业级落地项目推荐使用多种框架结合，效果更好。
2024-11-29
dify教程
以下是关于 Dify 的相关教程： 接入企业微信： 创建聊天助手应用：在 Dify 平台创建基础编排聊天助手应用，获取 API 密钥和 API 服务器地址。 下载 Dify on WeChat 项目：下载并安装依赖。 填写配置文件：在项目根目录创建 config.json 文件，填写 API 密钥和服务器地址。 把基础编排聊天助手接入微信：快速启动测试，扫码登录，进行对话测试，可以选择源码部署或 Docker 部署。 把工作流编排聊天助手接入微信：创建知识库，导入知识库文件，创建工作流编排聊天助手应用，设置知识检索节点和 LLM 节点，发布更新并访问 API。 把 Agent 应用接入微信：创建 Agent 应用，设置对话模型和添加工具，生成 API 密钥，填写配置文件，启动程序并进行测试。更多内容请访问原文：https://docs.dify.ai/v/zhhans/learnmore/usecases/difyonwechat 部署自己的 Dify 网站： Dify 有两种使用方式：云服务版本，直接在官网 dify.ai 上注册账号使用；部署社区版，开源，可商用，但不能作为多租户服务使用，对个人使用完全无限制。 部署前提条件：2 核 4G 云服务器一台 = 159 元。
2024-11-22
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 其核心目的是为大语言模型（LLM）提供额外的、来自外部知识源的信息，通过检索模式为大语言模型的生成提供帮助，使生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受训练数据和学习方式限制，对长尾知识接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确、结构化，加上模型理解能力，降低大模型输出出错可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器则利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-12-25
推荐 GraphRAG 的学习文档
以下是为您推荐的 GraphRAG 学习文档： 1. ，其中包含 GraphRAG 相关内容。 2. ，涉及 GraphRAG 内容。 3. ，有关于 GraphRAG 的介绍。 4. ，包含 GraphRAG 相关内容。 5. ，通俗易懂地介绍了 GraphRAG 的原理、与传统 RAG 的区别、GraphRAG 的优势、知识图谱的创建和利用知识图谱工作。
2024-12-24
什么是rag
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 其旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。通过检索的模式，为大语言模型的生成提供帮助，使大模型生成的答案更符合要求。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在黑盒、不可控以及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 在一个 RAG 的应用中，可以抽象为以下 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。
2024-12-23
RAG
RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构。 大模型需要 RAG 进行检索优化，是因为大模型存在一些缺点： 1. 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. 知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. 输出难以解释和验证，存在内容黑盒、不可控及受幻觉问题干扰的情况。 4. 容易泄露隐私训练数据。 5. 规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且不影响原有知识。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt 中，提交给大模型，此时大模型的回答会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 RAG 由一个“检索器”和一个“生成器”组成，检索器从外部知识中快速找到与问题相关的信息，生成器利用这些信息来制作精确和连贯的答案，非常适合处理需要广泛知识的任务，如问答系统，能够提供详细而准确的回答。
2024-12-19
如何搭建一个RAG应用？
搭建一个 RAG 应用可以使用 LangChain 平台，以下是相关步骤和组件： 1. 数据加载器（DocumentLoader）：这是一个对象，能从数据源加载数据并转换为包含 page_content（文本内容）和 metadata（元数据，如标题、作者、日期等）的文档对象。 2. 文本分割器（DocumentSplitter）：可将文档对象分割成多个较小的文档对象，方便后续检索和生成，因为大模型输入窗口有限，短文本更易找到相关信息。 3. 文本嵌入器（Embeddings）：能将文本转换为高维向量的嵌入，用于衡量文本相似度以实现检索功能。 4. 向量存储器（VectorStore）：可存储和查询嵌入，通常使用 Faiss 或 Annoy 等索引技术加速检索。 5. 检索器（Retriever）：能根据文本查询返回相关文档对象，常见实现是向量存储器检索器，利用向量存储器的相似度搜索功能检索。 6. 聊天模型（ChatModel）：可根据输入序列生成输出消息，通常基于大模型如 GPT3 实现文本生成功能。 使用 LangChain 构建 RAG 应用的一般流程如下： 首先，使用合适的数据加载器根据数据源类型加载数据。例如，数据源是网页可用 WebBaseLoader 加载和解析网页得到文档对象。 然后，用合适的文本分割器将文档对象分割成较小的符合要求的文档对象。如文本是博客文章，可用 RecursiveCharacterTextSplitter 分割。 接下来，用文本嵌入器将文档对象转换为嵌入，并存储到向量存储器中。可根据嵌入质量和速度选择合适的嵌入器和存储器，如 OpenAIEmbeddings 和 ChromaVectorStore。 之后，创建向量存储器检索器，传递向量存储器对象和文本嵌入器对象作为参数。 最后，创建聊天模型，根据性能和成本选择合适的模型，如 OpenAIChatModel。 以下是一个使用 LangChain 构建 RAG 应用的示例代码。
2024-12-15
RAG 如何测评？
RAG（检索增强生成）的测评方法如下： 1. 可以使用 TruLens 来实现 RAG 三角形的评估方法，具体步骤为： 在 LangChain 中，创建一个 RAG 对象，使用 RAGPromptTemplate 作为提示模板，指定检索系统和知识库的参数。 在 TruLens 中，创建一个 TruChain 对象，包装 RAG 对象，指定反馈函数和应用 ID。反馈函数可以使用 TruLens 提供的 f_context_relevance、f_groundness、f_answer_relevance，也可以自定义。 使用 with 语句来运行 RAG 对象，并记录反馈数据。输入一个问题，得到一个回答，以及检索出的文档。 查看和分析反馈数据，根据 RAG 三角形的评估指标，评价 RAG 的表现。 2. 评估 RAG 生成的文本质量，常用的评估方法包括自动评估指标（如 BLEU、ROUGE 等）、人工评估和事实验证，以衡量生成文本的流畅性、准确性和相关性。 3. 评估 RAG 检索的效果，包括检索的准确性、召回率和效率，其好坏直接影响生成文本的质量。 4. 通过用户调查、用户反馈和用户交互数据来实现用户满意度评估。 5. 对于生成多模态内容的 RAG 系统，需要通过多模态评估指标来评估不同模态之间的一致性和相关性。 6. 对于需要实时更新的 RAG 任务，要考虑信息更新的及时性和效率进行实时性评估。 7. 为了进行客观的评估，通常会使用基准测试集来进行实验和比较不同的 RAG 系统。这些基准测试集包含了多样化的任务和查询，以涵盖不同的应用场景。 评估方法和指标的选择取决于具体的任务和应用场景。综合使用多种评估方法可以更全面地了解 RAG 系统的性能和效果，评估结果可以指导系统的改进和优化，以满足用户的需求。
2024-12-13
如何利用 AIGC 技术实现游戏产业的生产力革命，请结合相关技术的原理和框架图进行阐述
利用 AIGC 技术实现游戏产业的生产力革命主要体现在以下几个方面： 1. 降低开发成本：AIGC 技术能够极大程度地减少游戏开发过程中的人力、物力和时间投入。 2. 缩减制作周期：加快游戏的制作速度，使游戏能够更快地面向市场。 3. 提升游戏质量：例如生成新的高质量游戏内容，如地图、角色和场景，改进游戏的图像和声音效果等。 4. 带来新的交互体验：为玩家提供更加丰富和独特的游戏体验。 游戏人工智能技术的未来发展方向还包括： 1. 探索将游戏环境中的成果迁移至现实世界：电子游戏作为人工智能算法的测试场，为人工智能模型的构建与训练提供了理想化的场所，但将游戏中的技术推广到现实世界应用仍面临诸多挑战，需要进一步研究和发展。 2. 为通用人工智能的孵化给予帮助：经多个复杂游戏训练后的“玩游戏”的人工智能体，将为通用人工智能的发展提供支持。 随着游戏中生成式人工智能革命的进展，它将彻底重塑用户生成内容（UGC），创造一个任何人都可以构建游戏的世界，并将游戏市场扩大到超出许多人的想象。在未来几年，深厚的技术知识或艺术掌握将不再是开发游戏所需的基本技能，创作者只会受到他们的精力、创造力和想象力的限制。生成式人工智能将通过使游戏创作民主化来改变和颠覆 UGC 游戏领域，让数百万人能够制作他们的第一款游戏，新一代游戏开发者将释放出一波游戏设计创造力浪潮，从而永远改变游戏行业。
2024-12-24
我想要实现一个微信ai客服，怎么弄呢
要实现一个微信 AI 客服，您可以参考以下两种方法： 方法一： 1. 搭建，用于汇聚整合多种大模型接口，方便后续更换使用各种大模型，同时会告诉您如何白嫖大模型接口。 2. 搭建，这是一个知识库问答系统，将知识文件放入其中，并接入上面的大模型作为分析知识库的大脑，最后回答您的问题。如果不想接到微信，自己使用，搭建完此系统即可，它也有问答界面。 3. 搭建，其中的 cow 插件能进行文件总结、MJ 绘画等。 方法二： 1. 确定功能范围： 支持用户发送“关键字”，自助获取您分享的“AI 相关资料链接”。 能够回答 AI 相关知识，优先以“您的知识库”中的内容进行回答，若知识库内容不足，则调用 AI 大模型回复，并在答案末尾加上“更多 AI 相关信息，请链接作者：jinxia1859”。 “AI 前线”能发布在您的微信公众号上，作为微信客服助手。 2. 准备以下内容： 根据 Bot 的目的、核心能力，编写 prompt 提示词。 整理“关键字”与“AI 相关资料链接”的对应关系，可用 word、txt、excel 整理。 创建一个自己的【知识库】，用于回答 AI 相关知识。 由于“AI 前线”要按照一定规则处理知识，创建一个【工作流】，控制 AI 按要求处理信息。 准备好自己的微信公众号，以便将机器人发布在微信公众号上。 以上就是实现微信 AI 客服的两种方式及具体步骤。
2024-12-20
计算两个文本的相识度代码实现
以下是关于计算两个文本相似度的代码实现相关内容： 在文本处理中，文本会先转为 tokens，再转为向量，然后放到计算机中运算以找出规律。在文本转为向量后，可以通过欧式距离或 cosin 角度来计算两个文本之间的相似性。例如，使用 SBERT 算法时，对于描述主体相同的情况（如屏幕相关的描述）会设为高相似性。文本统计单位“1”通常是以二级类别来衡量，比如屏幕模糊，它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别，目前多采用人工统计。同时，文本统计单位“1”是一个 clustering 概念，因为在向量空间中难以找到完全相同的两个单位，更多是距离较近的单位，所以统计通常以 clustering 计算。 另外，在初级菜鸟学 Langchain 实录中，对于文本相似度检索过程，包括读入文字、进行文字清洗、文本句子切分、文本向量化、计算相似度以及取前几的答案等步骤，详情可见 https://github.com/yuanzhoulvpi2017/DocumentSearch 。
2024-12-19
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒，我要如何利用agent自动流实现这个模型可以生成更长，更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频，您可以参考以下几种模型和方法： 1. PixVerse V2 模型： 8 秒的视频生成需要花费 30 Credits，5 秒的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型： Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video：30B 参数 Transformer 模型，可以从单个文本提示生成 16 秒、16 帧每秒的高清视频，相当于 73K 个视频 tokens。对于精确视频编辑，它可以执行添加、删除或替换元素，或背景替换、样式更改等全局修改。对于个性化视频，它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio：13B 参数 Transformer 模型，可以接受视频输入以及可选的文本提示，生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成，在骨干网络架构上，它沿用了 Transformer，特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练，学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调，以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果，模型还引入了流匹配（Flow Matching）作为训练目标，这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型： 文生视频，图生视频，视频生视频，支持多种视频定制选项，如分辨率（从 480p 到 1080p）、视频长度（从 5 秒到更长时间）和视频风格。用户可以浏览社区共享的视频，获取灵感和学习技巧（直接抄别人 prompt）。 故事板：允许用户通过时间线指导视频中的多个动作，创建更加复杂的视频序列。 混音和编辑：提供视频混音功能，允许用户将视频转换成新的风格。支持视频的延伸和剪辑，以及创建循环视频。 高级功能：包括混合功能，可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户，Sora 的使用是包含在现有订阅中的，无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数；OpenAI Pro 订阅无限次慢速队列生成，500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成，但这可能会减少每月的使用次数。Sora 的发布初期，对于某些地区（如欧洲和英国）可能会有延迟。
2024-12-19
nova有个图生视频的功能，但是只能生成6秒钟，我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法： 1. 使用 PixVerse V2 模型： 单个视频生成（8s）：8s 的视频生成需要花费 30 Credits，5s 的视频生成需要花费 15 Credits，且只能使用 PixVerse V2 模型，生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频：点击“Text to Video”，在“Model”选择“PixVerse V2”，视频时长。PixVerse V2 支持多风格的视频生成，您可以通过在提示词中加入“Anime”，“Realistic”等词语做到这点。 图生视频：点击“Image to Video”，在“Model”选择“PixVerse V2”，图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能，如需要使用上述功能，请将模型切换至“PixVerse V1”。 2. 利用 runway： 视频的大部分片段用 runway（https://app.runwayml.com/）制作，少数的片段用的是即梦（https://jimeng.jianying.com/aitool/home）的动效画板和首尾帧。 以汽车内饰这一片段为例，登录 runway 账户后，在首页的左侧点击“Text/Imagine to Video”，中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本，数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s，时长越长，生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是，即摄像机围绕垂直轴顺时针旋转，常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话，每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢？可以参照：。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填，先看看效果，如果效果不好，再补充简短的提示词重新生成视频。很多时候提示词过多，生成的视频就很怪异，像吃了毒蘑菇后看到的幻觉一样。改变提示词，改变生成时长，多抽卡几次，毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva： viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型，而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能，另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频，图生视频是 4 秒视频。
2024-12-19
推荐一个大模型，可以实现特定人的声音，朗读文字
以下为您推荐可以实现特定人声音朗读文字的大模型及相关工具： 大模型方面：包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 语音合成（TTS）工具： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits 系列可以自己训练出想要的人声。 sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面，前段时间很火的 AI 孙燕姿。 Eleven Labs：https://elevenlabs.io/ ，ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件，使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化，并能够根据上下文调整表达方式。 Speechify：https://speechify.com/ ，Speechify 是一款人工智能驱动的文本转语音工具，使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用，可用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio：https://speech.microsoft.com/portal ，Microsoft Azure Speech Studio 是一套服务，它赋予应用程序能力，让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外，它还提供了自定义的语音模型，这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 Voicemaker：https://voicemaker.in/ ，AI 工具可将文本转换为各种区域语言的语音，并允许您创建自定义语音模型。Voicemaker 易于使用，非常适合为视频制作画外音或帮助视障人士。 此外，上述算法开源的代码有很多，例如： ASR 语音识别： openai 的 whisper:https://github.com/openai/whisper wenet:https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition 除了算法，人物建模模型可以通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现，这样就完成了一个最简单的数字人。但这种简单的构建方式还存在很多问题，例如如何生成指定人物的声音，TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作，数字人如何使用知识库，做出某个领域的专业性回答等。
2024-12-18