如何自动化 RAG bot 的测试评估工作流?

飞书智能伙伴创建平台（英文名：Aily）是飞书团队旗下的企业级 AI 应用开发平台，能提供简单、安全且高效的环境，帮助企业构建和发布 AI 应用，推动业务创新和效率提升，为企业探索大语言模型应用新篇章、迎接智能化未来提供理想选择。 在飞书智能伙伴创建平台上实现 RAG 相关应用有多种方式： 1. 利用飞书的知识库智能问答技术，引入 RAG 技术，通过机器人帮助用户快速检索内容。 2. 可以使用飞书的智能伙伴功能搭建 FAQ 机器人，了解智能助理的原理和使用方法。 3. 本地部署资讯问答机器人，如通过 Langchain + Ollama + RSSHub 实现 RAG，包括导入依赖库、从订阅源获取内容、为文档内容生成向量等步骤。例如使用 feedparse 解析 RSS 订阅源，ollama 跑大模型（使用前需确保服务开启并下载好模型），使用文本向量模型 bgem3（如从 https://huggingface.co/BAAI/bgem3 下载，假设放置在某个路径 /path/to/bgem3，通过函数利用 FAISS 创建高效向量存储）。 使用飞书智能伙伴创建平台的方式： 1. 在 WaytoAGI 飞书知识库首页找到加入飞书群的链接（二维码会定期更新，需在找到最新二维码），点击加入，直接@机器人。 2. 在 WaytoAGI.com 的网站首页，直接输入问题即可得到回答。 创建问答机器人的原因： 1. 知识库内容庞大，新用户难以快速找到所需内容。 2. 传统搜索基于关键词及相关性，存在局限性。 3. 需要用更先进的 RAG 技术解决问题。 4. 在群中提供快速检索信息的方式，使用更便捷。 2024 年 2 月 22 日的会议介绍了 WaytoAGI 社区的成立愿景和目标，以及其在飞书平台上的知识库和社区情况，讨论了相关技术和应用场景，并介绍了企业级 agent 方面的实践。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 而 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景如知识问答系统，用户提出问题，RAG 模型从大规模的文档集合中检索相关的文档，然后生成回答。 一个 RAG 的应用可抽象为 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块。 3. 存储：包括将切分好的文档块进行嵌入转换成向量的形式，以及将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

以下为您推荐一些 RAG 实战教程： 1. 【AI+知识库】商业化问答场景，让 AI 回复更准确，一篇专为所有“小白”讲透 RAG 的实例教程（上篇）： 介绍了常见的错误场景，如回答不准确、报价错误、胡编乱造等，强调了优化 AI 准确回答的重要性，并引出 RAG 概念。 讲解了基础概念，包括优化幻觉问题和提高准确性需要了解从“问题输入”到“得到回复”的过程，并针对每个环节逐个调优。 阐述了检索原理，包括问题解析阶段通过嵌入模型将问题文本转化为向量，知识库检索阶段比较向量选择相关信息片段，信息整合阶段构建融合全面的信息文本，大模型生成回答阶段将整合后的信息转化为向量输入大语言模型生成回答。还通过实例进行了详细说明，如知识库检索部分的向量化、优化问题、向量检索、抽取内容块等，以及大模型对话部分。 2. 开发：LangChain 应用开发指南 不用向量也可以 RAG： 以餐饮生活助手为例展示了基于结构化数据来 RAG 的实战方法，包括给出用户提问和回复的示例，以及餐饮生活助手 RAG 的代码实战。 介绍了实现餐饮生活助手 RAG 的 Langchain 代码实战需要完成的步骤，如定义餐饮数据源，将餐饮数据集转化为 Langchain 可识别和操作的数据源并注册到 Langchain 中；定义 LLM 的代理，通过 Langchain 的代理根据用户问题提取信息、形成查询语句、检索数据源、生成答案并输出给用户。

以下是关于学习 RAG 的方法和相关内容： 1. 从 AI 搜索切入：RAG 流程复杂，可先从熟悉的 AI 搜索入手。AI 大模型擅长语义理解和文本总结，但不擅长获取实时信息；搜索引擎擅长获取实时信息但信息分散，需人为总结。AI 与搜索引擎结合，给 AI 配备活字典，搜索引擎充当知识库。 2. 用 Coze 学习 RAG 的方法： 推荐使用 Claude + Coze 的方法。Claude 是强大的 AI 大模型，Coze 是 AI Agent 的衍生产品。 首先通过 Claude 了解细节概念，然后通过 Coze 搭建 Demo，在动手实践中学习。 学习过程中创建了 4 个 Bot： 产品资料问答机器人，利用 Coze 的知识库能力演示知识库在企业中的应用。 Query 改写助手学习 Bot，专门用于学习 Query 的改写。 Query 改写效果对比 Bot，对比 Query 改写和未改写的区别。 RAG 全流程学习 Bot，结合对 RAG 全流程的了解，使用 Coze 的工作流模拟 RAG 的离线存储和在线检索全流程。 3. 相关视频演示： 还不知道 Coze 是什么的同学可以看公开分享： 。

RAG（RetrievalAugmented Generation）即检索增强生成，是一种结合检索和生成能力的自然语言处理架构，旨在为大语言模型（LLM）提供额外的、来自外部知识源的信息。 大模型需要 RAG 进行检索优化的原因在于其存在一些缺点： 1. LLM 无法记住所有知识，尤其是长尾知识，受限于训练数据和学习方式，对长尾知识的接受能力不高。 2. LLM 的知识容易过时且不好更新，微调效果不佳且有丢失原有知识的风险。 3. LLM 的输出难以解释和验证，存在内容黑盒、不可控及受幻觉干扰等问题。 4. LLM 容易泄露隐私训练数据。 5. LLM 的规模大，训练和运行成本高。 RAG 具有以下优点： 1. 数据库对数据的存储和更新稳定，不存在模型学不会的风险。 2. 数据库的数据更新敏捷，可解释且对原有知识无影响。 3. 数据库内容明确、结构化，加上模型的理解能力，能降低大模型输出出错的可能。 4. 知识库存储用户数据，便于管控用户隐私数据，且可控、稳定、准确。 5. 数据库维护可降低大模型的训练成本，新知识存储在数据库即可，无需频繁更新模型。 RAG 的核心流程是根据用户提问，从私有知识中检索到“包含答案的内容”，然后把“包含答案的内容”和用户提问一起放到 prompt（提示词）中，提交给大模型，此时大模型的回答就会充分考虑到“包含答案的内容”。其最常见应用场景是知识问答系统。 在一个 RAG 的应用中，可以抽象为以下 5 个过程： 1. 文档加载：从多种不同来源加载文档，LangChain 提供了 100 多种不同的文档加载器，包括 PDF 在内的非结构化的数据、SQL 在内的结构化的数据，以及 Python、Java 之类的代码等。 2. 文本分割：文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储：涉及将切分好的文档块进行嵌入转换成向量的形式，并将 Embedding 后的向量数据存储到向量数据库。 4. 检索：通过某种检索算法找到与输入问题相似的嵌入片。 5. 输出：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起来生成更加合理的答案。

企业 RAG 知识库的实施步骤主要包括以下几个方面： 1. 文档加载（Document Loading）：从多种不同来源加载文档，如包括 PDF 在内的非结构化数据、SQL 在内的结构化数据，以及 Python、Java 之类的代码等。LangChain 提供了 100 多种不同的文档加载器。 2. 文本分割（Splitting）：使用文本分割器把 Documents 切分为指定大小的块，称为“文档块”或者“文档片”。 3. 存储（Storage）：存储涉及两个环节，一是将切分好的文档块进行嵌入（Embedding）转换成向量的形式，二是将 Embedding 后的向量数据存储到向量数据库。 4. 检索（Retrieval）：数据进入向量数据库后，通过某种检索算法找到与输入问题相似的嵌入片。 5. Output（输出）：把问题以及检索出来的嵌入片一起提交给 LLM，LLM 会通过问题和检索出来的提示一起生成更加合理的答案。 此外，构建知识库也是重要的步骤。 海外官方文档：https://www.coze.com/docs/zh_cn/knowledge.html 国内官方文档：https://www.coze.cn/docs/guides/use_knowledge

AI chatbot、agent、copilot 主要有以下区别： 1. 定义和角色： Copilot：翻译成副驾驶、助手，在帮助用户解决问题时起辅助作用。 Agent：更像主驾驶、智能体，可根据任务目标自主思考和行动，具有更强的独立性和执行复杂任务的能力。 Chatbot：具备基本对话能力，主要依赖预设脚本和关键词匹配，用于客户服务和简单查询响应。 2. 核心功能： Copilot：更多地依赖于人类的指导和提示来完成任务，功能很大程度上局限于在给定框架内工作。 Agent：具有更高的自主性和决策能力，能够根据目标自主规划整个处理流程，并根据外部反馈进行自我迭代和调整。 3. 流程决策： Copilot：处理流程往往依赖于人类确定的静态流程，参与更多是在局部环节。 Agent：解决问题的流程由 AI 自主确定，是动态的，不仅可以自行规划任务步骤，还能根据执行过程中的反馈动态调整流程。 4. 应用范围： Copilot：主要用于处理简单、特定的任务，更多是作为工具或助手存在，需要人类引导和监督。 Agent：能够处理复杂、大型的任务，并在 LLM 薄弱的阶段使用工具或 API 等进行增强。 5. 开发重点： Copilot：主要依赖于 LLM 的性能，开发重点在于 Prompt Engineering。 Agent：同样依赖于 LLM 的性能，但开发重点在于 Flow Engineering，即在假定 LLM 足够强大的基础上，把外围的流程和框架系统化。 以下是一些 Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成丰富插件工具。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及部署 Copilot 到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景方面表现出色。 以上信息由 AI 大模型生成，请仔细甄别。

以下是关于 Coze Bot 的小白教程： 1. 搭建您的第一个 AI Bot： 设定 Bot 的人设与回复逻辑后，为 Bot 配置对应的技能，以保证其可以按照预期完成目标任务。以获取 AI 新闻的 Bot 为例，需要为它添加一个搜索新闻的接口来获取 AI 相关的新闻。 在 Bot 编排页面的技能区域，单击插件功能对应的“+”图标。 在添加插件页面，选择阅读新闻>头条新闻>getToutiaoNews，然后单击新增。 修改人设与回复逻辑，指示 Bot 使用 getToutiaoNews 插件来搜索 AI 新闻。 （可选）为 Bot 添加开场白，让用户更好地了解 Bot 的功能。开场白功能目前支持豆包、微信公众号（服务号）。 2. 测试您的 Bot：配置好 Bot 后，在预览与调试区域中测试 Bot 是否符合预期。可单击清除图标清除对话记录。 3. 发布您的 Bot： 在 Bot 的编排页面右上角，单击发布。 在发布页面输入发布记录，并勾选发布渠道。 单击发布。 更多内容，请访问 Coze 官方文档： 英文版：https://www.coze.com/docs/welcome.html 中文版：https://www.coze.cn/docs/guides/welcome 此外，还有以下相关教程： 1. 张梦飞：【保姆级教程】这可能是你在地球上能白嫖到的，能力最强的超级微信机器人！一步一图，小白友好 二、注册 COZE：点击去注册账号：https://www.coze.com/ 。注册完成后登录，点击 Creat bot 进行后续操作。 三、注册 Discode：先注册：https://discord.com/ 。注册后登录，按照一系列步骤进行操作，注意保存 Coze_bot1 和 Coze_bot2 的：APPLICATION ID、TOKEN。 2. 大聪明：保姆级教程：Coze 打工你躺平 如何使用就是一把梭：先创建第一个 bot，然后不断精进，直到做出特定效果。 Step0：先跑起来，创建一个 Coze Bot，帮您查阅 Hacker News，并中文返回。打开 coze.cn/home，点创建 Bot，引入联网插件 WebPilot 后尝试联网询问新闻。

Sora 是 OpenAI 在 2024 年 2 月发布的文本到视频生成的 AI 模型。 其具有以下特点和相关情况： 足够惊艳，但关键问题仍需探讨。Sora 团队未明确表示已实现基于成熟的世界因果关系模型，而是用了世界模拟器的描述。顶尖学术圈对此较为严谨，Lecun 在世界政府峰会上不看好 Sora，指出其并非真正的世界模型，且仍会面临 GPT4 的巨大瓶颈。 自 ChatGPT 发布以来，人工智能技术标志着重大转变。Sora 能根据文本提示生成长达 1 分钟的高质量视频，具有准确解释和执行复杂人类指令的能力，能生成包含多个角色及复杂背景的详细场景，保持高视觉质量和视觉连贯性，克服了早期视频生成模型的一些限制，展示了作为世界模拟器的潜力。 基于公开的技术报告和逆向工程，有对其背景、技术、应用、挑战和未来方向的全面综述。涵盖了追溯发展、探究底层技术、描述在多行业中的应用和潜在影响、讨论主要挑战和局限性，以及对未来发展的探讨。

以下是关于 ChatBot 的相关内容： 1. 基于 COW 框架的 ChatBot 实现： 作者熊猫大侠介绍了基于大模型搭建的 Chat 机器人框架，可将多模型塞进微信里实现。张梦飞同学写了更适合小白的使用教程，链接为：https://waytoagi.feishu.cn/wiki/A9w1wUcXSihF6XkeKVic8CXxnHb 。 实现内容包括打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等），常用开源插件的安装应用。 正式开始前需知道：本实现思路需接入大模型 API（API 单独付费）。存在风险与注意事项，如微信端有封号危险，不建议主力微信号接入；操作需依法合规，对大模型生成的内容注意甄别，禁止用于非法目的，处理敏感或个人隐私数据时注意脱敏。 支持多平台接入，如微信、企业微信、公众号、飞书、钉钉等。可选择多模型，如 GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。支持多消息类型，能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。有多种部署方法，如本地运行、服务器运行、Docker 的方式。 2. 打造聊天机器人“订餐机器人”： 建立自己的聊天机器人，称为“订餐机器人”，使用自动化方式收集用户提示和助手反馈来构建。用于比萨饼店接收订单。 定义“帮助函数”收集用户消息，避免手动输入。函数从用户界面收集提示并附加到称为上下文的列表中，每次使用该上下文调用模型。 模型和用户的反馈信息都会添加到上下文中，上下文会越来越长，模型据此决定下一步行动。 订餐机器人需等待收集整个订单，然后总结，并最后再次确认客户是否需要添加其他内容。若送货，需询问地址，最后收取支付款项。确保澄清所有选项、附加项和规格，以唯一地从菜单中识别出该项目。以简短、口语化和友好的方式回应。 可要求模型创建基于对话的 JSON 摘要，提交给订单系统。可对其进行定制，改变聊天机器人的行为。

Chatbot 对话和 AI 搜索存在以下区别： 1. 产品形态： Chatbot 主要交互是一个对话框+RAG 联网检索，如 ChatGPT、Kimi Chat 等。这类产品依赖大模型的理解能力提供问答服务，RAG 检索作为补充手段，弥补大模型在实时信息获取方面的不足。 AI 搜索产品主要交互是一个搜索框+搜索详情页，如 Perplexity、秘塔等。这类产品主要侧重点在检索，优先保证检索召回的信息质量，在首次回答的准确度方面有所要求，而对话（Chat）则作为补充步骤，方便用户对检索结果进行追问或二次检索。 2. 市场定位： 大部分产品聚焦在国内，如大模型厂商推出的 ChatBot 产品（智谱清言、Kimi Chat、百小应、海螺 AI 等），搜索厂商或创业团队推出的 AI 搜索产品（360 AI 搜索、秘塔、博查 AI、Miku 等）。 海外也有很多成熟的和新出的泛 AI 搜索产品（Perplexity、You、Phind 等），中国公司和团队也有面向全球市场的出海产品（ThinkAny、GenSpark、Devv 等）。市场定位的选择跟创始团队的背景或认知有关。 3. 搜索类型： 通用搜索：没有明显的受众倾向，任何人可以搜任何问题，都能得到一个相对还不错的搜索结果，如 Perplexity、ThinkAny。 垂直搜索：面向特定的人群或特定的领域，对特定的信息源做索引和优化，在某类问题的搜索上会有更好的结果，如 Devv 主要面向开发者人群，问编程相关的问题，搜索结果和回复准确度都比较高，问旅游或其他类型的问题，回答质量则不如通用搜索。 目前存在能联网检索的 AI，例如 ChatGPT Plus 用户现在可以开启 web browsing 功能实现联网，Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，Bing Copilot 旨在简化在线查询和浏览活动，还有 You.com 和 Neeva AI 等搜索引擎，它们提供了基于人工智能的定制搜索体验，并保持用户数据的私密性。这些 AI 搜索工具的出现标志着在信息检索领域的一个重要发展，大幅提升了数据集命中预期，并为实际应用带来了更多可能性。但请注意内容由 AI 大模型生成，请仔细甄别。

以下是关于将 Bot 发布到微信不同渠道的相关信息： 发布到微信服务号 使用限制： 一个 Bot 只能发布到一个企业服务号。 确保微信服务号已经完成了认证。未认证和认证中的服务号无法接收消息。 支持在回复服务号时上传图片，但图片大小不能超过 10MB。 前提条件： 已经创建了微信服务号。 已经配置了 Bot。 步骤： 获取微信服务号的开发者 ID： 1. 访问并登录服务号。 2. 在设置与开发>基本配置页面，获取开发者 ID。 在扣子中配置并发布 Bot： 1. 在 Bots 页面，选择需要发布的 Bot。 2. 在 Bot 编排页面，单击发布。 3. 在发布页面，找到微信公众号（服务号）发布渠道，单击配置。 4. 在 AppID 输入框内，填写微信服务号的开发者 ID，并单击保存。 5. 跳转到公众平台账号授权页面，使用公众平台绑定的管理员个人微信号扫描二维码。 6. 在微信移动端，根据页面提示选择服务号并确认授权。 7. 返回 Bot 发布页面，选中微信公众号（服务号）发布平台，并设置发布记录后，单击页面右上角的发布。 发布到微信订阅号 使用限制： 一个 Bot 只能发布到一个微信订阅号。 支持在回复订阅号时上传图片，但图片大小不能超过 10MB。 每次回复消息时，只能回复一张图片。 如果模型返回的是图文混排的内容，则直接返回完整的 Markdown 内容。 如果模型生成了多张 Markdown 语法的图片内容，最终会解析返回第一张图片，多余图片会被丢弃。 前提条件： 已经创建了微信订阅号。 已经配置了 Bot。 步骤： 获取微信订阅号的开发者 ID： 1. 访问并登录订阅号。 2. 在设置与开发>基本配置页面，获取开发者 ID。 在扣子中配置并发布 Bot： 1. 在 Bots 页面，选择需要发布的 Bot。 2. 在 Bot 编排页面，单击发布。 3. 在发布页面，找到微信公众号（订阅号）发布渠道，单击配置。 4. 在 AppID 输入框内，填写微信订阅号的开发者 ID，并单击保存。 5. 跳转到公众平台账号授权页面，使用公众平台绑定的管理员个人微信号扫描二维码。 6. 在微信移动端，根据页面提示选择订阅号并确认授权。 7. 返回 Bot 发布页面，选中微信公众号（订阅号）发布平台，并设置发布记录后，单击页面右上角的发布。 发布到微信客服 步骤： 1. 回到扣子平台的微信客服渠道配置页面，输入复制的 secret 和客服名称。 2. 单击保存。 3. 在发布记录中输入发布信息，然后勾选微信客服渠道，再单击发布。 4. 发布完成后，单击立即对话登录微信客服，体验 Bot 效果。 常见问题： 收不到机器人回复消息怎么办？ 1. 查看微信客服的启用状态：登录，在应用管理页面，点击微信客服。确保没有启用微信客服功能。如果已经开启了微信客服功能，需要关闭。关闭后，该应用在工作台入口将被隐藏，员工不可使用。请谨慎评估。 2. 检查近期是否有登录企业微信应用。确保企业至少有一个成员通过手机号验证/微信授权登录过企业微信应用。如果还是有问题，可以发送邮件至 feedback@coze.cn 反馈。

对于普通人学习 AI 自动化，Make 和 Coze 哪个更适合的问题，以下是一些相关信息供您参考： Make 对于编程小白比较友好，其思考过程较长，有助于学习，但不太适合专业选手，因为思考过程较慢，可能会让人有点不耐烦。Make 具有国内版优势，包括深度理解中国开发场景和技术生态、完全免费、无需翻墙、流畅稳定，还具备完整的 IDE 功能（代码编写、项目管理、插件管理、源代码管理等）。您可以通过进行尝试。 Coze 是一款 AI Agent 的衍生产品，其价值在于可以跟进当前 AI Agent 工具的发展情况，发现商业化机会，还能用于做产品 Demo。在学习新知识如 RAG 时，可以先通过 Claude 了解细节概念，再通过 Coze 搭建 Demo 进行实践。在学习 RAG 过程中，还可以利用 Coze 的知识库能力创建如产品资料问答机器人等 Bot。 总的来说，如果您是编程小白，Make 可能更适合；如果您希望跟进 AI 工具发展并进行实践操作，Coze 可能更符合您的需求。但最终的选择还需根据您的具体学习目标和个人偏好来决定。

AI 在非标自动化机构设计上的应用包括以下方面： 1. 智能体应用： 决策智能体设计，使用语言模型遍历预定义的决策树。 轨道智能体，为智能体配备更高层次的目标，限制解决空间，要求遵循标准作业程序并使用预先设定的“工具”库。 通用人工智能体，完全依赖语言模型的推理能力进行所有的计划、反思和纠正。 2. AI 绘画应用： 快速草图，帮助设计师快速创建草图和概念图，便于探索和调整设计方案。 自动化创意设计，快速创建各种设计方案，加快设计过程和减少犯错。 自动化颜色匹配，自动匹配色彩，使设计作品更协调美观。 自动化插图绘制，帮助设计师自动化绘制插图，如手绘、卡通风格插图等。 3. 计算机视觉工具库应用： Roboflow 的开源计算机视觉工具库 Supervision 新增了高级视频分析功能，其开发的自动计数工具能识别物体、追踪姿态并进行动作计数。该工具库是全方位的计算机视觉平台，支持多种注释和图像格式，提供过滤、标签、分割、预处理和增强图像数据的功能，还集成了 OpenAI、Meta AI 等的模型，并提供一系列工具来组织视觉数据、自动化标签和部署基础模型。

以下是一些 AI 自动化工作流的网页或软件： XiaoHu.AI 日报： 相关链接： http://qwenlm.github.io/blog/qwen1.5/ http://github.com/QwenLM/Qwen1.5 http://huggingface.co/Qwen https://huggingface.co/spaces/Qwen/Qwen1.532BChatdemo https://x.com/imxiaohu/status/1776264930506981494 Zapier 联合创始人演示的新工作流：可通过聊天界面创建，易于修改和测试。相关链接：https://x.com/dotey/status/1776124377601323266 HR 政策海报生成：通过飞书多维表格中的 AI 字段实现信息获取和加工。 Infinity AI：一键生成电影的 AI 工具。相关链接：https://xiaohu.ai/p/5531 Inhai:Agentic Workflow： RPA 软件可使基于桌面的业务流程和工作流程实现自动化，现在越来越多的 RPA 软件带上了 LLM。 ComfyUI 可将开源绘画模型 Stable Diffusion 进行工作流化操作模式。 Dify.AI 有可被复制的工作流设计。 Large Action Model 采用“通过演示进行模仿”的技术。

AI 自动化工作流方面： RPA 很早就出现在工作流编排领域，旨在使基于桌面的业务流程和工作流程实现自动化，如今越来越多的 RPA 软件带上了 LLM。 ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作，用户在流程编辑器中配置 pipeline，通过节点和连线完成模型操作和图片生成，其 DSL 配置文件支持导出导入，提高了流程可复用性，降低了时间成本。 Dify.AI 的工作流设计语言与 ComfyUI 有相似之处，都定义了标准化的 DSL 语言，方便导入导出以复用工作流。 Large Action Model 采用“通过演示进行模仿”的技术，从用户示例中学习来适应变化和处理任务。 但 Agentic Workflow 存在一些问题，如使用用户较少，在复杂流程开发上不够稳定可靠。此外，还提出了通过自然语言创建工作流的想法。 相关日报中也有涉及： XiaoHu.AI 日报中，Zapier 联合创始人演示了新的 AI 自动化工作流，通过聊天界面创建，易于修改和测试。 宝玉日报中提到用飞书+DeepSeek R1 搭建自动化 AI 工作流。

以下是关于自动化模拟操作的相关信息： 智谱的 AutoGLM 目前处于内测阶段，申请入口在智谱清言 APP 中，直接跟 AutoGLM 内测申请小助手对话提交申请即可。智谱将传统表单的提交通过 Tools 的方式做到了对话中，提升了体验。目前该应用只能在安卓设备上使用，因为数据的获取和操作是通过安卓的无障碍权限来控制的。无障碍服务是一套可以模拟操作的系统级别的 API，用户同意应用获取无障碍服务的权限之后就可以模拟操作，来控制用户的手机。无障碍被广泛用于抢红包、自动回复、一键获取权限等应用中。但开启无障碍服务后，可能会引起手机卡顿和存在隐私问题。登录 AutoGLM 后的第一件事是引导开启无障碍权限和悬浮球权限，权限授权正常后可进入首页。 GPT4VAct 是一个多模态 AI 助手，能够像人类一样模拟通过鼠标和键盘进行网页浏览。它可以模拟人类浏览网页时的行为，如点击链接、填写表单、滚动页面等。通过视觉理解技术识别网页上的元素，目的是让 AI 能够自动完成一些需要人工操作的任务，从而提高工作效率。其主要特点包括视觉处理（支持程度有限）、自动标记（使用 JS DOM 自动标记器为 UI 元素分配数字 ID，支持 COCO 数据格式的导出）、鼠标和键盘操作（能够执行点击和输入字符操作），但目前不支持输入特殊键码、滚动、提示用户提供更多信息、记住与任务相关的信息等功能。 AI Agent 要做好的核心是 Tools，如果想让 Agent 变得有用，需要解决 Tools 的问题。像荣耀的手机自动驾驶、智谱的 AutoGLM 采用类似 RPA 的方式模拟人类操作，不用跟应用厂家直接对接。

目前没有特定的 AI 软件能够直接满足您在一个软件上实现自动化抢单并自动添加备注信息，同时控制点击频率不能太高的需求。通常这类需求可能需要通过编程和定制化开发来实现，利用相关的编程语言和工具，根据具体软件的接口和规则进行开发。

很抱歉，目前没有关于 Randoop 工具使用方法的相关内容。您可以通过以下途径获取更详细的信息： 1. 官方文档：访问 Randoop 的官方网站，查找其提供的详细使用说明和教程。 2. 技术论坛：在相关的技术论坛上搜索关于 Randoop 使用的讨论和经验分享。 3. 开源社区：参与开源社区中关于 Randoop 的交流，向其他开发者请教。

以下是关于如何使用 AI 给测试提效的详细内容： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

AI 自动编写测试用例可以通过以下几种方式实现： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing ：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 实践中的应用示例： 1. Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 总结：AI 在生成测试用例方面具有显著的优势，可以自动化和智能化生成高覆盖率的测试用例，减少人工编写测试用例的时间和成本。通过合理应用 AI 工具，前端开发工程师可以提高测试效率、增强测试覆盖率和发现潜在问题，从而提升软件质量和用户体验。 请注意，以上内容由 AI 大模型生成，请仔细甄别。

AI 生成测试用例可以通过以下多种方法实现： 1. 基于规则的测试生成： 测试用例生成工具：如 Randoop（适用于 Java 应用程序）、Pex（适用于.NET 应用）。 模式识别：如 Clang Static Analyzer 利用静态分析技术识别代码模式和潜在缺陷生成相应测试用例，Infer 自动生成测试用例帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型：如 DeepTest 生成自动驾驶系统的测试用例，DiffTest 基于对抗生成网络（GAN）生成测试用例。 强化学习：如 RLTest 通过与环境交互学习最优测试策略，A3C 通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成：如 Testim 通过分析文档和用户故事自动生成测试用例，Test.ai 从需求文档中提取测试用例。 自动化测试脚本生成：如 Selenium IDE 结合 NLP 技术扩展从自然语言描述中生成自动化测试脚本，Cucumber 使用 Gherkin 语言编写的行为驱动开发（BDD）框架通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型：如 GraphWalker 基于状态模型生成测试用例，Spec Explorer 微软开发的模型驱动测试工具通过探索状态模型生成测试用例。 场景模拟：如 Modelbased Testing 基于系统模型自动生成测试用例覆盖各种可能的操作场景和状态转换，Tosca Testsuite 基于模型的测试工具自动生成和执行测试用例适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据自动生成高覆盖率的测试用例检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例确保覆盖关键功能和用户路径提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例确保覆盖所有可能的状态和操作场景检测系统的边界情况和异常处理能力。 此外，让 AI 写出您想要的代码，可以通过创建优质的.cursorrules 来实现，具体包括： 1. 先说清楚您是谁，让 AI 按照专家的水准来思考和编码。 2. 告诉 AI 您要干什么，使其围绕目标写代码。 3. 定好项目的“规矩”，强调团队的代码规范。 4. 明确文件放置位置，便于后期查找。 5. 指定使用的“工具”，保证项目的整洁和统一。 6. 告诉 AI 怎么做测试，使其生成的代码考虑可测试性并主动写测试用例。 7. 推荐参考资料，让 AI 基于最佳实践写代码。 8. 若项目涉及页面开发，补充 UI 的要求。

以下是关于测试大模型工具的相关内容： 使用 Coze IDE 创建插件： 网页搜索工具的元数据配置说明： 名称：建议输入清晰易理解的名称，便于后续大语言模型搜索与使用工具。 描述：用于记录当前工具的用途。 启用：若工具未开发测试完成，建议先禁用；若需下线某一工具，可将其设置为禁用，或删除插件等。 输入参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 输出参数：准确、清晰易理解的参数名称等信息，可让大语言模型更准确使用工具。 操作步骤：在页面右侧单击测试代码图标并输入所需参数，然后单击 Run 测试工具。若在元数据设置了输入参数，可单击自动生成图标，由 IDE 生成模拟数据，调整参数值即可进行测试。 获取字节火山 DeepSeek 系列 API 完整教程及使用方法： 可使用网页聊天和测试等方式。 例如用“2024 年高考全国甲卷理科数学”压轴题测试火山引擎的 DeepSeekR1 的速度，其推理速度比官方版本快，接口延迟低，回复迅速。 无需微调，仅用提示词工程就能让 LLM 获得 tool calling 的功能： 绝大多数小型本地开源大语言模型以及部分商用大模型接口不支持稳定的 tool calling 功能，现有的微调 LLM 解决方案会浪费大量时间和算力。本文提出仅使用提示词工程和精巧的代码设计，即可让 LLM 获得稳定的 tool calling 能力，使用多个不具备该功能的 LLM 作为测试模型，在多个工具调用任务上实验成功率为 100%，基于 comfyui 开发，适合无代码基础的人员复现和修改。

以下是一些适合测试大语言模型的数据集： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有： GAOKAOBench：地址为，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架，收集了 2010 2022 年全国高考卷的题目，包括 1781 道客观题和 1030 道主观题。 AGIEval：地址为，是由微软发布的新型基准测试，选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试，包括普通大学入学考试（中国高考和美国 SAT 考试）、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi：地址为，是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark，包含 13 个学科门类，24 万道学科题目，516 个具体学科，249587 道题目。 此外，在多语言能力评测方面，还使用了以下数据集： MMMLU：来自 Okapi 的多语言常识理解数据集，在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM：包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测，使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus，该评测集包括 10 种语言：ar（阿拉伯语）、es（西班牙语）、fr（法语）、ko（韩语）、th（泰语）、vi（越南语）、pt（葡萄牙语）、id（印度尼西亚语）、ja（日语）和 ru（俄语）。