Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

测试集

Answer

以下是关于测试集的相关信息：

  • Meta 开源视频生成模型的测试集包括 Movie Gen Video Bench 和 Audio Bench。Movie Gen Video Bench 是目前规模最大、最全面的视频生成评估基准，包含 1000 多个提示词，涵盖多种概念并有不同运动幅度的测试。Movie Gen Audio Bench 用于评估视频音效生成及视频配音能力，包含 527 个视频及相应提示。
  • 2023 年度中文大模型基准测评采用多维度、多视角的综合性测评方案，由多轮开放问题 SuperCLUE-OPEN 和三大能力客观题 SuperCLUE-OPT 两部分测评结果组成。评测集共 4273 题，其中 1060 道多轮简答题（OPEN），3213 道客观选择题（OPT）。测评采用待评估模型与基准模型对比，由超级模型评判，计算胜和率作为 OPEN 得分，最终 OPEN 分=0.7OPEN 分+0.3OPT 分，并经过人工校验。
  • 在嵌入（Embeddings）相关内容中，通过对用户和产品的所有评论进行平均获得嵌入，并在单独的测试集上评估其有用性，发现甚至在用户收到产品之前，就可以比随机预测更好地预测用户是否喜欢该产品。此外，嵌入在聚类和文本搜索任务中也有应用。
Content generated by AI large model, please carefully verify (powered by aily)

References

宝玉 日报

🫧宝玉日报「10月18日」✨✨✨✨✨✨✨✨1⃣️🎬Meta开源视频生成模型的测试集：Movie Gen Video Bench和Audio BenchMovie Gen Video Bench：目前规模最大、最全面的视频生成评估基准，包含1000多个提示词，涵盖人类活动、动物、自然景象、物理现象等概念，并有高、中、低运动幅度的测试。Movie Gen Audio Bench：评估视频音效生成及视频配音能力，包含527个视频及相应的音效和音乐提示。🔗[https://x.com/op7418/status/1847121108874809381](https://x.com/op7418/status/1847121108874809381)2⃣️📝OpenAI Canvas新增历史版本对比功能基于服务端实现，可以查看项目的历史版本并进行对比，方便追踪和管理内容的变化。🔗[https://x.com/OpenAI/status/1847016089202610235](https://x.com/OpenAI/status/1847016089202610235)🔗[https://x.com/dotey/status/1847117889641292114](https://x.com/dotey/status/1847117889641292114)3⃣️🎙️OpenAI发布gpt-4o-audio-preview模型，支持异步语音交互

2023年度中文大模型基准测评报告.pdf

对大模型研发机构及应用开发者，为优化模型和场景应用提供了相对全面的视角。测评方法持续扩充C L U E测评组OPEN在一个确定的评估标准指导下，OPEN基准使用超级模型作为评判官，使用一个待评估模型与一个基准模型进行对比，让超级模型选出A模型好，B模型好，或平局。进而计算胜和率作为OPEN得分。为更真实反应大模型能力，本次测评采用多维度、多视角的综合性测评方案，由多轮开放问题SuperCLUE-OPEN和三大能力客观题SuperCLUE-OPT两部分测评结果组成。评测集共4273题，其中1060道多轮简答题（OPEN），3213道客观选择题（OPT），以下为评测集与测评方法简述。评测反馈10万+题库被测模型A（如文心一言）VS多轮基线模型B（如GPT3.5）SuperCLUE总分不重复抽样5000原始评测集裁判模型（如GPT4-Turbo）胜(3分)、和(1分)、负(0分)OPEN分=胜和率=0.7*OPEN分+0.3*OPT分人工校验4273道评测题OPT

嵌入（Embeddings）

[User_and_product_embeddings.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/User_and_product_embeddings.ipynb)我们可以通过对他们的所有评论进行平均来获得用户嵌入。同样，我们可以通过对有关该产品的所有评论进行平均来获得产品嵌入。为了展示这种方法的实用性，我们使用50k评论的子集来覆盖每个用户和每个产品的更多评论。我们在单独的测试集上评估这些嵌入的有用性，我们将用户和产品嵌入的相似性绘制为评分的函数。有趣的是，基于这种方法，甚至在用户收到产品之前，我们就可以比随机预测更好地预测他们是否喜欢该产品。[heading3]聚类[content][Clustering.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/Clustering.ipynb)聚类是理解大量文本数据的一种方式。嵌入对于这项任务很有用，因为它们提供了每个文本的语义上有意义的向量表示。因此，以一种无监督的方式，聚类将揭示我们数据集中隐藏的分组。在这个例子中，我们发现了四个不同的集群：一个专注于狗食，一个专注于负面评论，两个专注于正面评论。[heading3]使用嵌入的文本搜索[content][Semantic_text_search_using_embeddings.ipynb](https://github.com/openai/openai-cookbook/blob/main/examples/Semantic_text_search_using_embeddings.ipynb)为了检索最相关的文档，我们使用查询的嵌入向量与每个文档之间的余弦相似度，并返回得分最高的文档。

Others are asking
什么样的数据集适合测试大语言模型？
以下是一些适合测试大语言模型的数据集： Guanaco：地址为，是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集。 chatgptcorpus：地址为，开源了由 ChatGPT3.5 生成的 300 万自问自答数据，包括多个领域，可用于训练大模型。 SmileConv：地址为，数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话，含有 56k 个多轮对话，其对话主题、词汇和篇章语义更加丰富多样，更符合长程多轮对话的应用场景。 用于评估大语言模型的框架和基准有： GAOKAOBench：地址为，是以中国高考题目为数据集，测评大模型语言理解能力、逻辑推理能力的测评框架，收集了 2010 2022 年全国高考卷的题目，包括 1781 道客观题和 1030 道主观题。 AGIEval：地址为，是由微软发布的新型基准测试，选取 20 种面向普通人类考生的官方、公开、高标准往常和资格考试，包括普通大学入学考试（中国高考和美国 SAT 考试）、法学入学考试、数学竞赛、律师资格考试、国家公务员考试等。 Xiezhi：地址为，是由复旦大学发布的一个综合的、多学科的、能够自动更新的领域知识评估 Benchmark，包含 13 个学科门类，24 万道学科题目，516 个具体学科，249587 道题目。 此外，在多语言能力评测方面，还使用了以下数据集： MMMLU：来自 Okapi 的多语言常识理解数据集，在阿、德、西、法、意、荷、俄、乌、越、中这几个子集进行测试。 MGSM：包含德、英、西、法、日、俄、泰、中和孟在内的数学评测。针对人工评测，使用内部评估集比较了 Qwen272BInstruct 与 GPT3.5、GPT4 和 Claude3Opus，该评测集包括 10 种语言：ar（阿拉伯语）、es（西班牙语）、fr（法语）、ko（韩语）、th（泰语）、vi（越南语）、pt（葡萄牙语）、id（印度尼西亚语）、ja（日语）和 ru（俄语）。
2025-03-17
如何通过AI进行软件测试？有什么好用的AI工具，以及详细的步骤是什么？
以下是关于如何通过 AI 进行软件测试以及相关好用的 AI 工具和详细步骤的介绍： 一、基于规则的测试生成 1. 测试用例生成工具 Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 2. 模式识别 Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 二、基于机器学习的测试生成 1. 深度学习模型 DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 2. 强化学习 RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 三、基于自然语言处理（NLP）的测试生成 1. 文档驱动测试生成 Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 2. 自动化测试脚本生成 Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 四、基于模型的测试生成 1. 状态模型 GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 2. 场景模拟 Modelbased Testing ：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 五、实践中的应用示例 1. Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 六、好用的 AI 工具 Testim：AI 驱动的自动化测试平台，生成和管理测试用例。 Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用。 DeepTest：利用深度学习生成自动驾驶系统测试用例。 GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试。 希望以上内容对您有所帮助。
2025-03-16
帮我找一点生成小红书的 Ai 提示词测试一下看看
以下是为您提供的一些生成小红书的 AI 提示词示例： 1. 五津:DeepSeek+扣子：1 分钟生成小红书爆款单词视频 角色：您是一个专业的单词生成助手，擅长围绕各种主题挖掘相关英语单词，为用户提供精准且实用的单词、中文、美式音标内容。 技能：当用户输入主题{{zhuti}}时，分析主题内涵，运用专业知识，输出{{shuliang}}个与该主题紧密关联的英语单词、中文翻译、美式音标，将该单词用于一句英文中（不超过 15 个单词），并将这句英文句子翻译成中文句子，并以数组形式呈现。 限制：仅围绕用户输入主题输出相关英语单词、中文翻译、美式音标，不涉及其他领域内容。输出必须为符合要求的数组形式，英文单词对应变量 yingwen，中文翻译对应变量 zhongwen，美式音标对应变量 yinbiao，英文句子对应变量 juzi_yingwen，中文句子翻译对应变量 juzi_zhongwen，不得有其他格式偏差。 2. 夙愿：用 AI 化繁为简，解决复杂问题的指南 提示词链：一个月前，通过逐步构建和不断优化提示词，最终迭代出一个小红书视频标题生成助手。收集高质量的标题示例作为后续分析的基础（纯人类），询问 GPT 分析标题特点的维度（人机协同），让 GPT 根据这些维度分析标题特点（人机协同），编写提示词（纯人类），测试提示词（人机协同），迭代提示词（人机协同）。 3. 一泽 Eze：样例驱动的渐进式引导法——利用 AI 高效设计提示词，生成预期内容 引言：一个精彩的 Prompt 是驱动 AI Agent 稳定运作的核心。例如常见的“小红书爆文生成 AI”提示词，包含精确、巧妙的提示。高质量的 Prompt 极度依赖用户通过逻辑思考，从知识经验中抽象表达出关键方法与要求。
2025-03-14
1、Puzzle 选择一个你（们）感兴趣的社会问题或者现象。 “赛博信仰”指在网络环境下衍生的一系列超现实、寄托心理期许的新兴文化现象。这种现象反映了人们在数字化时代中对精神寄托、心理安慰和未来预测的需求。赛博信仰不仅是一种文化现象，也反映了现代社会中人们对科技、信仰和现实之间关系的重新思考。 2、Facts 关于这个问题/现象，都有哪些基本事实？ 比如有人购买电子形式的马克思、爱因斯坦的脑子，象征着对智慧的渴望；借助塔罗测试程序、deepseek算命等AI工具，尝试预知命运；夸赞鹿童、转发锦鲤
关于“赛博信仰”这一现象，目前所了解到的基本事实包括：有人购买电子形式的马克思、爱因斯坦的脑子以象征对智慧的渴望；借助塔罗测试程序、deepseek 算命等 AI 工具尝试预知命运；夸赞鹿童、转发锦鲤等。但目前掌握的相关事实相对有限，还需要进一步的研究和观察来更全面地了解这一现象。
2025-03-13
我想用ai对一个网站进行渗透测试 可以用哪些工具
以下是一些可用于对网站进行渗透测试的 AI 相关工具和信息： GPT4 能够在设计用于数字取证和渗透测试的 Linux 发行版上执行命令，并能扫描网络、确定目标主机、尝试常见密码等操作，但需要注意其使用应在合法范围内。 XBOW 正在开发的 AI 渗透测试员，其性能可与优秀的人类渗透测试员相媲美。 对于学习网络安全知识和技术，可参考以下合法途径： 阅读相关的书籍、论文、博客等。 参加专业的网络安全培训课程。 在合法的实验室环境下进行网络安全实验，如搭建虚拟网络环境、进行漏洞扫描和渗透测试等。 加入网络安全社区，与其他爱好者交流经验和技术。 同时，请确保所有的测试和实践都在合法和道德的范围内进行。
2025-03-10
利用 AI，基于需求文档生成 测试用例
以下是关于利用 AI 基于需求文档生成测试用例的相关内容： 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 相关工具和平台： Testim：AI 驱动的自动化测试平台，生成和管理测试用例。 Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用。 DeepTest：利用深度学习生成自动驾驶系统测试用例。 GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试。 此外，在编程中，用户故事也很重要。其目的在于确保开发团队能够理解用户需求，并从用户角度设计和开发功能。常规模板为：“作为。”在卡密系统中，写用户故事有三点作用：让执行者了解想要做什么样的应用，从而更准确地搭建代码框架；中途作为关键的上下文信息，确保方向不偏移；可以让 Cursor 依据用户故事生成对应的测试用例，保持功能的完整和准确。可以在 Cursor 里生成 MVP 的用户故事（用其他 AI 功能生成也可以），如点击 Cursor 后，选择提前创建的一个文件夹，创建需求文档，输入简短的需求描述，让 AI 帮助生成用户故事，然后按照实际情况接受并修改。
2025-03-05