我想基于一个开源模型，训练一个自己的AI模型，用于编写软件测试用例，如何实现呢

腾讯混元大模型（HunyuanLarge）是全球最大的 MoE 开源模型，具有以下特点： 拥有 3890 亿参数，其中活跃参数为 520 亿。 具备强大的长文本处理和常识推理能力，支持 256K 上下文窗口。 通过数据增强，使用合成数据提升对未见内容的理解。 详细介绍： 模型下载： 技术报告：

以下为整合多家大语言模型的工具介绍： 1. Poe： 由 Quora 开发，有 APP 版本，支持跨端使用。 集成了 Chat GPT、GPT4、Claude+、Claude、Dragonfly 等模型，同时支持用户自建 Chatbot。 不同语言模型回复效果有差异，适合需要调用多种大语言模型的用户。 Dragonfly 擅长给出较短的回答，并擅长在输入中给出示例时遵循指示。 Claude 更擅长创造性回复，配合 Poe 中的提问引导，非常适合在查阅资料时使用，有时能够给出超越直接使用 Chat GPT 时的体验，但和 Chat GPT 一样，Claude 也时常会给出一些错误回复，一些问题可在两个模型中都问一遍提升信息准确性。 支持分享用户和模型的对话内容，但 GPT4、Claude+产品需要付费订阅使用。 访问地址： Poe 中的提问引导能够启发用户，支持 Explore Chatbot，但丰富度不如后续要介绍的 Character，midjourney prompt 扩写 Chatbot 能力很惊人。 2. Ollama： 支持多种大型语言模型，包括通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 易于使用，适用于 macOS、Windows 和 Linux 系统，同时支持 cpu 和 gpu。 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小，以满足不同需求和硬件条件。模型库可通过 https://ollama.com/library 查找。 用户可通过简单步骤自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 提供 REST API，用于运行和管理模型，以及与其他应用程序的集成选项。 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 下载安装地址：https://ollama.com/download/ ，安装完后，在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动，可通过 ollama list 确认，未下载模型时正常显示空，可通过 ollama 命令下载模型。 3. 未来还会不断丰富大模型的外延能力，例如知识库检索、计算工具、WolframAlpha、操作软件等。首先集成了 LangChain 框架，可更方便地基于 Llama2 开发文档检索、问答机器人和智能体应用等。针对 LangChain 框架封装的 Llama2 LLM 类见，简单的调用代码示例如下。

以下是一些关于大模型的前沿论文： 2017 年发布的《Attention Is All You Need》，开启了大模型发展的序幕。 2018 年 Google 提出的 BERT（Bidirectional Encoder Representations from Transformers），创新性地采用双向预训练并行获取上下文语义信息及掩码语言建模，参数规模在 110M 到 340M 之间。 2018 年 OpenAI 提出的 GPT（Generative Pretrained Transformer），开创了仅使用自回归语言建模作为预训练目标的方式，参数规模达 1750 亿。 2021 年 Meta 提出的 Large LAnguage Model Approach（LLAMA），是首个开源模型，为构建更大规模、更通用的语言模型提供了方法与工具，参数规模在十亿到千亿之间。 2024 年苹果公布的《MM1:Methods,Analysis & Insights from Multimodal LLM Pretraining》，这是一个具有高达 30B 参数的多模态 LLM 系列，探讨了不同架构组件和数据选择的重要性。

目前对比不同大语言模型的性能需要考虑多个维度，包括但不限于以下方面： 1. 理解能力：评估对语言的理解程度，涵盖语法、语义、上下文和隐含意义。 2. 生成质量：检查生成文本的流畅性、相关性和准确性。 3. 知识广度和深度：衡量对广泛主题的知识掌握及特定领域的理解深度。 4. 泛化能力：测试处理未见过任务或数据时的表现。 5. 鲁棒性：应对错误输入、对抗性输入或模糊指令的能力。 6. 偏见和伦理：评估生成文本是否存在偏见，是否遵循伦理标准。 7. 交互性和适应性：在交互环境中的表现，对用户反馈的适应和持续对话能力。 8. 计算效率和资源消耗：考虑模型大小、训练和运行所需的计算资源。 9. 易用性和集成性：是否易于集成到不同应用和服务，提供的 API 和工具的易用性。 为进行有效比较，可采用以下方法： 1. 标准基准测试：使用如 GLUE、SuperGLUE、SQuAD 等标准评估基准。 2. 自定义任务：根据特定需求设计任务评估特定领域表现。 3. 人类评估：结合人类评估者的主观评价，尤其在评估文本质量和伦理问题时。 4. A/B 测试：在实际应用场景中比较不同模型表现。 5. 性能指标：使用准确率、召回率、F1 分数、BLEU 分数等量化比较。 对于大模型的安全对齐，通过对齐（指令调优）能使语言模型更好理解人类意图并增加安全保障，避免输出有害内容。对齐任务可拆解为监督微调及获取 reward model 与进行强化学习调整输出分布两部分。LLAMA2 专门使用安全有监督微调确保安全。强化学习能根据人类反馈调整分布，使模型面对训练分布外数据时能拒绝不当回答。但 Alignment 并非能防护所有安全问题，存在越狱情况使模型对齐失效。 Qwen 2 开源后模型性能超越目前所有开源模型和国内闭源模型。玉宝搞过的 LLM 在线评估中可看到国内闭源大模型的 HUMANEVAL 测评得分，可与 Qwen 2 对比，参考网址：https://www.llmrank.cn/ 。2023 年 8 月起，通义千问推出 Qwen 系列，Qwen 系列的 72B、110B 模型多次登顶 HuggingFace 的 Open LLM Leaderboard 开源模型榜单。Qwen 2 系列已上线魔搭社区 ModelScope 和阿里云百炼平台，也已上线中国大语言模型评测竞技场 Compass Arena，测评地址：https://opencompass.org.cn/arena 。Compass Arena 集齐了国内主流的 20 多款大模型，用户可选择两两“对战”。

Llama 模型相关信息如下： 基于多模态大模型给现实世界加一本说明书：后端采用 llama.cpp 挂载 LLaVA 模型，为应用提供推理服务。同时，部署了一个 Flask 应用用于数据前处理和后处理，提供 Stream 流服务。前端页面采用 HTML5，用于采集画面和用户输入。 LLM 开源中文大语言模型及数据集集合：未直接提及 Llama 模型的具体内容。 LayerStyle 副本中的 LayerUtility 中的 LaMa：根据图像遮罩擦除物体，是对 IOPaint 的封装，由 SOTA AI 模型提供支持。提供 LaMa 等模型以及多种擦除方法，可下载模型文件放到指定位置，并对节点选项进行了说明，如选择模型或方法、设备选择、遮罩反转、遮罩扩张幅度、遮罩模糊幅度等。

GPT4o 是 OpenAI 推出的模型。开发人员现在可在 API 中将其作为文本和视觉模型进行访问。与 GPT4 Turbo 相比，具有速度快 2 倍、价格减半、速率限制高出 5 倍的优势。未来几周计划向 API 中的一小群受信任的合作伙伴推出对其新音频和视频功能的支持。 GPT4o（“o”代表“omni”）是迈向更自然人机交互的一步，能接受文本、音频和图像的任意组合作为输入，并生成文本、音频和图像输出的任意组合。它在 232 毫秒内可响应音频输入，平均为 320 毫秒，与人类响应时间相似。在英语文本和代码上的 GPT4 Turbo 性能相匹配，在非英语语言的文本上有显著改进，在 API 中更快且便宜 50%，在视觉和音频理解方面表现出色。 在 GPT4o 之前，语音模式由三个独立模型组成的管道实现，存在信息丢失等问题。而 GPT4o 是在文本、视觉和音频上端到端训练的新模型，所有输入和输出都由同一个神经网络处理，但对其能做什么及局限性仍在探索。

以下是一些可以实现测试用例设计、测试脚本、测试执行和测试报告的 AI 工具和方法： 1. 基于规则的测试生成： 测试用例生成工具： Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于机器学习的测试生成： 深度学习模型： DeepTest：利用深度学习模型生成自动驾驶系统的测试用例，模拟不同驾驶场景，评估系统性能。 DiffTest：基于对抗生成网络（GAN）生成测试用例，检测系统的脆弱性。 强化学习： RLTest：利用强化学习生成测试用例，通过与环境交互学习最优测试策略，提高测试效率和覆盖率。 A3C：基于强化学习的测试生成工具，通过策略梯度方法生成高质量测试用例。 3. 基于自然语言处理（NLP）的测试生成： 文档驱动测试生成： Testim：AI 驱动的测试平台，通过分析文档和用户故事自动生成测试用例，减少人工编写时间。 Test.ai：利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。 自动化测试脚本生成： Selenium IDE + NLP：结合 NLP 技术扩展 Selenium IDE，从自然语言描述中生成自动化测试脚本。 Cucumber：使用 Gherkin 语言编写的行为驱动开发（BDD）框架，通过解析自然语言描述生成测试用例。 4. 基于模型的测试生成： 状态模型： GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Spec Explorer：微软开发的模型驱动测试工具，通过探索状态模型生成测试用例。 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 5. 实践中的应用示例： Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 相关工具和平台： Testim：AI 驱动的自动化测试平台，生成和管理测试用例。 Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用。 DeepTest：利用深度学习生成自动驾驶系统测试用例。 GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试。

以下是一些关于对话形式生成测试用例的 AI 相关信息： 生成式 AI Studio 中，您可以在聊天框中键入请求，例如“我的电脑速度很慢”，然后按回车键，查看 AI 如何响应，并且可以集成到您的应用程序。 在一泽 Eze 的样例驱动的渐进式引导法中，可以借助擅长扮演专家角色的 AI 如 Claude 3.5 进行对话来改进初始的正向样例，输入初始指令后查看 AI 的回复，以侧面印证其对样例的理解与建议。 在基于自然语言处理（NLP）的测试生成方面，Selenium IDE 结合 NLP 技术可从自然语言描述中生成自动化测试脚本，Cucumber 可通过解析自然语言描述生成测试用例。

以下是一些免费好用的用于生成测试用例的 AI 工具： Testim：AI 驱动的自动化测试平台，可生成和管理测试用例，适用于 Web 应用测试，能分析用户行为和日志数据，自动生成高覆盖率的测试用例以检测不同浏览器和设备上的兼容性问题。 Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用，可从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 DeepTest：利用深度学习生成自动驾驶系统测试用例。 GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试，如采用其基于系统状态模型生成测试用例，可确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试，适用于.NET 应用。 Randoop：基于代码路径和规则生成测试用例，适用于 Java 应用程序。

以下是一些可用于生成测试用例的 AI 工具和平台： 1. Testim：这是一个 AI 驱动的自动化测试平台，能够生成和管理测试用例。它可以通过分析文档和用户故事自动生成测试用例，减少人工编写时间。在 Web 应用测试中，它能分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用。它可以利用 NLP 技术从需求文档中提取测试用例，确保测试覆盖业务需求。在移动应用测试中，能从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. DeepTest：利用深度学习生成自动驾驶系统测试用例。 4. GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。在复杂系统测试中，能基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 5. Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试。

以下是关于自动生成测试用例的相关内容： 1. 基于规则的测试生成： 模式识别： Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。 2. 基于模型的测试生成： 场景模拟： Modelbased Testing：基于系统模型自动生成测试用例，覆盖各种可能的操作场景和状态转换。 Tosca Testsuite：基于模型的测试工具，自动生成和执行测试用例，适用于复杂应用的端到端测试。 此外，还有 Prompt 网站精选中的 Prompts Royaleprompt PK 相关内容： Prompts Royale 是一个应用程序，可以帮助用户轻松创建多个提示候选项，并让它们进行对决，以找出最佳的提示。它具有以下功能： 1. 自动提示生成：允许用户根据描述和测试案例自动生成提示候选项，用户也可以自行输入提示。 2. 自动测试案例生成：从描述中自动生成测试案例，以激发创造力。 3. Monte Carlo 匹配和 ELO 评分：使用 Monte Carlo 方法进行匹配，以确保在尽可能少的对决中获取尽可能多的信息，并使用 ELO 评分根据胜利和对手的强弱对候选项进行适当排名。 4. 可自定义设置：设置页面允许用户调整应用程序的每个参数。 5. 本地和安全：所有数据都存储在本地，并且在浏览器上向 LLMs API 发出请求。用户可以在

以下是关于如何用 AI 工具自动生成测试用例的相关信息： 一、工具和平台 1. Testim：AI 驱动的自动化测试平台，可生成和管理测试用例。 2. Test.ai：基于 NLP 技术的测试用例生成工具，适用于移动应用和 Web 应用。 3. DeepTest：利用深度学习生成自动驾驶系统测试用例。 4. GraphWalker：基于状态模型生成测试用例，适用于复杂系统的行为测试。 5. Pex：微软开发的智能测试生成工具，自动生成高覆盖率的单元测试。 二、实践中的应用示例 1. Web 应用测试：使用 Testim 分析用户行为和日志数据，自动生成高覆盖率的测试用例，检测不同浏览器和设备上的兼容性问题。 2. 移动应用测试：利用 Test.ai 从需求文档中提取测试用例，确保覆盖关键功能和用户路径，提高测试效率和质量。 3. 复杂系统测试：采用 GraphWalker 基于系统状态模型生成测试用例，确保覆盖所有可能的状态和操作场景，检测系统的边界情况和异常处理能力。 三、基于规则的测试生成 模式识别 1. Clang Static Analyzer：利用静态分析技术识别代码模式和潜在缺陷，生成相应的测试用例。 2. Infer：Facebook 开发的静态分析工具，自动生成测试用例，帮助发现和修复潜在错误。

以下是一些适合辅助英语教学的 AI 助手和提示词相关的信息： AI 助手： Grammarly：可进行英语写作和语法纠错，改进英语表达和写作能力。 Call Annie：用于口语练习和发音纠正，提供实时反馈和建议。 Duolingo：自适应学习平台，为用户量身定制学习计划，提供个性化英语学习内容和练习。 ChatGPT：可进行英语会话练习和对话模拟，提高交流能力和语感。 提示词： 提示词设计公式之——RTFC： 角色：指定 AIGC 所扮演的角色。 任务：明确告诉 AIGC 要完成什么任务。 要求：概述这个任务需要遵守的规则、标准和实现的结果。 说明：提供更多关于任务和要求的详细具体上下文信息。 生成式人工智能教学应用举例（1）：收集整理语料： 帮我列举场景下的常用【英语】词汇 50 个。 把以上词汇转换成表格形式输出。 到【医院就医】的时候，常用的【英语】句型有哪些？ 用【英语】表达【心情】【不愉快】的句式有哪些？ 在【英语高考作文试题】中，常用的表达句型有哪些？并给出例句。 请你给中学生介绍《论语》的主题思想，并将《论语》的 10 条名句翻译成英语。 注：可以把蓝色字体替换成不同的语种和场景，教师根据不同的教学场景，设计恰当的提示词，用生成式人工智能辅助教学。

以下是一些常见的阅读新闻的 AI 工具： Elicit：可以让用户直接向文章本身提出问题，有助于在不阅读整篇文章的情况下了解其是否涉及所提问题。 ChatGPT：由 OpenAI 开发的大型语言模型，可用于多方面的写作辅助，包括阅读相关的应用。 此外，还有一些常见的文章润色 AI 工具： Wordvice AI：集校对、改写转述和翻译等功能于一体，基于大型语言模型提供全面的英文论文润色服务。 Quillbot：人工智能文本摘要和改写工具，可用于快速筛选和改写文献资料。 HyperWrite：基于 AI 的写作助手和大纲生成器，可帮助用户在写作前进行头脑风暴和大纲规划。 Wordtune：AI 驱动的文本改写和润色工具，可以帮助用户优化文章的语言表达。 Smodin：提供 AI 驱动的论文撰写功能，可以根据输入生成符合要求的学术论文。 总的来说，这些 AI 工具涵盖了阅读和文章处理的各个环节，可以根据自身需求选择合适的工具进行使用。

以下是一些适合辅助教学的 AI 助手和提示词相关的内容： 教师的 AI 减负指南中提到，提示词技能是教师用好人工智能的基本教学技能。提示词技能指用户设计提供给生成式人工智能大模型的一段文字或文本的技能，其内容决定了 AIGC 生成内容的质量。提示词设计公式为 RTFC，包括指定 AIGC 所扮演的角色、明确告诉 AIGC 要完成的任务、概述任务需要遵守的规则、标准和实现的结果，以及提供更多关于任务和要求的详细具体上下文信息。例如，生成式人工智能教学应用举例中，教师可以设计提示词“帮我列举场景下的常用【英语】词汇 50 个”“把以上词汇转换成表格形式输出”等。 对于 SD 新手，有一些提示词相关的资源，如 Majinai： 等。 沃顿商学院给教师和学生提供了提示词库，教师专用提示中提到，作为教学助理，要协助教师规划课程，先向老师介绍自己并询问教学科目及学生层次，等待回复。然后根据老师的情况，如是否有教学大纲等，进行后续的沟通和建议。

以下是最近一个月的一些重要 AI 动态： 2024 年 4 月第二周：谷歌发布了一堆 AI 能力和升级，AI 音乐生成工具 Udio 发布，Open AI 发布 GPT4 Turbo 正式版，AI 画图应用 Ideogram 发布模型更新。 2024 年 4 月第三周：Meta 正式发布 Llama3 8B、70B 模型，Open AI 的 Assistants API 更新等，Reka Core 发布，一个 GPT4 级别的多模态 LLM，Mixtral8X22B 模型开源。 2024 年 4 月第四周：Open AI 的动态包括企业服务、起初研究和 ChatGPT 体验优化。 2024 年 5 月第一周：Claude 推出移动应用以及团队版计划，突然爆火的两款 SD 图像风格，亚马逊推出了 Amazon Q AI 助手。 2024 年 5 月第二周：Open AI 高强度预热发布会，Open AI 宣布和 Stack Overflow 达成合作，Controlnet 作者敏神发布 ICLight 光线融合生成项目。 此外，在过去的一段时间里，人工智能行业发展迅速。在过去 12 个月里，人工智能行业是重要的技术发展之一。从 2022 年 9 月到 2023 年 8 月，研究的工具访问量大幅增长。这一飞跃从去年 11 月 ChatGPT 成为最快达到 100 万用户的平台开始，炒作持续攀升，直到 2023 年 5 月达到峰值，之后虽有回落，但人们的兴趣仍然巨大。 另外，关于如何使用 AI 做事，目前似乎没有完善的用户文档，相关指南多通过 Twitter 影响者获得。作者基于自身经验为学生和读者准备的人工智能入门指南也需不断修改。

以下是关于 AI 工作流的相关内容： 目前使用 AI 的一些固定和优化的工作流包括： 1. 起床时，让 AI 如“马云”“马化腾”为自己排 TODO 优先级，并进行私董会的脑暴。 2. 工作中有傲娇的 AI 小助理加油，其 Prompt 为要阳光、会撒娇/卖萌。 3. 重点事项方面，如内容创作，拆成 bot 团队组，包括选题、标题、框架、扩写等，并分 A/B 组两个 AIbot 互相改，要点是提供反常识、梗，学习喜欢的 UP 创作方法论。 4. 优化的 bot 包括内容选题 bot、短视频脚本 bot、数据分析 bot（GPT4）、网页 Perplexity 的资料库 bot 等。 5. 优化方面，有 Zion、ChatO 和自动化 AIAgent 分身，基于自身知识库的 bot，以及将上述知识库、Prompt 资产放入飞书的知识库和多维表单中维护，等待飞书的 AI 进化。 6. 备选 50 多个生产力 AI 放在工具库待命输出。 7. 未来计划把整个公司业务搬入飞书中，外接 MJ、ChatBot 分身以及咨询日程预约，可能让所有流量口 bot 也介入飞书，给予飞书做数据分析和内容引擎（目前需手动）。 生成式 AI 的人机协同分为 3 种产品设计模式：Embedding（嵌入式）、Copilot（副驾驶）、Agent（智能代理），不同模式下人与 AI 的协作流程有所差异。 Agentic Workflow 驱动角色工作流变革，使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。 重塑工作流时，可从原子能力层思考，抽象化拆解大模型的底层能力，如翻译、识别、提取、格式化等，围绕“输入”“处理”“输出”“反馈”构建最底层的信息处理逻辑。 在获取信息方面，搜索引擎和基于大模型的聊天机器人目标一致，如 Kimi Chat 会在互联网上检索相关内容并总结分析给出结论。 Agent 通过自行规划任务执行的工作流路径，面向简单或线性流程运行。 吴恩达通过开源项目 ChatDev 举例，可让大语言模型扮演不同角色相互协作开发应用或复杂程序。 AI Agent 基本框架为“Agent = LLM +规划+记忆+工具使用”，其中大模型 LLM 扮演“大脑”，规划包括子目标分解、反思与改进。

AI 在未来的应用领域非常广泛，包括但不限于以下方面： 1. 交通领域： 自动驾驶，提高交通安全性和效率。 交通管理，优化交通信号灯和交通流量，缓解交通拥堵。 物流和配送，优化物流路线和配送计划，降低运输成本。 无人机送货，将货物快速送达偏远地区。 2. 教育领域：用于个性化学习，为每个学生提供定制化的学习体验。 3. 农业领域：分析农田数据，提高农作物的产量和质量。 4. 娱乐领域：开发虚拟现实和增强现实体验。 5. 能源领域：优化能源的使用，提高能源效率。 6. 数字人领域： 家庭中有数字人管家，全面接管智能家居或其他设备。 学校中有数字人老师，为学生答疑解惑。 商场里有数字人导购，为顾客提供指路、托管个人物品等服务。 7. 工作领域： 执行更复杂的技术任务，如编程、执行连续任务和协助研究工作。 未来可能充当 CEO 管理整个公司。 需要注意的是，人工智能的应用场景还在不断扩展，未来将对我们的生活产生更加深远的影响。

目前常见的开源绘画模型有： Stable Diffusion：生态最完整，能够加载的框架有 ComfyUI 框架、SD.Next 框架、Stable Diffusion WebUI 框架、diffusers 框架。 MidJourney：模型风格包罗万象，操作简洁，极富美感和艺术感。 Dall·E3（ChatGPT）：具有惊人的语义理解能力，可像甲方一样连续修改。 Fooocus：优化程度高，操作简便，类似本地化 mj。 ComfyUI：门槛高，定制化强。 HunYuanDiT：国内第一个开源绘图模型。 SDXL：开源时间为 2023.7。 SD3：开源时间为 2024.6。 KOLORS：开源时间为 2024.7，目前生图质量最高，有相关的教学视频，如“Kolors 中文生图绘画模型开源，快手接连放出高质量开源项目，是否会成为中国的 StabilityAI”等。 Flux：开源时间为 2024.8。

以下是一些开源或者免费的数字人工具： 1. HeyGen：AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人能自动转换成语音并合成逼真的说话视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 此外，还有一些相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型：ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分：可使用 LangChain 的模块自定义，https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用预设人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用时，请确保遵守相关使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。

以下是一些开源免费的数字人工具： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色，使用深度学习算法生成高质量肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：AI 视频制作平台，允许创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：提供 AI 拟真人视频产品服务和开发，上传人像照片和输入内容，平台的 AI 语音机器人将自动转换成语音并合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。 请注意，这些工具的具体功能和可用性可能会变化。使用时请遵守相关使用条款和隐私政策，并注意生成内容的版权和伦理责任。 此外，以下是一些与数字人相关的开源代码仓库： ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition AI Agent： 大模型部分包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块自定义，包含了 Agent 实现的几个组件：https://www.langchain.com/ TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 人物建模模型可通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现。 以下是部分摊位信息中与数字人相关的内容： |编号|摊位活动主题和内容|摊位区域|摊位编号| ||||| |54|AI 数字人的技术以及应用场景|D|D4| |59|百度数字人试拍|D|D3|

阿里开源的数字人相关信息如下： 阿里的虚拟数字人：https://www.aliyun.com/product/ai/avatar?spm=5176.21213303.8115314850.1.72de53c9pdvu6T&scm=20140722.S_card@@%E4%BA%A7%E5%93%81@@1161322.S_card0.ID_card@@%E4%BA%A7%E5%93%81@@1161322RL_%E6%95%B0%E5%AD%97%E4%BA%BAOR_serV_2P0_0 关于阿里在 AIGC 实践方面的相关文章： 在构建高质量的 AI 数字人方面，建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI。笔者的开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单；另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。

以下是关于开源数字人的相关信息： 组合方案： 1. 先剪出音频，使用 https://elevenlabs.io/speechsynthesis 或使用 GPTsovits（）克隆声音，做出文案的音频。 2. 使用 wav2lip 整合包，导入视频和音频，对口型得到视频。基础 wav2lip+高清修复整合包下载地址：https://github.com/Rudrabha/Wav2Lip 。这就是目前的本地跑数字人的方案，效果都差不多，都是用的 wav2lip 。产品：https://synclabs.so/ 构建高质量的 AI 数字人： 1. 构建数字人躯壳：建好的模型可以使用 web 前端页面（Live2D 就提供了 web 端的 SDK）或者 Native 的可执行程序进行部署，最后呈现在用户面前的是一个 GUI 。笔者的开源数字人项目（项目地址：https://github.com/wanh/awesomedigitalhumanlive2d）选择了 live2d 作为数字人躯壳，因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然，相比虚幻引擎这些驱动方式又更加轻量和简单；另外超写实的数字人风格在目前的技术能力下，处理不好一致性问题，容易带来虚假的感觉或者产生恐怖谷效应，而卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例：https://github.com/Live2D 。 相关算法开源代码： 1. ASR 语音识别： openai 的 whisper: https://github.com/openai/whisper wenet: https://github.com/wenete2e/wenet speech_recognition（这是一个语音识别的接口集合，里面有不同实现的语音识别的接口）: https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型部分：包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等等。 Agent 部分：可以使用 LangChain 的模块去做自定义，里面基本包含了 Agent 实现的几个组件 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多的分支版本，可以去搜索一下，vits 系列可以自己训练出想要的人声。 sovitssvc: https://github.com/svcdevelopteam/sovitssvc，专注到唱歌上面，前段时间很火的 AI 孙燕姿。 除了算法，人物建模模型可以通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现，这样就完成了一个最简单的数字人。当然这种简单的构建方式还存在很多的问题，例如： 1. 如何生成指定人物的声音？ 2. TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作？ 3. 数字人如何使用知识库，做出某个领域的专业性回答？

ChatGLM 系列的开源版本包括： ChatGLM36B：第三代 ChatGLM 对话模型，采用全新设计的 Prompt 格式，原生支持工具调用、代码执行和 Agent 任务等复杂场景。 ChatGLM36Bbase：第三代 ChatGLM 基座模型，采用更多样的训练数据、更充分的训练步数和更合理的训练策略，在 10B 以下的基础模型中性能较强。 ChatGLM36B32k：第三代 ChatGLM 长上下文对话模型，在 ChatGLM36B 的基础上进一步强化了对长文本的理解能力，能处理最多 32K 长度的上下文。