Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何加强对智能体的训练和调试

Answer

加强对智能体的训练和调试可以从以下几个方面入手:

  1. 强化学习中的 Q 学习:
    • 将所有状态-动作对的 Q 值初始化为零,并设定状态奖励值作为初始化值。
    • 由于智能体起初不知如何获得奖励,可能会探索很多状态,所以要定义训练长度(如 100 步)或训练达到某些状态,避免陷入学习无用状态行动的过程。
    • 例如在网格世界中,智能体逐步探索环境,从目标状态到起始状态附近建立链条后,算法会快速收敛到解,并进一步调整找到最佳策略。
  2. 在正式项目中部署智能体时的考虑:
    • 尝试使用提示:在微调模型前先尝试用提示满足需求,只有提示无法满足质量、性能或成本目标时再考虑微调。
    • 编写并测试提示:通过编写和测试提示验证任务可行性,作为微调基线。若提示已达标,微调可能进一步提升效果,否则微调成功可能性低。
    • 关注数据质量:检查并确保数据质量,必要时删除或修正问题数据,高质量数据是模型优良表现的基础。
    • 使用真实场景数据进行微调:即使数据不完美,只要能代表真实场景下的整体分布,就可用于微调。
    • 保留测试集:不要将所有数据用于训练,留出部分作为测试集评估模型性能。
    • 选择适当的模型规模:根据任务难度选择匹配的模型规模,过大或过小都可能影响效率和效果。
    • 设立快速评估指标:制定可快速计算的评估指标,便于多次日常评估和快速迭代。
Content generated by AI large model, please carefully verify (powered by aily)

References

深度学习(4)强化学习

为了训练Q函数,我们将所有状态-动作对的所有Q值初始化为零,并将状态奖励值设定为给定的值,作为状态的初始化值。因为智能体起初并不知道如何获得奖励(智能体只能看到下一个状态的Q值,这些值都为零),所以智能体可能会探索很多状态,直到发现一个奖励。因此我们会对训练Q-函数定义一个训练长度(例如100步),或者定义训练直到达到某些状态(跑道上完成一圈)。这确保了我们不会陷入学习无用状态行动的过程中,这些无用状态可能不管经过多少次迭代,却永远不会获得任何明显的奖励。图4:网格世界中的Q学习,其中S是起始状态,G是目标状态,T方格是陷阱,黑色方格是阻塞状态。在Q学习期间,智能体逐步探索环境,最初没有找到目标状态G。一旦从目标状态到起始状态附近建立了一个链条,算法会快速收敛到一个解,然后再进一步调整以找到问题的最佳策略。

AI-Agent系列(一):智能体起源探究

当你准备在正式项目中部署一个AI Agent时,请牢记以下十条建议,并根据实际情况做出相应的调整:1.尝试使用提示:在考虑微调模型之前,首先尝试使用提示来满足需求。只有当提示无法满足质量、性能或成本目标时,再考虑进行微调。2.编写并测试提示:通过编写和测试提示来验证任务的可行性,这可以作为微调的基线。如果提示已经能够达到要求,那么微调可能会进一步提升效果;反之,则微调成功的可能性较低。3.关注数据质量:始终检查并确保数据质量,必要时删除或修正问题数据。高质量的数据是模型优良表现的基础。4.使用真实场景数据进行微调:即使数据存在一些不完美,只要它们能够代表真实场景下的整体分布,就可以用于微调。5.保留测试集:确保不要将所有数据都用于训练,应留出一部分作为测试集以评估模型性能。6.选择适当的模型规模:选择与任务难度相匹配的模型规模。过大或过小的模型都可能影响效率和效果。7.设立快速评估指标:制定可以快速计算的评估指标,以便进行多次日常评估和快速迭代。

AI-Agent系列(一):智能体起源探究

当你准备在正式项目中部署一个AI Agent时,请牢记以下十条建议,并根据实际情况做出相应的调整:1.尝试使用提示:在考虑微调模型之前,首先尝试使用提示来满足需求。只有当提示无法满足质量、性能或成本目标时,再考虑进行微调。2.编写并测试提示:通过编写和测试提示来验证任务的可行性,这可以作为微调的基线。如果提示已经能够达到要求,那么微调可能会进一步提升效果;反之,则微调成功的可能性较低。3.关注数据质量:始终检查并确保数据质量,必要时删除或修正问题数据。高质量的数据是模型优良表现的基础。4.使用真实场景数据进行微调:即使数据存在一些不完美,只要它们能够代表真实场景下的整体分布,就可以用于微调。5.保留测试集:确保不要将所有数据都用于训练,应留出一部分作为测试集以评估模型性能。6.选择适当的模型规模:选择与任务难度相匹配的模型规模。过大或过小的模型都可能影响效率和效果。7.设立快速评估指标:制定可以快速计算的评估指标,以便进行多次日常评估和快速迭代。

Others are asking
RAG工作流对话调试
RAG(检索增强生成)工作流主要包括以下几个阶段: 1. 问题解析阶段:接收并预处理问题,通过嵌入模型(如 Word2Vec、GloVe、BERT)将问题文本转化为向量,以用于后续检索。 2. 知识库检索阶段:知识库中的文档同样向量化后,比较问题向量与文档向量,选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段:接收检索到的信息,与上下文构建形成融合、全面的信息文本,整合信息准备进入生成阶段。 4. 大模型生成回答:整合后的信息被转化为向量并输入到 LLM(大语言模型),模型逐词构建回答,最终输出给用户。 RAG 的基本概念: RAG 是一种结合了检索和生成的技术,能让大模型在生成文本时利用额外的数据源,提高生成的质量和准确性。其基本流程为,首先给定用户输入(如问题或话题),RAG 从数据源中检索出相关文本片段(称为上下文),然后将用户输入和检索到的上下文拼接成完整输入传递给大模型(如 GPT),输入通常包含提示指导模型生成期望输出(如答案或摘要),最后从大模型的输出中提取或格式化所需信息返回给用户。 在实际调试预览中,例如: 1. 知识库检索部分:把输入的问题通过 Embedding 做向量化,使用语言模型优化问题、添加接近的检索词,知识库向量检索时抽取条件包含相似度 0.85,通过检索抽取出多个内容块。 2. 大模型对话部分:将相关信息传递给 LLM 最终得到 AI 的回答。
2025-01-06
RAG工作流对话调试
RAG 工作流主要包括以下几个阶段: 1. 问题解析阶段:接收并预处理问题,通过嵌入模型(如 Word2Vec、GloVe、BERT)将问题文本转化为向量,以用于后续检索。 2. 知识库检索阶段:知识库中的文档同样向量化后,比较问题向量与文档向量,选择最相关的信息片段并抽取传递给下一步骤。 3. 信息整合阶段:接收检索到的信息,与上下文构建形成融合、全面的信息文本,整合信息准备进入生成阶段。 4. 大模型生成回答:整合后的信息被转化为向量并输入到 LLM(大语言模型),模型逐词构建回答,最终输出给用户。 RAG 是一种结合了检索和生成的技术,其基本流程为:首先,给定用户输入(如问题或话题),RAG 从数据源(如网页、文档、数据库记录)中检索出相关文本片段(即上下文)。然后,将用户输入和检索到的上下文拼接成完整输入传递给大模型(如 GPT),输入通常包含提示,指导模型生成期望输出(如答案或摘要)。最后,从大模型输出中提取或格式化所需信息返回给用户。 在实际调试预览中,例如: 1. 知识库检索部分:把输入的问题通过 Embedding 做向量化,使用 qwen 语言模型优化问题、添加接近的检索词,知识库向量检索时抽取条件包含相似度 0.85,通过检索抽取出 11 个内容块。 2. 大模型对话部分:将相关信息传递给 LLM(大语言模型),最终得到 AI 的回答。
2025-01-06
我想学习调试情感bot的prompt
以下是关于调试情感 bot 的 prompt 的相关知识: 在实验方面,在八个指令感应任务上评估情绪提示在零样本和少样本学习中的表现,涵盖语言理解的不同方面,在四个大型语言模型(ChatGPT、Vicuna13b、Bloom、FlanT5Large)上进行测试,对于不同模型有相应的设置。零样本实验中情绪刺激可简单添加到原始提示中构建情绪提示,少样本上下文学习中评估与零样本相同的提示,并随机抽取 5 个输入输出对作为上下文演示。基准测试将情绪提示与原始零样本和少样本提示、零样本思维链进行比较。数据集和任务包括情绪分析、句子相似性、原因选择等八个任务。 Prompt 是一段指令,用于指挥 AI 生成所需内容,每个单独的提示词叫 tag(关键词)。支持英语,emoji 也可用。语法规则包括用英文半角符号逗号分隔 tag,可改变 tag 权重,有两种设置权重的写法,还可进行 tag 的步数控制。 希望以上内容对您学习调试情感 bot 的 prompt 有所帮助。
2024-12-05
怎么用coze智能体调试提示词 输出表格
以下是关于如何用 Coze 智能体调试提示词的相关内容: 大模型节点配置入门要点: 1. 输入与输出的变量名称可自定义,按习惯设定以便识别字段含义。 2. 输入方面,由于取得的是开始节点中用户输入的{{BOT_USER_INPUT}},可直接选择引用。 3. 提示词区域中,因 LLM 需要根据输入信息处理,所以需两个双花括号写明输入项参数名,如{{input}}。 4. 输出方面,有几项子内容需生成就设置几项。 为让大模型理解最终输出形式要求,需在用户提示词最后添加输出格式段落,描述每个变量名称、输出内容、输出格式。 务必注意变量名称、对应的输出内容、输出格式要前后完全一致,否则会输出失败。 搭建 AI 智能体的配置过程: 1. 创建 Bot。 2. 填写 Bot 介绍。 3. 切换模型为“通义千问”(测试下来,通义对提示词理解和执行效果最好)。 4. 将配置好的工作流添加到 Bot 中。 5. 新增变量{{app_token}}。 6. 添加外层 bot 提示词(可按需求和实际效果优化调整)。完成上述步骤后,可在「预览与调试」窗口与 AI 稍后读智能体对话并使用全部功能。
2024-12-04
协助调试pycharam代码的AI网站
以下是一些可以协助调试PyCharm代码的AI网站: 1. PyCharm AI Assistant: PyCharm AI Assistant是PyCharm内置的AI助手,可以提供实时的代码建议和错误分析。它可以帮助您识别代码中的潜在问题,并建议如何修复它们。 2. CodeSee: CodeSee是一个AI驱动的代码审查平台,可以帮助您发现代码中的问题并提高代码质量。它可以分析您的代码并提供有关潜在问题和改进机会的见解。 3. DeepCode: DeepCode是一个AI静态代码分析工具,可以帮助您识别代码中的安全漏洞、性能问题和编码错误。它可以扫描您的代码并提供有关如何修复这些问题的信息。 4. Infer: Infer是一个静态分析工具,可以帮助您识别代码中的潜在问题,例如内存泄漏和空指针引用。它可以扫描您的代码并提供有关如何修复这些问题的信息。 5. SonarQube: SonarQube是一个代码质量管理平台,可以帮助您跟踪和改善代码质量。它可以分析您的代码并提供有关代码复杂性、代码债务和安全漏洞的见解。 以下是一些在使用AI网站调试PyCharm代码时需要注意的事项: AI网站并非完美无缺: AI网站可能会提供错误或不准确的建议。因此,在使用AI网站调试代码时,请务必仔细检查代码并进行必要的更改。 AI网站无法替代人工审查: AI网站可以帮助您发现代码中的潜在问题,但它们无法替代人工审查。在发布代码之前,请务必由人工审查代码。 AI网站可能需要付费: 一些AI网站需要付费才能使用所有功能。在选择AI网站时,请务必考虑您的预算。 希望这些信息对您有所帮助。
2024-05-11
即梦ai里,关于智能画布中的参考图的具体作用
在即梦 AI 中,智能画布中的参考图具有以下重要作用: 1. 实现多种商业创意设计:只需上传一张参考图,就能快速生成多种创意设计,例如模特图的变装、换发型、换脸、换发色和调整人物姿势;产品图的材质和背景改变;电商海报的背景、元素更改等。 2. 提升设计的灵活性和可塑性:在奶茶宣传图的制作中,参考图在制作步骤中发挥了关键作用,如在第 1 步找参考图,为后续的生成和融合等操作提供基础。 基础操作包括: 1. 打开即梦官网 https://jimeng.jianying.com/ 。 2. 选择图片生成。 3. 选择导入参考图(上传一张参考图,点击智能参考)。 相关案例: 1. 模特图自由定制:通过智能参考,轻松实现模特图的多种变化。 2. 产品图随心变化:可以改变产品材质和画面背景。 3. 电商海报一键搞定:支持随意更改背景、元素,适应不同营销主题。 原文链接:https://mp.weixin.qq.com/s/sD0RFMqnFZ6Bj9ZcyFuZNA
2025-02-17
即梦ai里,关于智能画布中的参考图的具体作用
在即梦 AI 中,智能画布中的参考图具有以下重要作用: 1. 实现多种商业创意设计:只需上传一张参考图,就能快速生成多种创意设计,例如模特图的变装、换发型、换脸、换发色和调整人物姿势;产品图的材质和背景改变;电商海报的背景、元素更改等。 2. 提升设计的灵活性和可塑性:在奶茶宣传图的制作中,参考图在制作步骤中发挥了关键作用,如在第 1 步找参考图,为后续的生成和融合等操作提供基础。 基础操作包括: 1. 打开即梦官网 https://jimeng.jianying.com/ 。 2. 选择图片生成。 3. 选择导入参考图(上传一张参考图,点击智能参考)。 相关案例: 1. 模特图自由定制:通过智能参考,轻松实现模特图的多种变化。 2. 产品图随心变化:可以改变产品材质和画面背景。 3. 电商海报一键搞定:支持随意更改背景、元素,适应不同营销主题。 原文链接:https://mp.weixin.qq.com/s/sD0RFMqnFZ6Bj9ZcyFuZNA
2025-02-17
人工智能简史
人工智能作为一个领域始于二十世纪中叶。最初,符号推理流行,带来了如专家系统等重要进展,但因从专家提取知识并以计算机可读形式表现及保持知识库准确的复杂性和高成本,20 世纪 70 年代出现“人工智能寒冬”。 随着时间推移,计算资源便宜、数据增多,神经网络方法在计算机视觉、语音理解等领域展现卓越性能,过去十年中“人工智能”常被视为“神经网络”的同义词。 在国际象棋对弈程序方面,早期以搜索为基础,发展出阿尔法贝塔剪枝搜索算法,后来采用基于案例的推理,如今能战胜人类棋手的程序基于神经网络和强化学习。 在创建“会说话的程序”方面,早期如 Eliza 基于简单语法规则,现代助手如 Cortana、Siri 或谷歌助手是混合系统,未来有望出现完整基于神经网络的模型处理对话,如 GPT 和 TuringNLG 系列神经网络已取得巨大成功。 最初,查尔斯·巴贝奇发明计算机用于按明确程序运算,现代计算机仍遵循相同理念。但有些任务如根据照片判断人的年龄无法明确编程,这正是人工智能感兴趣的。 译者:Miranda,原文见 https://microsoft.github.io/AIForBeginners/lessons/1Intro/README.md
2025-02-17
数据分析产品的智能体有哪些
以下是一些常见的数据分析产品的智能体类型: 1. 简单反应型智能体:根据当前的感知输入直接采取行动,不维护内部状态和考虑历史信息。例如温控器,根据温度传感器的输入直接控制加热器。 2. 基于模型的智能体:维护内部状态,对当前和历史感知输入进行建模,能推理未来的状态变化并据此行动。比如自动驾驶汽车,不仅感知当前环境,还维护和更新周围环境的模型。 3. 目标导向型智能体:具有明确的目标,能根据目标评估不同的行动方案并选择最优行动。像机器人导航系统,有明确目的地并规划路线以避开障碍。 4. 效用型智能体:不仅有目标,还能量化不同状态的效用值,选择效用最大化的行动,评估行动的优劣并权衡利弊。例如金融交易智能体,根据市场条件选择最优交易策略。 5. 学习型智能体:能够通过与环境的交互不断改进其性能,学习模型、行为策略以及目标函数。比如强化学习智能体,通过与环境互动不断学习最优策略。 此外,还有一些具体的数据分析产品智能体,如颖子团队的“市场分析报告”生成智能体,它能根据输入的行业/类目关键词自动检索关联信息并生成报告,数据化呈现且附带信息来源网址便于校正,适用于企业管理层、投资者、创业者、营销人员等,可减少信息收集时间,聚焦决策判断。 在智谱 BigModel 开放平台工作流搭建中,也有相关的智能体节点,如具有自主规划任务、使用工具、记忆的 Agent 节点。
2025-02-17
智能体
智能体(Agent)在人工智能和计算机科学领域是一个重要概念,指能够感知环境并采取行动以实现特定目标的实体,可以是软件程序或硬件设备。 智能体的定义: 智能体是自主系统,通过感知环境(通常通过传感器)并采取行动(通常通过执行器)来达到目标。在 LLM 支持的自主 Agent 系统中,LLM 充当 Agents 的大脑,并辅以规划、子目标和分解、反思和完善、记忆、工具使用等关键组成部分。 智能体的类型: 1. 简单反应型智能体(Reactive Agents):根据当前感知输入直接采取行动,不维护内部状态,不考虑历史信息。例如温控器。 2. 基于模型的智能体(Modelbased Agents):维护内部状态,对当前和历史感知输入进行建模,能推理未来状态变化并据此行动。例如自动驾驶汽车。 3. 目标导向型智能体(Goalbased Agents):具有明确目标,能根据目标评估不同行动方案并选择最优行动。例如机器人导航系统。 4. 效用型智能体(Utilitybased Agents):不仅有目标,还能量化不同状态的效用值,选择效用最大化的行动。例如金融交易智能体。 5. 学习型智能体(Learning Agents):能通过与环境交互不断改进其性能,学习模型、行为策略以及目标函数。例如强化学习智能体。 智能体功能实现: 本智能体主要通过一个工作流实现,采用单 Agent(工作流模式)。工作流全景图按照市场分析报告内容划分,分成 7 个分支处理,每个分支调研并生成报告中的一部分,以发挥并行处理的效率。工作流主要节点包括文本处理节点、必应搜索节点、LinkerReader 节点、代码节点、大模型节点和结束节点。文本处理节点将用户输入与报告主题拼装形成关键词句;必应搜索节点根据关键词句搜索相关网络内容;LinkerReader 节点获取网页详细内容;代码节点对搜索到的网页链接信息进行过滤;大模型节点生成报告内容并添加引用链接;结束节点将 7 部分内容拼接并流式输出。
2025-02-17
使用COZE搭建智能体的步骤
使用 COZE 搭建智能体的步骤如下: 1. 梳理手捏 AI Agent 的思路: 在上篇文章中提到过 Prompt 工程的必备能力,即通过逻辑思考,从知识经验中抽象表达出关键方法与要求,这一理念同样适用于在 Coze 中创建 AI Agent。 搭建工作流驱动的 Agent 简单情况可分为 3 个步骤: 规划:制定任务的关键方法,包括总结任务目标与执行形式,将任务分解为可管理的子任务,确立逻辑顺序和依赖关系,设计每个子任务的执行方法。 实施:分步构建和测试 Agent 功能。 完善:全面评估并优化 Agent 效果。 2. 分步构建和测试 Agent 功能: 首先进入 Coze,点击「个人空间 工作流 创建工作流」,打开创建工作流的弹窗。 根据弹窗要求,自定义工作流信息。 点击确认后完成工作流的新建,可以看到整个编辑视图与功能。 其中,左侧「选择节点」模块中,根据子任务需要,实际用上的有: 插件:提供一系列能力工具,拓展 Agent 的能力边界。本案例涉及的思维导图、英文音频,因为无法通过 LLM 生成,就需要依赖插件来实现。 大模型:调用 LLM,实现各项文本内容的生成。本案例的中文翻译、英文大纲、单词注释等都依赖大模型节点。 代码:支持编写简单的 Python、JS 脚本,对数据进行处理。 而编辑面板中的开始节点、结束节点,则分别对应分解子任务流程图中的原文输入和结果输出环节。 接下来,按照流程图,在编辑面板中拖入对应的 LLM 大模型、插件、代码节点,即可完成工作流框架的搭建。 3. 全面评估并优化 Agent 效果: 整体试运行 Agent,识别功能和性能的卡点。 通过反复测试和迭代,优化至达到预期水平。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置不限,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型,选择“n”不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传,Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2025-02-17
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型: 1. FengshenbangLM: 地址: 简介:是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系,开源了姜子牙通用大模型 V1,是基于 LLaMa 的 130 亿参数的大规模预训练模型,具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外,还开源了太乙、二郎神系列等模型。 2. BiLLa: 地址: 简介:开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练过程增加较多的任务型数据,利用 ChatGPT 生成解析,强化模型理解任务求解逻辑;全量参数更新,追求更好的生成效果。 3. Moss: 地址: 简介:支持中英双语和多种插件的开源对话语言模型,MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外,Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况,如训练过程涉及大约 10TB 的文本,通常来源于互联网的抓取,需要大量的互联网资源和一个 GPU 集群,费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程,包括预训练、有监督微调和强化学习等。
2025-02-16
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音,即变声。它对训练素材量级要求较高,最少需要 20 分钟的素材才能达到理想效果,并且可以选择是否关联音高,以区分说话和唱歌两个不同场景。 在节目《马上封喉》中,负责马季老师语音生成部分的人员提到,AI 语音主要涉及 TTS(文本转语音)和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中,尝试了用 RVC 进行 vocal 变声的两种办法,但效果均不理想。第一种方法是训练声音模型后直接变声,存在变声后 AI 味儿太重、丢失原有强调的问题;第二种方法是训练声音模型,自己录 rap 后再变声,但需要在录音时尽量模仿还原出特点和感觉,这涉及到专业配音技巧,超出了能力范围。此外,八戒和沙僧声音的训练文件丢失,效果也不理想。
2025-02-13
怎么训练适合自己的ai智能体
要训练适合自己的 AI 智能体,您可以参考以下内容: 1. 了解智能体的发展历程:智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。 2. 认识智能体的特点:具有强大的学习能力、灵活性和泛化能力,能通过大量数据学习,适应不同任务和环境,将知识泛化到新情境。 3. 掌握核心要点:智能体的核心在于有效控制和利用大型模型,提示词设计直接影响智能体的表现和输出结果。 4. 实践操作: 基于公开的大模型应用产品(如 Chat GLM、Chat GPT、Kimi 等)尝试开发。 点击“浏览 GPTs”按钮和“Create”按钮创建自己的智能体。 使用自然语言对话或手工设置进行具体操作。 开始调试智能体并发布。 5. 在正式项目中部署 AI 智能体的建议: 先尝试使用提示,无法满足需求再考虑微调。 编写并测试提示,以其作为微调基线。 关注数据质量,必要时修正问题数据。 用真实场景数据微调,保留测试集。 选择适当的模型规模,设立快速评估指标。 执行完整评估,持续优化,灵活应变。
2025-02-12
大模型是怎么训练的
大模型的训练过程可以类比为“上学参加工作”: 1. 找学校:训练大模型需要大量的计算,因此 GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。 4. 就业指导:学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表。比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成相应的词汇表。 此外,训练大模型的具体操作步骤如下: 1. 创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片+标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能)。也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 2. Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后就可以等待训练了,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 从原理层面,用数学来理解 Prompt:传统的机器学习是 p,假设 a 是训练出来的通用模型,这个模型没有经过人工标注,但什么都可以学会。给出的 Prompt 其实就是 x,然后让大模型基于这个 x 知道概率最大的 y,这样就避免了人工标注,但依赖于 x 给入的信息,去更大概率找到合适的 y。比如给一张照片,然后输入这是一个动物,这是什么,大模型根据这个输入,提取照片的特征和提示作为输入,最终返回猫。
2025-02-11
Ai训练营课程大纲
以下是 AI 实训营的课程大纲: 第一期: |时间|主题|课程内容| |||| |01/07 20:00<br><br>必须了解的企业级 AI 应用开发知识点|阿里云百炼大模型平台全解析<br>企业级服务场景对号入座<br>百闻不如体验,实操方有感知| |01/08 20:00<br><br>更好用的文本知识库应用跟学,快速上手阿里云百炼|生态能力解析:手把手案例带做<br>服务场景透视:企业级案例应用<br>AI 机器人搭建:企业知识问答场景全覆盖| |01/09 20:00<br><br>更热门的多模态交互案例带练,实操掌握 AI 应用开发|阿里云百炼大模型多模态能力解析<br>商家运营场景&企业级解决方案分享<br>实践课堂:拍立得场景构建| 第二期: |时间|主题|课程内容| |||| |01/22 20:00<br>|0 基础入门篇:写代码像聊天一样简单<br>可以进入钉钉群获取更多文档:https://alidocs.dingtalk.com/i/nodes/yQod3RxJKGvvkP3rfj5Lgoy7Jkb4Mw9r?utm_scene=person_space|AI 编程的能力与边界<br>通义灵码上手指南<br>一句话 AI 编程小游戏展示| |01/23 20:00<br>|AI 编程实战篇:人人都能“福从天降”|0 基础带练“福从天降”小游戏<br>自然语言生成更多小游戏<br>如何在 Github 部署并生成在线链接| 此外,入门篇还包括多模态能力及相关内容介绍,如前两日课程回顾、多模态能力介绍、应用案例体验、学习资源与作业、未来合作与更新等。
2025-02-10
根据小学生试卷答题情况,分析需要加强复习的知识点,用什么AI工具
以下是一些可用于根据小学生试卷答题情况分析需要加强复习知识点的 AI 工具及相关建议: 1. ChatGPT:可以帮助分析答题中的语言表达、逻辑推理等方面的问题,从而确定语文、数学等学科中需要加强的知识点。 2. 国内模型如豆包:能提供一定的分析和指导。 3. 通义:对于英语等学科的答题情况分析有帮助,例如语法、词汇等方面的问题。 在使用这些 AI 工具时,您可以将试卷内容输入给工具,并要求其分析答题中的错误和不足之处,从而找出需要加强复习的知识点。但需要注意的是,不能完全依赖 AI 的分析结果,还需要结合教师的专业判断和教学经验。
2025-01-05