Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

agent训练

Answer

在人工智能领域中，AI Agent 的训练具有以下特点：

  • 传统强化学习中，Agent 训练往往需大量样本和时间，且泛化能力不足。
  • 为突破瓶颈，引入了迁移学习：通过促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力，但当源任务与目标任务差异大时，可能无法发挥效果甚至出现负面迁移。
  • 探索了元学习：核心是让 Agent 学会从少量样本中迅速掌握新任务最优策略，能利用已有知识和策略调整学习路径适应新任务，减少对大规模样本集依赖，但需要大量预训练和样本构建学习能力，使开发通用高效学习策略复杂艰巨。
  • 时间：21 世纪初至今
  • 特点：迁移学习是将一个任务学到的知识迁移到其他任务；元学习是学习如何学习，快速适应新任务。
  • 技术：迁移学习如领域自适应；元学习如 MAML、Meta-Learner LSTM。
  • 优点：提高学习效率，适应新任务。
  • 缺点：对源任务和目标任务的相似性有一定要求。

此外，智谱 AI 开源的语言模型中与 Agent 相关的有：

  • AgentLM-7B：提出了 AgentTuning 方法，开源了包含 1866 个高质量交互、6 个多样化真实场景任务的 Agent 数据集 AgentInstruct，基于上述利用 Llama2 微调而成，上下文 token 数为 4K。
  • AgentLM-13B：上下文 token 数为 4K。
  • AgentLM-70B：上下文 token 数为 8K。
Content generated by AI large model, please carefully verify (powered by aily)

References

AI-Agent系列(一)：智能体起源探究

在传统强化学习的领域中，Agent的训练往往需要消耗大量的样本和时间，同时面临着泛化能力不足的问题。为了突破这一瓶颈，研究人员引入了迁移学习这一革新性概念，以期加速Agent对新任务的学习和掌握。迁移学习通过促进不同任务间的知识和经验迁移，减轻了新任务的学习负担，显著提升了学习效率和性能，同时也增强了Agent的泛化能力。更进一步，人工智能领域探索了元学习这一前沿课题。元学习的核心在于掌握“学习”本身，即让Agent学会如何从少量样本中迅速洞察并掌握新任务的最优策略。这种Agent能够利用已有的知识和策略，快速调整其学习路径，以适应新任务的要求，减少了对大规模样本集的依赖。然而，迁移学习和元学习也面临着各自的挑战。当源任务与目标任务之间存在较大差异时，迁移学习可能无法发挥预期效果，甚至可能出现负面迁移。同时，元学习需要大量的预训练和样本来构建Agent的学习能力，这使得开发通用且高效的学习策略变得复杂而艰巨。时间:21世纪初至今特点:迁移学习-将在一个任务上学到的知识迁移到其他任务元学习-学习如何学习,快速适应新任务技术:迁移学习,如领域自适应;元学习,如MAML,Meta-Learner LSTM优点:提高学习效率,适应新任务缺点:对源任务和目标任务的相似性有一定要求

AI-Agent系列(一)：智能体起源探究

在传统强化学习的领域中，Agent的训练往往需要消耗大量的样本和时间，同时面临着泛化能力不足的问题。为了突破这一瓶颈，研究人员引入了迁移学习这一革新性概念，以期加速Agent对新任务的学习和掌握。迁移学习通过促进不同任务间的知识和经验迁移，减轻了新任务的学习负担，显著提升了学习效率和性能，同时也增强了Agent的泛化能力。更进一步，人工智能领域探索了元学习这一前沿课题。元学习的核心在于掌握“学习”本身，即让Agent学会如何从少量样本中迅速洞察并掌握新任务的最优策略。这种Agent能够利用已有的知识和策略，快速调整其学习路径，以适应新任务的要求，减少了对大规模样本集的依赖。然而，迁移学习和元学习也面临着各自的挑战。当源任务与目标任务之间存在较大差异时，迁移学习可能无法发挥预期效果，甚至可能出现负面迁移。同时，元学习需要大量的预训练和样本来构建Agent的学习能力，这使得开发通用且高效的学习策略变得复杂而艰巨。时间:21世纪初至今特点:迁移学习-将在一个任务上学到的知识迁移到其他任务元学习-学习如何学习,快速适应新任务技术:迁移学习,如领域自适应;元学习,如MAML,Meta-Learner LSTM优点:提高学习效率,适应新任务缺点:对源任务和目标任务的相似性有一定要求

智谱·AI 开源模型列表

下表为智谱AI开源的语言模型列表|模型|介绍|上下文token数|代码链接|模型权重下载链接||-|-|-|-|-||ChatGLM-6B-int4|ChatGLM-6B的Int4版本。最低只需6GB显存即可部署，最低只需7GB显存即可启动微调（[P-Tuning v2](https://github.com/THUDM/P-tuning-v2)）|2K||[Huggingface](https://huggingface.co/THUDM/chatglm-6b-int4)|魔搭社区|始智社区|启智社区||ChatGLM-6B-int8|ChatGLM-6B的Int8版本|2K||[Huggingface](https://huggingface.co/THUDM/chatglm-6b-int8)|魔搭社区|始智社区|启智社区||AgentLM-7B|1.我们提出了一种AgentTuning的方法；<br>2.我们开源了包含1866个高质量交互、6个多样化的真实场景任务的Agent数据集AgentInstruct<br>3.基于上述方法和数据集，我们利用Llama2微调了具备超强Agent能力的AgentLM-7B、AgentLM-13B、AgentLM-70B。|4K|[AgentTuning](https://github.com/THUDM/AgentTuning)|[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-7b)||AgentLM-13B||4K||[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-13b)||AgentLM-70B||8K||[🤗Huggingface Repo](https://huggingface.co/THUDM/agentlm-70b)|

Others are asking
如何让agent协作起来
要让 Agent 协作起来，可以参考以下方法： 1. 了解不同的产品设计模式：生成式 AI 的人机协同分为 Embedding（嵌入式）、Copilot（副驾驶）、Agent（智能代理）这 3 种模式，每种模式下人与 AI 的协作流程有所差异。其中 Embedding 模式人类完成大多数工作，Copilot 模式人类和 AI 协同工作，Agents 模式 AI 完成大多数工作。 2. 采用 Multiagent Collaboration 的方法：让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。例如作为产品经理，可将产品功能设计需求通过 Agents 拆解成多个独立任务，遵循不同工作流，生成初步结果后再修改完善。 3. 从原子能力层思考：抽象化拆解大模型的底层能力，如翻译、识别、提取、格式化等，围绕“输入”“处理”“输出”“反馈”构建最底层的信息处理逻辑。 4. 重塑获取信息的方式：搜索引擎和基于大模型的聊天机器人的目标从根本上一致，可根据需求选择。 5. 注意多 Agent 模式中的设置：分为全局设置和节点设置。全局设置中更应注意角色定义和人物刻画，节点设置更关注单个智能体中要详细执行的逻辑。 6. 合理编排智能体：将智能体编排首尾相连，避免成为线性工作流。 7. 明确跳转模式和适用场景：单个 Agent 中两种跳转模式分别适用于通用和复杂的意图识别和跳转，一般场景下前者效果更好，后者适用更复杂的意图识别情景。同时，编排时应明确单个 Agent 的名称和适用场景，以便节点跳转模型更好地识别触发条件。
2025-02-19
如何把coze的agent发布到微信公众号上
要把 Coze 的 agent 发布到微信公众号上，您可以按照以下步骤进行操作： 1. 组装和测试“AI 前线”Bot 机器人： 返回个人空间，在 Bots 栏下找到刚刚创建的“AI 前线”，点击进入。 将写好的 prompt 粘贴到【编排】模块，prompt 可随时调整。 在【技能】模块添加需要的技能，如工作流、知识库。 在【预览与调试】模块，直接输入问题，即可与机器人对话。 2. 发布“AI 前线”Bot 机器人： 测试 OK 后，点击右上角“发布”按钮，即可将“AI 前线”发布到微信、飞书等渠道。 3. 发布到微信公众号上： 选择微信公众号渠道，点击右侧“配置”按钮。 根据相关截图，去微信公众号平台找到自己的 App ID，填入确定即可，不用解绑。 4. 体验： 最后去自己的微信公众号消息页面，就可以使用啦。 另外，还有一种方法是在 Coze 发布页面的发布平台的微信客服这里，显示“已配置”后，进行勾选并点击发布。发布成功后，可以点击微信客服旁边的立即对话、复制 Bot 链接，会弹出该微信客服的二维码，扫码即可立即体验。
2025-02-19
agent和copilot的区别
Copilot 和 Agent 主要有以下区别： 1. 核心功能： Copilot 更像是辅助驾驶员，依赖人类指导和提示完成任务，功能局限于给定框架内。 Agent 像初级主驾驶，具有更高自主性和决策能力，能根据目标自主规划处理流程并自我迭代调整。 2. 流程决策： Copilot 处理流程依赖人类确定，是静态的，参与更多在局部环节。 Agent 解决问题流程由 AI 自主确定，是动态的，能自行规划任务步骤并根据反馈调整流程。 3. 应用范围： Copilot 主要用于处理简单、特定任务，作为工具或助手存在，需要人类引导监督。 Agent 能够处理复杂、大型任务，并在 LLM 薄弱阶段使用工具或 API 增强。 4. 开发重点： Copilot 主要依赖 LLM 性能，开发重点在于 Prompt Engineering。 Agent 同样依赖 LLM 性能，开发重点在于 Flow Engineering，把外围流程和框架系统化。 此外，Agent 具备“决策权”，可自主处理问题，无需确认；Copilot 需要人类确认才能执行任务。业界普遍认为，Copilot 更适合各行业现有软件大厂，而 AI Agent 为创业公司提供了探索空间。
2025-02-18
AI agent 是什么？
AI Agent 是基于大型语言模型（LLM）和其他技术实现的智能实体，其核心功能在于自主理解、规划决策、执行复杂任务。 AI Agent 包括以下几个概念： 1. Chain：通常一个 AI Agent 可能由多个 Chain 组成。一个 Chain 视作是一个步骤，可以接受一些输入变量，产生一些输出变量。大部分的 Chain 是大语言模型完成的 LLM Chain。 2. Router：我们可以使用一些判定（甚至可以用 LLM 来判定），然后让 Agent 走向不同的 Chain。例如：如果这是一个图片，则 a；否则 b。 3. Tool：Agent 上可以进行的一次工具调用。例如，对互联网的一次搜索，对数据库的一次检索。 总结下来我们需要三个 Agent： 1. Responser Agent：主 agent，用于回复用户（伪多模态） 2. Background Agent：背景 agent，用于推进角色当前状态（例如进入下一个剧本，抽检生成增长的记忆体） 3. Daily Agent：每日 agent，用于生成剧本，配套的图片，以及每日朋友圈 这三个 Agent 每隔一段时间运行一次（默认 3 分钟），运行时会分析期间的历史对话，变更人物关系（亲密度，了解度等），变更反感度，如果超标则拉黑用户，抽简对话内容，提取人物和用户的信息成为“增长的记忆体”，按照时间推进人物剧本，有概率主动聊天（与亲密度正相关，跳过夜间时间）。 此外，心灵社会理论认为，智能是由许多简单的 Agent（分等级、分功能的计算单元）共同工作和相互作用的结果。这些 Agent 在不同层次上执行不同的功能，通过协作实现复杂的智能行为。心灵社会将智能划分为多个层次，从低层次的感知和反应到高层次的规划和决策，每个层次由多个 Agent 负责。每个 Agent 类似于功能模块，专门处理特定类型的信息或执行特定任务，如视觉处理、语言理解、运动控制等。智能不是集中在单一的核心处理单元，而是通过多个相互关联的 Agent 共同实现。这种分布式智能能够提高系统的灵活性和鲁棒性，应对复杂和多变的环境。同时，在《心灵社会》中，还存在专家 Agent（拥有特定领域知识和技能，负责处理复杂的任务和解决特定问题）、管理 Agent（协调和控制其他 Agent 的活动，确保整体系统协调一致地运行）、学习 Agent（通过经验和交互，不断调整和优化自身行为，提高系统在不断变化环境中的适应能力）。 从达特茅斯会议开始讨论人工智能（Artificial Intelligence），到马文·明斯基引入“Agent”概念，往后，我们都将其称之为 AI Agent。
2025-02-17
有关agent的介绍
AI Agent 是当前 AI 领域中较为热门的概念，被认为是大模型未来的主要发展方向之一。 从原理上看，中间的“智能体”通常是 LLM（语言模型）或大模型。为其增加的四个能力分别是工具、记忆、行动和规划。目前行业中主要使用 langchain 框架，将 LLM 与 LLM 之间以及 LLM 与工具之间通过代码或 prompt 的形式进行串接。例如，给大模型提供长期记忆，相当于给予一个数据库工具让其记录重要信息；规划和行动则是在大模型的 prompt 层进行逻辑设计，如将目标拆解并输出不同的固定格式 action 指令给工具。 从产品角度，Agent 可以有不同的设定。比如是一个历史新闻探索向导，身份为历史新闻探索向导，性格知识渊博、温暖亲切、富有同情心，角色是主导新闻解析和历史背景分析，还可以为其设计背景故事使其更加生动。 在人工智能领域，Agent 智能代理是一种能够感知环境并根据感知信息做出决策以实现特定目标的系统，能够自动执行任务，如搜索信息、监控系统状态或与用户交互。
2025-02-16
AIagent的发展方向
AI Agent 被认为是大模型未来的主要发展方向之一，其发展具有以下特点和阶段： 从原理上看，中间的“智能体”通常是 LLM 或大模型，为其增加了工具、记忆、行动、规划四个能力。目前行业里主要用到的是 langchain 框架，它通过代码或 prompt 的形式将 LLM 与 LLM 之间以及 LLM 与工具之间进行串接。 在人工智能的发展历程中，AI Agent 并非一蹴而就，其发展可分为几个阶段，并受到符号主义、连接主义、行为主义的影响。在人工智能的黎明时期，符号人工智能作为主导范式，以对符号逻辑的依赖著称，代表之作是基于知识的专家系统。其特点是基于逻辑和规则系统，使用符号来表示知识，通过符号操作进行推理。优点是推理过程明确、可解释性强，缺点是知识获取困难、缺乏常识、难以处理模糊性。时间为 20 世纪 50 70 年代。 近期出现的各类 AI 搜索引擎不断颠覆传统搜索引擎，如 perplexity.ai、metaso、360 搜索、ThinkAny 等。AI Agent 在辅助高效处理信息和简便信息表达方面表现出色，例如智能摘要能辅助快速筛选信息，自然语言描述可生成美观可用的图片。在工作流方面，每个人应根据自身情况找到适合的工具，如产品经理可使用 AI 进行用户画像、竞品调研、设计产品测试用例、绘制产品功能流程图等。关于 AI Agent 的未来，曾被认为异想天开的想法都可能成为现实，技术迭代会不断向前。
2025-02-15
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
主流的LORA 训练工具是什么？
主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。
2025-02-18
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 模型准备： 1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 1. 网盘链接： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 安装虚拟环境： 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件，右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”，然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。
2025-02-17
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型： 1. FengshenbangLM： 地址： 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。 2. BiLLa： 地址： 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。 3. Moss： 地址： 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。
2025-02-16
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。
2025-02-13