Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何训练Agent?

Answer

在人工智能领域中，训练 Agent 主要有以下方法和特点：

  1. 基于迁移学习和元学习的 Agent 训练：
    • 传统强化学习中，Agent 训练消耗大量样本和时间，泛化能力不足。为突破此瓶颈，引入迁移学习，促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力。
    • 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略，利用已有知识和策略调整学习路径，减少对大规模样本集依赖。
    • 但迁移学习和元学习面临挑战，如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移，元学习需大量预训练和样本构建学习能力，使通用高效学习策略开发复杂艰巨。
    • 时间：21 世纪初至今
    • 特点：迁移学习将一个任务知识迁移到其他任务；元学习学习如何学习，快速适应新任务
    • 技术：迁移学习如领域自适应；元学习如 MAML、Meta-Learner LSTM
    • 优点：提高学习效率，适应新任务
    • 缺点：对源任务和目标任务相似性有要求
  2. 基于强化学习的 Agent 训练：
    • 强化学习关注如何让 Agent 通过与环境互动自我学习，在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法，如 Q-learning 和 SARSA。
    • 随着深度学习兴起，深度神经网络与强化学习结合形成深度强化学习，赋予 Agent 从高维输入学习复杂策略的能力，有 AlphaGo 和 DQN 等成果。
    • 深度强化学习允许 Agent 在未知环境自主探索学习，无需人工指导，在游戏、机器人控制等领域有应用潜力。
    • 但面临诸多挑战，包括训练周期长、采样效率低、稳定性问题，在复杂真实环境应用困难。
    • 时间：20 世纪 90 年代至今
    • 特点：通过试错学习最优行为策略，以最大化累积奖励
    • 技术：Q-learning、SARSA、深度强化学习（结合 DNN 和 RL）
    • 优点：能够处理高维状态空间和连续动作空间
    • 缺点：样本效率低，训练时间长
Content generated by AI large model, please carefully verify (powered by aily)

References

AI-Agent系列(一)：智能体起源探究

在传统强化学习的领域中，Agent的训练往往需要消耗大量的样本和时间，同时面临着泛化能力不足的问题。为了突破这一瓶颈，研究人员引入了迁移学习这一革新性概念，以期加速Agent对新任务的学习和掌握。迁移学习通过促进不同任务间的知识和经验迁移，减轻了新任务的学习负担，显著提升了学习效率和性能，同时也增强了Agent的泛化能力。更进一步，人工智能领域探索了元学习这一前沿课题。元学习的核心在于掌握“学习”本身，即让Agent学会如何从少量样本中迅速洞察并掌握新任务的最优策略。这种Agent能够利用已有的知识和策略，快速调整其学习路径，以适应新任务的要求，减少了对大规模样本集的依赖。然而，迁移学习和元学习也面临着各自的挑战。当源任务与目标任务之间存在较大差异时，迁移学习可能无法发挥预期效果，甚至可能出现负面迁移。同时，元学习需要大量的预训练和样本来构建Agent的学习能力，这使得开发通用且高效的学习策略变得复杂而艰巨。时间:21世纪初至今特点:迁移学习-将在一个任务上学到的知识迁移到其他任务元学习-学习如何学习,快速适应新任务技术:迁移学习,如领域自适应;元学习,如MAML,Meta-Learner LSTM优点:提高学习效率,适应新任务缺点:对源任务和目标任务的相似性有一定要求

AI-Agent系列(一)：智能体起源探究

在传统强化学习的领域中，Agent的训练往往需要消耗大量的样本和时间，同时面临着泛化能力不足的问题。为了突破这一瓶颈，研究人员引入了迁移学习这一革新性概念，以期加速Agent对新任务的学习和掌握。迁移学习通过促进不同任务间的知识和经验迁移，减轻了新任务的学习负担，显著提升了学习效率和性能，同时也增强了Agent的泛化能力。更进一步，人工智能领域探索了元学习这一前沿课题。元学习的核心在于掌握“学习”本身，即让Agent学会如何从少量样本中迅速洞察并掌握新任务的最优策略。这种Agent能够利用已有的知识和策略，快速调整其学习路径，以适应新任务的要求，减少了对大规模样本集的依赖。然而，迁移学习和元学习也面临着各自的挑战。当源任务与目标任务之间存在较大差异时，迁移学习可能无法发挥预期效果，甚至可能出现负面迁移。同时，元学习需要大量的预训练和样本来构建Agent的学习能力，这使得开发通用且高效的学习策略变得复杂而艰巨。时间:21世纪初至今特点:迁移学习-将在一个任务上学到的知识迁移到其他任务元学习-学习如何学习,快速适应新任务技术:迁移学习,如领域自适应;元学习,如MAML,Meta-Learner LSTM优点:提高学习效率,适应新任务缺点:对源任务和目标任务的相似性有一定要求

AI-Agent系列(一)：智能体起源探究

强化学习（RL）领域关注的核心议题是：如何培养Agent通过与环境的互动进行自我学习，以在特定任务中累积最大的长期奖励。起初，基于RL-based Agent主要依托于策略搜索和价值函数优化等算法，Q-learning和SARSA便是其中的典型代表。随着深度学习技术的兴起，深度神经网络与强化学习的结合开辟了新的天地，这就是深度强化学习。这一突破性融合赋予了Agent从高维输入中学习复杂策略的能力，带来了诸如AlphaGo和DQN等一系列令人瞩目的成就。深度强化学习的优势在于，它允许Agent在未知的环境中自主探索和学习，无需依赖明确的人工指导。这种方法的自主性和适应性使其在游戏、机器人控制等众多领域都展现出广泛的应用潜力。然而，强化学习的道路并非一帆风顺。它面临着诸多挑战，包括漫长的训练周期、低下的采样效率以及稳定性问题，特别是在将其应用于复杂多变的真实世界环境时更是如此。时间:20世纪90年代至今特点:通过试错学习最优行为策略,以最大化累积奖励技术:Q-learning,SARSA,深度强化学习(结合DNN和RL)优点:能够处理高维状态空间和连续动作空间缺点:样本效率低,训练时间长

Others are asking
AI chatbot、agent、copilot区别
AI chatbot、agent、copilot 主要有以下区别： 1. 定义和角色： Copilot：翻译成副驾驶、助手，在帮助用户解决问题时起辅助作用。 Agent：更像主驾驶、智能体，可根据任务目标自主思考和行动，具有更强的独立性和执行复杂任务的能力。 Chatbot：具备基本对话能力，主要依赖预设脚本和关键词匹配，用于客户服务和简单查询响应。 2. 核心功能： Copilot：更多地依赖于人类的指导和提示来完成任务，功能很大程度上局限于在给定框架内工作。 Agent：具有更高的自主性和决策能力，能够根据目标自主规划整个处理流程，并根据外部反馈进行自我迭代和调整。 3. 流程决策： Copilot：处理流程往往依赖于人类确定的静态流程，参与更多是在局部环节。 Agent：解决问题的流程由 AI 自主确定，是动态的，不仅可以自行规划任务步骤，还能根据执行过程中的反馈动态调整流程。 4. 应用范围： Copilot：主要用于处理简单、特定的任务，更多是作为工具或助手存在，需要人类引导和监督。 Agent：能够处理复杂、大型的任务，并在 LLM 薄弱的阶段使用工具或 API 等进行增强。 5. 开发重点： Copilot：主要依赖于 LLM 的性能，开发重点在于 Prompt Engineering。 Agent：同样依赖于 LLM 的性能，但开发重点在于 Flow Engineering，即在假定 LLM 足够强大的基础上，把外围的流程和框架系统化。 以下是一些 Agent 构建平台： 1. Coze：新一代一站式 AI Bot 开发平台，适用于构建基于 AI 模型的各类问答 Bot，集成丰富插件工具。 2. Mircosoft 的 Copilot Studio：主要功能包括外挂数据、定义流程、调用 API 和操作，以及部署 Copilot 到各种渠道。 3. 文心智能体：百度推出的基于文心大模型的智能体平台，支持开发者根据需求打造产品能力。 4. MindOS 的 Agent 平台：允许用户定义 Agent 的个性、动机、知识，以及访问第三方数据和服务或执行工作流。 5. 斑头雁：2B 基于企业知识库构建专属 AI Agent 的平台，适用于多种场景，提供多种成熟模板。 6. 钉钉 AI 超级助理：依托钉钉强大的场景和数据优势，在处理高频工作场景方面表现出色。 以上信息由 AI 大模型生成，请仔细甄别。
2025-04-07
有没有可以抓取公众号文章的 agent
以下是一些可以抓取公众号文章的方法和相关信息： 1. 可以通过读 SQLiteDB 或者获取 RSS XML 页面（http://127.0.0.1:4000/feeds/all.atom）来获取更新的公众号。个人选择在公众号订阅不太多时，建议使用分析 XML 页面，比较简单。可以写个程序获得公众号的更新文章，由于本地部署，无法直接将文章同步到 Coze，所以选择使用多维表格（当在线数据库，事实飞书多维表格后台也是使用类似 redis 或 TiDB 这样的数据库实现的）及飞书机器人 API 的方式来实现中间数据的传递。只要在多维表格中设置一个状态转换，就可以知道文章是否已经被解读和推送。 2. 可以通过文章链接订阅公众号，定时推送情报消息，并实现情报 CoT 问答。例如使用 Docker 浏览器打开：http://127.0.0.1:4000 也可以 http://wewerss 服务的 IP:端口为上面设置的外部端口。先点帐号管理，然后点“添加读书帐号”（即使用微信读书来实现公众号订阅），扫码添加帐号。然后在公众号源上，点添加。然后将想订阅的公众号的一篇文章链接粘贴并点确定即可订阅公众号文章。但建议不要短时间订阅太多公众号（经测试最好不要超 40 个）。 3. 瓦斯阅读平台可以抓取公众号的内容，但平台上公众号不太全。 4. GitHub 上的 WeWe RSS 工具可以通过微信读书的方式订阅公众号。
2025-04-05
dify工作流中agent节点怎么使用
在 Dify 工作流中使用 Agent 节点的步骤如下： 1. 搭建工作流框架： 进入 Coze，点击「个人空间工作流创建工作流」，打开创建工作流的弹窗。 根据弹窗要求自定义工作流信息，点击确认完成新建。 左侧「选择节点」模块中，根据子任务需要，实际用上的有插件（提供能力工具拓展 Agent 能力边界）、大模型（调用 LLM 实现文本内容生成）、代码（支持编写简单脚本处理数据）。 按照流程图在编辑面板中拖入对应的 LLM 大模型、插件、代码节点完成框架搭建。 2. 测试 Agent 节点功能： 完成任何一个节点的配置后，都需要进行试运行测试以验证节点的运行效果。 步骤一：点击「测试该节点」。 步骤二：按格式要求输入待测试的输入内容，如果是 array 等其他格式，请自行对话 AI 或搜索网络确认格式要求。 步骤三：点击「展开运行结果」，检查输入、输出项是否有误。如果有误，请依次检查“测试输入内容”、“节点配置”是否有误，以及优化“提示词”以提升对生成内容的约束力。当多次测试时输入与输出都符合预期，就可以进入下一个子任务的配置。
2025-04-05
钉钉多维表格属于agent吗
钉钉多维表格本身不属于 Agent，但在某些特定的场景和应用中，可以将其与其他技术结合来构建类似于 Agent 的功能。 例如，在搭建信息情报官 Agent 的过程中，会利用飞书多维表格作为中间数据的传递工具，实现数据的存储和状态转换。同时，经过调研发现，飞书多维表格插件支持新增和查询数据表记录，能满足存储和检索数据的需求，为构建 AI 智能体提供支持。但这并不意味着多维表格本身就是 Agent，而是在特定的技术架构和应用中发挥了重要的数据处理和存储作用。
2025-04-01
多维表格属于agent
多维表格在搭建信息情报官 Agent 方面有以下应用： 1. 因为前面需要对多维表格操作，所以要先在 http://open.feishu.cn 上建一个飞书机器人，并添加知识库或多维表格编辑权限，通过机器人的 app_id 和 app_secret 获得租用 token:tenant_access_token 来获取多维表格数据和编辑能力。 2. 可以通过读 SQLiteDB 或者获取 RSS XML 页面 http://127.0.0.1:4000/feeds/all.atom，写程序获得公众号的更新文章，由于本地部署无法直接将文章同步到 Coze，选择使用多维表格作为在线数据库及飞书机器人 API 的方式来实现中间数据的传递，在多维表格中设置状态转换来了解文章是否已被解读和推送。 3. 应用背景包括解决数据高效抓取与批量 AI 化处理的问题，涉及 Coze 定义智能体发布到飞书多维表格字段捷径、多维表格中使用和配置自定义的 AI 字段捷径、Coze 应用将数据导入到飞书多维表格并驱动其自动运行、多维表格仪表盘对数据的可视化等技术场景，期望达到让大家学会最高效率使用 AI 并将方案泛化到实际工作中的目的。
2025-04-01
公司给我了一个调研作业，收集 市场上其它公司在agent业务变革上的优秀实践
很抱歉，目前没有关于市场上其他公司在 agent 业务变革方面优秀实践的相关内容。建议您通过以下途径进行收集和调研： 1. 行业报告和研究机构发布的分析：这些通常会涵盖多个公司在特定领域的实践和趋势。 2. 专业的行业论坛和社区：与同行交流，获取他们的经验和见解。 3. 公司的官方网站和公开资料：了解其业务变革的介绍和相关案例分享。 4. 新闻媒体报道：关注相关的商业新闻，获取最新的动态和实践案例。
2025-03-31
Lora训练
以下是关于 Lora 训练的详细步骤： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片没有打标文件（之后可在 C 站使用自动打标功能），或者一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 5. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 6. 上传 zip 以后等待一段时间。 7. 确认创建数据集。 8. 返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 6. 然后等待训练，会显示预览时间和进度条。 7. 训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 此外，还有一些相关的补充内容： Flux 的 Lora 训练准备： 需要下载几个模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 1. 不使用的话它们放到哪里都可以，甚至放一起一个文件夹，只要知道“路径”，后面要引用到“路径”。 2. 因为是训练，不是跑图，训练的话，模型就用 flux1dev.safetensors 这个版本，编码器也用 t5xxl_fp16.safetensors 这个版本最好。 下载脚本和安装虚拟环境： 1. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 2. 下载完解压，在文件中找到 installcnqinglong.ps1 这个文件，右键选择“使用 PowerShell 运行”，新手的话这里就点击“Y”，然后等待 1 2 小时的漫长下载过程，下好了之后最后会提示是否下载 hunyuan 模型，选择 n 不用下载。 SD 训练一套贴纸 LoRA 模型： 1. 在 lora 训练器的根目录下，点击【A 强制更新国内加速】，跑完即可关闭窗口。 2. 双击【A 启动脚本】，请保持终端一直运行，不要关闭。出现下列代码即为启动成功。 3. 滚动至最下点击【LoRA 训练】或者直接点击左侧菜单【LoRA 训练】。
2025-03-30
大模型公司的数据训练成本目前大概是多少
目前，AI 大模型的训练成本较高。在数据、算力、算法三要素中，算力是基础也是大模型竞争力，但国产芯片在软件适配度、稳定性方面存在不足。大部分采用智能计算中心、自费买英伟达 A800/H800 显卡组成服务器运行、或者用价格更为实惠的服务器云来训练，成本最高的部分是前期的模型训练。 千亿参数模型的报价高达数十万元，由于训练成本高、数据筛选难度大，高昂的售价让很多客户望而却步。在预训练阶段，从互联网上获取大量文本并处理，需要 GPU 集群，通常需要数百万美元的成本。 开源模型可以由任何人托管，包括不承担大模型训练成本（高达数千万或数亿美元）的外部公司。闭源模型能否长久保持优势还是未知数。
2025-03-28
大模型训练师
以下是关于大模型训练师的相关信息： 招聘信息： 中国移动设计院正在招聘大模型开发工程师，办公地点在北京海淀中关村。 数量：1 名 学历：本科及以上 资历：5 年及以上 岗位要求： 参与大模型技术研究、大模型微调、大模型智能体研发、基于大模型的应用研发等工作。 大模型相关的数据工程，包括预训练数据、微调数据、行业数据挖掘等。 大模型相关的落地实现：如推理优化、部署、AIAgent、工具学习、领域大模型等。 技能要求： 了解大模型基本原理，包括不限于模型架构、模型预训练及微调、模型部署及推理。 熟悉 LLM 相关技术，如 transformer,prompt tuning,RLHF,langchain,Agent,MOE,RAG 等。 熟悉算法和数据结构，熟悉常用的编程语言，有较好的 Python 开发经验，编程基础扎实。 了解或掌握机器学习、深度学习基本算法原理，熟悉 AI 建模流程，在 NLP 领域有开发经验优先。 了解熟悉大模型常用训练框架、推理架构；了解分布式计算、并行计算。 联络方式：飞书与@史鹏飞联系 大模型入门指南： 通俗来讲，大模型就是输入大量语料，来让计算机获得类似人类的“思考”能力，使之能够理解自然语言，能够进行『文本生成』、『推理问答』、『对话』、『文档摘要』等工作。可以用『上学参加工作』这件事来类比大模型的训练、使用过程： 1. 找学校：训练 LLM 需要大量的计算，因此 GPU 更合适，只有购买得起大量 GPU 的贵族学校才有资本训练自己的大模型。 2. 确定教材：大模型顾名思义就是大，需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用什么样的算法讲述“书本”中的内容，让大模型能够更好理解 Token 之间的关系。 4. 就业指导：学完书本中的知识后，为了让大模型能够更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，下面就要正式干活了，比如进行一次翻译、问答等，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词，甚至更大的语言单位，具体取决于所使用的分词方法（Tokenization）。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时，会对其进行数字化，形成一个词汇表。 2024 年人工智能现状： More Money,More Problems: 预计明年会有团队花费超过 10 亿美元训练单个大规模模型。GenAI 的热潮不会消退，只是会变得更加昂贵。 Compute Squeeze: 政府和大型科技公司都将继续感受到计算需求的压力，其增长速度超过了电网的支持能力。这就像一个健美运动员增长得太快，健身房都快承受不住了——在某个时候，天花板可能会坍塌。 AI Enters Elections: 预期的 AI 对选举和就业的影响尚未显现，但这并不意味着我们可以放松警惕。记住，AI 的影响就像闪光粉：一旦出现，多年来你会在各处发现它。 人工智能仍然是令人兴奋的突破、未解决的伦理问题和无数万亿美元赌注的混合体。随着 OpenAI 在某些领域领先，Meta 在其他领域崛起，以及中国实验室不受制裁影响而上升，2024 年的 AI 舞台感觉更像是一个拥挤的拳击台，而不是一个和平的会议室。所以准备好爆米花，准备好 GPU——我们将迎来又一年的 AI 突破边界、测试极限，并可能改写一些定义。
2025-03-27
AI训练范式革命
以下是关于 AI 训练范式革命的相关信息： Prime Intellect： Intellect1 是业界首个采用去中心化训练方式的大规模语言模型，模型规模达到 10B 参数量级，采用跨地域分布式训练架构，横跨 3 大洲 5 国，整合 112 台 H100 GPU 算力，训练过程实现 83%的算力利用率，验证了去中心化训练在大模型构建中的技术可行性。该公司为美国初创公司 Prime Intellect，专注去中心化 AI 技术的研发与创新。产品入口完全开源，开放基础模型、检查点、微调模型、训练数据及 PRIME 训练框架等全套技术资源。 GPT4.5： 通过扩展无监督学习和思维链推理两种范式来提升 AI 能力。扩展思维链推理可让模型在回应前思考，从而处理复杂的 STEM 或逻辑问题；扩展无监督学习能提高世界模型的准确性、降低幻觉率并改善联想思维。GPT4.5 是在扩展无监督学习范式上的新进展。 开发了新的可扩展对齐技术，能训练更大更强的模型，并使用来自较小模型的数据，提高了 GPT4.5 的可操纵性、对细微差别的理解和自然对话能力。 GPT4.5 在多样化的数据集上进行了预训练和后训练，包括公开数据、来自数据合作的专有数据和内部开发的自定义数据集。数据处理流程包括严格过滤以保证数据质量和降低潜在风险。 内部测试人员称 GPT4.5 热情、直观和自然，在处理情感类查询时表现出色，在创意写作和设计方面有较强能力。 医疗 AI 领域： 图像理解在医疗领域率先实现商业化，科技巨头深耕医疗 AI 研发，学术界取得突破性进展，行业权威对医疗 AI 持积极态度。 多模态识别能力提升使 AI 在专业领域的理解和分析应用成为可能，医疗 AI 的成功得益于其深度对接专业场景，以解决实际临床需求为导向的发展路径。 规模化训练是通过扩大模型参数、数据规模和算力投入，在量变中实现质变的训练范式。视频生成相比图像生成难度提升百倍，视频生成技术发展出自回归与扩散两大路线，Sora 引领 DiT 架构成为主流方向，规模化训练是实现高质量视频生成的关键。
2025-03-27
Gemini是用什么训练的
Gemini 是在 Google 的 TPU AI 加速器上训练的，似乎没有使用英伟达的 GPU。Google 还推出了全新的 Cloud TPU v5p 和 AI Hypercomputer 超级计算机，将加速 Gemini 的开发，使 AI 模型的训练更快。 Cloud TPU v5p 是目前 Google 最强大、可扩展和灵活的 AI 加速器。它在 TPU v4 的基础上提供了超过 2 倍的 FLOPS（浮点运算次数/秒）和 3 倍的高带宽内存（HBM）。TPU v5p 可以比前一代 TPU v4 更快地训练大型语言模型（LLM），对于嵌入密集型模型，其训练速度比 TPU v42 快 1.9 倍。TPU v5p 的可扩展性是 TPU v4 的 4 倍。 AI Hypercomputer 是一个突破性的超级计算机架构，它采用了集成的系统，包括性能优化的硬件、开放软件、领先的机器学习框架，以及灵活的消费模型。通过系统级协同设计来提高 AI 训练、调优和服务的效率和生产力。具有性能优化的计算、存储和网络硬件，建立在超大规模数据中心基础设施之上，利用高密度占地面积、液体冷却和 Jupiter 数据中心网络技术。通过开放软件使开发者能够调整、管理和动态编排 AI 训练和推理工作负载。提供了一系列灵活和动态的消费选择，包括传统的承诺使用折扣（CUD）、按需定价和现货定价，以及为 AI 工作负载量身定制的消费模型。 Gemini 模型是在一个既包含多模态又包含多语言的数据集上进行训练的。预训练数据集使用来自网络文档、书籍和代码的数据，并包括图像、音频和视频数据。使用 SentencePiece 分词器，发现在整个训练语料库的大样本上训练分词器可以改善推断的词汇，并进而提高模型性能。对所有数据集进行过滤，使用启发式规则和基于模型的分类器，还进行安全过滤以删除有害内容。从训练语料库中筛选出评估集。在训练过程中进行分阶段训练，通过增加领域相关数据的权重来改变混合组合，直到训练结束。
2025-03-26
如何训练AI智能体
以下是关于训练 AI 智能体的一些信息： 1. 可以将一些创新的 prompt 融入工作流中，以更高效地训练智能体。这种方法不仅能改进现有的大语言模型，还能探索新的应用领域，实现低成本、高效能和模型效益最大化，突破单纯依赖算法的方式。 2. 采用流式训练方式提升训练速度和质量，例如将孔明灯换成泡泡，基于 Transformer 模型进行流匹配，这种方式优于扩大模型。 3. 利用多种 AI 生成工具，如输入简单提示词就能创作音乐的 so no 音频生成工具，能创建个人 AI 智能体的豆包，输入文本可生成播客的 Notebook LN。 4. 了解 AI 工程平台，如 define 等，涉及数据清洗管道、数据存储和检索、编辑生成平台、构建 prompt 技巧、智能体概念、插件调用、运维平台、模型层和缓存机制等，还能接入多家大模型。以 coach 平台为例，新版本有很多模板，有众多插件工具，包括必应搜索、链接读取、代码执行器等，还有工作流，可创建应用 APP，有新手教程和文档，可创建智能体，通过工作流节点调用和 prompt 构建提示词，还能调用插件、图像流、知识库等，商城中有各种智能体和插件模板，知识库可添加多种格式内容。 5. 了解一些为大模型提供数据、企业模型和算力服务的平台，如魔搭社区等，有按任务划分的模型库、数据集和在线应用供体验。
2025-03-25