Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

请教我如何训练模型

Answer

训练模型需要以下步骤:

  1. 选择底模:选择 Baichuan2-7B-Chat 模型作为底模。
  2. 配置模型:配置模型本地路径和提示模板。
  3. 加载数据集:在 Train 页面里,选择 sft 训练方式,加载定义好的数据集 wechat 和 self_cognition。
  4. 设置学习率和训练轮次:根据自己的数据集大小和收敛情况来设置学习率和训练轮次。
  5. 减少显存需求:使用 FlashAttention-2 可以减少显存需求,加速训练速度;显存小的朋友可以减少 batch size 和开启量化训练。
  6. 编译模型:一旦模型被编译,就可以开始训练它。
  7. 训练模型:在本教程中,使用了一个单一的 GPU 来进行训练。每个 epoch 大约需要 15 至 20 分钟的时间。当然,你可以根据自己的需求进行更多的训练,这可能会得到更好的结果。
Content generated by AI large model, please carefully verify (powered by aily)

References

创作:基于百川大模型向微信群大佬们虚心学习

选择Baichuan2-7B-Chat模型作为底模,配置模型本地路径,配置提示模板Train页面里,选择sft训练方式,加载定义好的数据集wechat和self_cognition。其中学习率和训练轮次非常重要,根据自己的数据集大小和收敛情况来设置,使用FlashAttention-2则可以减少显存需求,加速训练速度;显存小的朋友可以减少batch size和开启量化训练,内置的QLora训练方式非常好用。需要用到xformers的依赖具体命令参数如下:显存占用20G左右,耐心等待一段时间,请神模式开启...

8. 创建图像描述模型

一旦我们的模型被编译,我们就可以开始训练它了。在本教程中,我使用了一个单一的GPU来进行训练。每个epoch大约需要15至20分钟的时间。当然,你可以根据自己的需求进行更多的训练,这可能会得到更好的结果。

5. 编码器-解码器架构

你需要将输入文本转换为字符序列,然后再将这些字符序列转换为ID序列。接下来,我们调用我们之前训练过的编码器-解码器模型。这个模型将接受这些ID输入,并输出预测的logits。

Others are asking
请教从0开始学习AI操作
以下是从 0 开始学习 AI 操作的建议: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,如了解生成式 AI 等基础知识,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库中有很多实践后的作品和文章分享,欢迎实践后进行分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 此外,还可以通过以下方式学习: 学习创建 AI 应用,包括操作界面等流程,了解创建应用的方式,界面与智能体组件的关联,重点掌握桌面网页版用户界面布局及左侧组件类别,了解应用的前端后端知识。 学习前端、后端相关概念,前端是页面可见部分及产品设计,负责采集用户输入和展示输出;后端是服务和逻辑,接收处理用户输入并生成内容输出到前端。了解左侧组件,包括布局、展示、输入、AI 组件等,以及模板和结构的作用。 学习容器相关知识,点击容器可看到名字,操作数据会用到。容器名字对应属性和事件属性,属性包含位置、尺寸等。尺寸设百分比会受容器关系及默认值影响。创建容器时,布局时先创建覆盖页面的底层容器,设固定宽高、边界为 0,有布局文档和教程供参考。 记住,学习 AI 是一个长期的过程,需要耐心和持续的努力。不要害怕犯错,每个挑战都是成长的机会。随着时间的推移,您将逐渐建立起自己的 AI 知识体系,并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法,设计自己的学习路径。
2025-01-26
我想请教一些问题 1:目前有哪些AI教育类产品 2:目前有哪些AI辅助学习类产品 3:有哪些AI辅助学习的好用的方法
以下是关于您所提出问题的回答: 目前的 AI 教育类产品和 AI 辅助学习类产品有: 语言学习方面:Speak、Quazel、Lingostar 等是由 AI 驱动的语言老师,能够实时交流并给予发音或措辞反馈;Grammarly 可进行英语写作和语法纠错。 数学学习方面:Photomath、Mathly 可指导学生解决数学问题;Khan Academy 有自适应学习系统。 综合学习方面:Duolingo 是自适应学习平台,能为用户提供个性化学习内容和练习。 AI 辅助学习的好用方法包括: 英语学习:利用智能辅助工具如 Grammarly 改进写作和语法;通过语音识别应用如 Call Annie 练习口语和纠正发音;使用自适应学习平台如 Duolingo 获得个性化学习计划;借助智能对话机器人如 ChatGPT 进行会话练习。 数学学习:运用自适应学习系统如 Khan Academy 获取精准推荐;使用智能题库和作业辅助工具如 Photomath 获得问题解答和解题步骤;借助虚拟教学助手如 Socratic 解答问题、观看教学视频和获得答疑服务;参与交互式学习平台如 Wolfram Alpha 进行数学建模和问题求解。
2024-11-12
请教一下,好的Agent能调用外部工具,比Prompt功能更灵活,对吗?e
是的,Agent 相较于 Prompt 功能更灵活。Agent 可以调用外部工具,如编程、查询、绘图等,而 Prompt 只能生成文本。Agent 的技能调用能力依赖于其之上的插件,OpenAI 的“Function calling”机制是一个经典的实现方式。
2024-04-21
请教一个问题,用好了Prompt,是不是可以代替各类GPTs呢?
你的问题非常好。OpenAI的GPTs(定制聊天机器人)是一种新的方式,可以让任何人创建一个定制版的ChatGPT,以便在日常生活、特定任务、工作或家庭中更有帮助。你可以为GPTs添加指令、额外知识和任何组合的技能,并与他人分享或用于自己的目的。 然而,Prompt和GPTs在某种程度上是相辅相成的,而不是互相替代。Prompt是一种工具,可以帮助我们更好地利用GPTs的能力。一个好的Prompt可以引导模型生成更准确、更相关的回答。但是,Prompt本身并不包含模型的所有功能。 总的来说,Prompt和GPTs都是AI对话系统的重要组成部分,它们各自扮演着不同的角色。Prompt是一种引导模型生成特定类型回答的工具,而GPTs则是可以调用多种能力的类似智能体应用。希望这个答案对你有所帮助!
2024-04-20
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型: 1. FengshenbangLM: 地址: 简介:是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系,开源了姜子牙通用大模型 V1,是基于 LLaMa 的 130 亿参数的大规模预训练模型,具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外,还开源了太乙、二郎神系列等模型。 2. BiLLa: 地址: 简介:开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力,并尽可能减少对原始 LLaMA 英文能力的损伤;训练过程增加较多的任务型数据,利用 ChatGPT 生成解析,强化模型理解任务求解逻辑;全量参数更新,追求更好的生成效果。 3. Moss: 地址: 简介:支持中英双语和多种插件的开源对话语言模型,MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到,后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外,Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况,如训练过程涉及大约 10TB 的文本,通常来源于互联网的抓取,需要大量的互联网资源和一个 GPU 集群,费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程,包括预训练、有监督微调和强化学习等。
2025-02-16
你是一名电商专家,有没有哪个AI大模型或者智能体可以完成以下功能:输入材质图片,得到经过设计后的成品衣服
目前尚未有成熟的 AI 大模型或智能体能够直接实现输入材质图片就得到经过设计后的成品衣服的功能。但在 AI 领域的不断发展中,可能会有相关的技术和模型在未来出现。
2025-02-16
你是一名电商专家,有没有哪个AI大模型或者智能体可以完成以下功能:输入衣服材质图片,得到经过设计后的材质成品衣服
目前尚未有专门的 AI 大模型或智能体能够直接实现您所描述的输入衣服材质图片就得到经过设计后的材质成品衣服的功能。但随着 AI 技术的不断发展,未来可能会出现相关的应用。
2025-02-16
给我提供一份标准的 DeepSeek R1大模型的 prompt 提示词模板
以下是一份关于 DeepSeek R1 大模型的 prompt 提示词模板: 一、核心原理认知 1. AI 特性定位 多模态理解:支持文本/代码/数学公式混合输入 动态上下文:对话式连续记忆(约 4K tokens 上下文窗口,换算成汉字是 8000 字左右) 任务适应性:可切换创意生成/逻辑推理/数据分析模式 2. 系统响应机制 采用意图识别+内容生成双通道 自动检测 prompt 中的:任务类型/输出格式/知识范围 反馈敏感度:对位置权重(开头/结尾)、符号强调敏感 二、基础指令框架 1. 四要素模板 2. 格式控制语法 强制结构:使用```包裹格式要求 占位符标记:用{{}}标注需填充内容 优先级符号:>表示关键要求,!表示禁止项 三、进阶控制技巧 1. 思维链引导 分步标记法:请逐步思考:1.问题分析→2.方案设计→3.风险评估 苏格拉底式追问:在得出最终结论前,请先列举三个可能存在的认知偏差 2. 知识库调用 领域限定指令:基于 2023 版中国药典,说明头孢类药物的配伍禁忌 文献引用模式:以 Nature 2022 年发表的论文为参考,解释 CRISPRCas9 最新突破 3. 多模态输出 此外,还有关于创建 DeepSeek 联网版工作流的相关内容: 1. 创建工作流 创建一个对话流,命名为 r1_with_net 开始节点,直接使用默认的 大模型分析关键词设置 模型:豆包通用模型lite 输入:直接使用开始节点的 USER_INPUT 作为大模型的输入 系统提示词:你是关键词提炼专家 用户提示词:根据用户输入`{{input}}`提炼出用户问题的关键词用于相关内容的搜索 bingWebSearch搜索 插件:BingWebSearch 参数:使用上一个节点,大模型分析输出的关键词作为 query 的参数 结果:data 下的 webPages 是网页搜索结果,将在下一个节点使用 大模型R1 参考搜索结果回答 这里需要在输入区域开启“对话历史” 模型:韦恩 AI 专用 DeepSeek 输入:搜索结果,选择搜索节点 data 下的 webPages;选择开始节点的 USER_INPUT;开启对话历史,设置 10 轮,默认不开启对话历史,开启后默认是 3 轮 系统提示词:这里不需要输入 用户提示词: 结束节点设置 输出变量选择大模型R1 参考搜索结果回答的输出 回答内容里直接输出:{{output}} 测试并发布工作流 输入你的测试问题,测试完成后,直接发布工作流 关于 HiDeepSeek 的相关内容: 1. 效果对比 用 Coze 做了个小测试,大家可以对比看看 2. 如何使用? Step1:搜索 www.deepseek.com,点击“开始对话” Step2:将装有提示词的代码发给 Deepseek Step3:认真阅读开场白之后,正式开始对话 3. 设计思路 将 Agent 封装成 Prompt,将 Prompt 储存在文件,保证最低成本的人人可用的同时,减轻自己的调试负担 通过提示词文件,让 DeepSeek 实现:同时使用联网功能和深度思考功能 在模型默认能力的基础上优化输出质量,并通过思考减轻 AI 味,增加可读性 照猫画虎参考大模型的 temperature 设计了阈值系统,但是可能形式大于实质,之后根据反馈可能会修改 用 XML 来进行更为规范的设定,而不是用 Lisp(对我来说有难度)和 Markdown(运行下来似乎不是很稳定) 4. 完整提示词 v 1.3 5. 特别鸣谢 李继刚:【思考的七把武器】在前期为我提供了很多思考方向 Thinking Claude:这个项目是我现在最喜欢使用的 Claude 提示词,也是我设计 HiDeepSeek 的灵感来源 Claude 3.5 Sonnet:最得力的助手
2025-02-16
你用的什么模型
我使用的模型是 GPT4。在不同的应用场景中,还存在其他多种模型可供选择和切换,例如: 在 Cursor 中,AI 输入框下方有下拉列表,默认准备好的模型有、cursorsmall 等,您还可以在 Cursor Settings>Models>Model Names 下添加其他模型。 ComfyUI FLUX 原生支持,FLUX.1 有三个变体:FLUX.1是一个蒸馏的 4 步模型,拥有 Apache 2.0 商用许可,适用于在本地进行部署或者个人使用。相关模型的链接、模型与工作流地址、说明文档等信息如下: FLUX.1:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main FLUX.1:https://huggingface.co/Kijai/fluxfp8 FLUX.1:https://huggingface.co/blackforestlabs/FLUX.1schnell/tree/main 模型与工作流地址: https://pan.quark.cn/s/2797ea47f691 https://pan.baidu.com/s/1nV26Fhn3WYBLrg2hSA0_YQ?pwd=cycy 说明文档:https://xiaobot.net/post/8fd64f3f52d14948824d5ee0c38e2594
2025-02-16
测绘地理信息可以使用的大模型有哪些?
以下是一些测绘地理信息可能使用到的大模型获取途径和相关信息: 1. 常用的模型网站有: 2. 关于 SDXL 大模型: SDXL 的大模型分为两个部分,base + refiner 是必须下载的,base 是基础模型,用于文生图操作;refiner 是精炼模型,用于对生成的模型进行细化以生成细节更丰富的图片。此外,还有一个配套的 VAE 模型,用于调节图片的画面效果和色彩。 想要在 webUI 中使用 SDXL 的大模型,首先要在秋叶启动器中将 webUI 的版本升级到 1.5 以上。然后将 base 和 refiner 放在“……\\sdwebuiakiv4.2\\models\\Stablediffusion”路径下,vae 放在“……\\sdwebuiakiv4.2\\models\\VAE”路径下。 3. 模型下载和分辨: 在 Civitai 网站下载模型时,可通过科学上网,点击右上角筛选按钮找到所需模型类型,如 Checkpoint = 大模型、LoRA = Lora。感兴趣的模型可点击“Download”下载保存到电脑本地。 模型下载保存地址:大模型可存放在 SD 根目录(即下载 SD 时存放的文件夹);Lora 和 VAE 也有相应的存放位置。 若不知道下载的模型类型及应存放的文件夹,可使用秋叶的模型解析工具 https://spell.novelai.dev/,将模型拖动到空白处查看模型信息。
2025-02-15
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音,即变声。它对训练素材量级要求较高,最少需要 20 分钟的素材才能达到理想效果,并且可以选择是否关联音高,以区分说话和唱歌两个不同场景。 在节目《马上封喉》中,负责马季老师语音生成部分的人员提到,AI 语音主要涉及 TTS(文本转语音)和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中,尝试了用 RVC 进行 vocal 变声的两种办法,但效果均不理想。第一种方法是训练声音模型后直接变声,存在变声后 AI 味儿太重、丢失原有强调的问题;第二种方法是训练声音模型,自己录 rap 后再变声,但需要在录音时尽量模仿还原出特点和感觉,这涉及到专业配音技巧,超出了能力范围。此外,八戒和沙僧声音的训练文件丢失,效果也不理想。
2025-02-13
怎么训练适合自己的ai智能体
要训练适合自己的 AI 智能体,您可以参考以下内容: 1. 了解智能体的发展历程:智能体大多建立在大模型之上,从基于符号推理的专家系统逐步演进而来。 2. 认识智能体的特点:具有强大的学习能力、灵活性和泛化能力,能通过大量数据学习,适应不同任务和环境,将知识泛化到新情境。 3. 掌握核心要点:智能体的核心在于有效控制和利用大型模型,提示词设计直接影响智能体的表现和输出结果。 4. 实践操作: 基于公开的大模型应用产品(如 Chat GLM、Chat GPT、Kimi 等)尝试开发。 点击“浏览 GPTs”按钮和“Create”按钮创建自己的智能体。 使用自然语言对话或手工设置进行具体操作。 开始调试智能体并发布。 5. 在正式项目中部署 AI 智能体的建议: 先尝试使用提示,无法满足需求再考虑微调。 编写并测试提示,以其作为微调基线。 关注数据质量,必要时修正问题数据。 用真实场景数据微调,保留测试集。 选择适当的模型规模,设立快速评估指标。 执行完整评估,持续优化,灵活应变。
2025-02-12
大模型是怎么训练的
大模型的训练过程可以类比为“上学参加工作”: 1. 找学校:训练大模型需要大量的计算,因此 GPU 更合适,只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材:大模型需要大量的数据量,几千亿序列(Token)的输入基本是标配。 3. 找老师:即用合适的算法讲述“书本”中的内容,让大模型能够更好理解 Token 之间的关系。 4. 就业指导:学完书本中的知识后,为了让大模型能够更好胜任某一行业,需要进行微调(fine tuning)指导。 5. 搬砖:就业指导完成后,就要正式干活了,比如进行一次翻译、问答等,在大模型里称之为推导(infer)。 在 LLM 中,Token 被视为模型处理和生成的文本单位。它们可以代表单个字符、单词、子单词,甚至更大的语言单位,具体取决于所使用的分词方法(Tokenization)。Token 是原始文本数据与 LLM 可以使用的数字表示之间的桥梁。在将输入进行分词时,会对其进行数字化,形成一个词汇表。比如:The cat sat on the mat,会被分割成“The”、“cat”、“sat”等的同时,会生成相应的词汇表。 此外,训练大模型的具体操作步骤如下: 1. 创建数据集:进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset),在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片+标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能)。也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 2. Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,点击右侧箭头,会跳出所有上传过的数据集。触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后就可以等待训练了,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 从原理层面,用数学来理解 Prompt:传统的机器学习是 p,假设 a 是训练出来的通用模型,这个模型没有经过人工标注,但什么都可以学会。给出的 Prompt 其实就是 x,然后让大模型基于这个 x 知道概率最大的 y,这样就避免了人工标注,但依赖于 x 给入的信息,去更大概率找到合适的 y。比如给一张照片,然后输入这是一个动物,这是什么,大模型根据这个输入,提取照片的特征和提示作为输入,最终返回猫。
2025-02-11
Ai训练营课程大纲
以下是 AI 实训营的课程大纲: 第一期: |时间|主题|课程内容| |||| |01/07 20:00<br><br>必须了解的企业级 AI 应用开发知识点|阿里云百炼大模型平台全解析<br>企业级服务场景对号入座<br>百闻不如体验,实操方有感知| |01/08 20:00<br><br>更好用的文本知识库应用跟学,快速上手阿里云百炼|生态能力解析:手把手案例带做<br>服务场景透视:企业级案例应用<br>AI 机器人搭建:企业知识问答场景全覆盖| |01/09 20:00<br><br>更热门的多模态交互案例带练,实操掌握 AI 应用开发|阿里云百炼大模型多模态能力解析<br>商家运营场景&企业级解决方案分享<br>实践课堂:拍立得场景构建| 第二期: |时间|主题|课程内容| |||| |01/22 20:00<br>|0 基础入门篇:写代码像聊天一样简单<br>可以进入钉钉群获取更多文档:https://alidocs.dingtalk.com/i/nodes/yQod3RxJKGvvkP3rfj5Lgoy7Jkb4Mw9r?utm_scene=person_space|AI 编程的能力与边界<br>通义灵码上手指南<br>一句话 AI 编程小游戏展示| |01/23 20:00<br>|AI 编程实战篇:人人都能“福从天降”|0 基础带练“福从天降”小游戏<br>自然语言生成更多小游戏<br>如何在 Github 部署并生成在线链接| 此外,入门篇还包括多模态能力及相关内容介绍,如前两日课程回顾、多模态能力介绍、应用案例体验、学习资源与作业、未来合作与更新等。
2025-02-10
如何训练一个辅助教学和备课的智能体
要训练一个辅助教学和备课的智能体,可以参考以下步骤和方法: 1. 利用大语言模型:例如 ChatGPT 等,探讨如何借助其辅助备课、解答学生疑问和生成教学材料。分享与大语言模型进行有效沟通的技巧,提升提问和指令的质量。 2. 注重教学应用:在训练过程中,考虑如何将智能体应用于教学的各个环节,如备课体系、作业批改、出题建议、辅助出题等。 3. 收集教育需求:提前收集教育领域的需求,包括办公提效、家校沟通、个性化教育、心理疏导等方面,让智能体能够针对性地提供服务。 4. 分析学生行为:基于教育心理学等,训练智能体能够分析学生行为,并给出相应的策略。 5. 模拟培训:如教师模拟培训、公开课备课辅助等。 6. 结合跨学科项目:像生物和信息科技老师合作带着学生训练 AI 模型。 7. 考虑多种教育场景:例如朗读、背诵评判,文生图、文生视频在备课时的针对性应用等。 同时,在与智能体交流时,要注意以下心得: 1. 把智能体当人看,用计算机神经网络模拟人脑工作,它表现得更像人,而不是准确的机器,也会不懂装懂,时对时错。 2. 智能体不需要休息,效率很高,但没有自驱力,被动回答。 此外,一些学校已经在行动,如北京市新英才学校的跨学科项目老师带着学生用 AIGC 做学校地图桌游,英语老师在 AIGC 的帮助下备课和授课等。
2025-02-10