Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

MoE模型训练为什么会比dense模型要更困难?

Answer

MoE 模型训练比 dense 模型更困难的原因主要包括以下几点:

  1. 内存需求:MoE 模型需要将所有专家加载到内存中,这导致其需要大量的 VRAM。
  2. 微调挑战:微调 MoE 模型存在困难,历史上在微调过程中较难泛化。
  3. 训练设置:将密集模型转换为 MoE 模型时,虽然训练超参数和训练设置相同,但 MoE 模型的特殊结构仍带来了训练上的复杂性。
  4. 计算效率与泛化平衡:MoE 模型在训练时更具计算效率,但在微调时难以实现良好的泛化效果。
Content generated by AI large model, please carefully verify (powered by aily)

References

苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人

最后,研究者介绍了预训练模型之上训练的监督微调(SFT)实验。他们遵循LLaVA-1.5和LLaVA-NeXT,从不同的数据集中收集了大约100万个SFT样本。鉴于直观上,更高的图像分辨率会带来更好的性能,研究者还采用了扩展到高分辨率的SFT方法。监督微调结果如下:表4展示了与SOTA比较的情况,「-Chat」表示监督微调后的MM1模型。首先,平均而言,MM1-3B-Chat和MM1-7B-Chat优于所有列出的相同规模的模型。MM1-3B-Chat和MM1-7B-Chat在VQAv2、TextVQA、ScienceQA、MMBench以及最近的基准测试(MMMU和MathVista)中表现尤为突出。其次,研究者探索了两种MoE模型:3B-MoE(64位专家)和6B-MoE(32位专家)。在几乎所有基准测试中,苹果的MoE模型都比密集模型取得了更好的性能。这显示了MoE进一步扩展的巨大潜力。第三,对于30B大小的模型,MM1-30B-Chat在TextVQA、SEED和MMMU上的表现优于Emu2-Chat37B和CogVLM-30B。与LLaVA-NeXT相比,MM1也取得了具有竞争力的全面性能。不过,LLaVA-NeXT不支持多图像推理,也不支持少样本提示,因为每幅图像都表示为2880个发送到LLM的token,而MM1的token总数只有720个。这就限制了某些涉及多图像的应用。

苹果大模型MM1杀入场:300亿参数、多模态、MoE架构,超半数作者是华人

研究者收集了之前的消融结果,确定MM1多模态预训练的最终配方:图像编码器:考虑到图像分辨率的重要性,研究者使用了分辨率为378x378px的ViT-H模型,并在DFN-5B上使用CLIP目标进行预训练;视觉语言连接器:由于视觉token的数量最为重要,研究者使用了一个有144个token的VL连接器。实际架构似乎不太重要,研究者选择了C-Abstractor;数据:为了保持零样本和少样本的性能,研究者使用了以下精心组合的数据:45%图像-文本交错文档、45%图像-文本对文档和10%纯文本文档。为了提高模型的性能,研究者将LLM的大小扩大到3B、7B和30B个参数。所有模型都是在序列长度为4096、每个序列最多16幅图像、分辨率为378×378的情况下,以512个序列的批量大小进行完全解冻预训练的。所有模型均使用AXLearn框架进行训练。他们在小规模、9M、85M、302M和1.2B下对学习率进行网格搜索,使用对数空间的线性回归来推断从较小模型到较大模型的变化(见图6),结果是在给定(非嵌入)参数数量N的情况下,预测出最佳峰值学习率η:通过专家混合(MoE)进行扩展。在实验中,研究者进一步探索了通过在语言模型的FFN层添加更多专家来扩展密集模型的方法。要将密集模型转换为MoE,只需将密集语言解码器替换为MoE语言解码器。为了训练MoE,研究者采用了与密集骨干4相同的训练超参数和相同的训练设置,包括训练数据和训练token。

AIGC Weekly #51

MoEs可以比密集模型更快地进行预训练,并且在相同数量参数情况下提供更快速度推断。它们需要大量VRAM,因为所有专家必须加载到内存中。微调MoEs存在挑战,但最近对MoE指令微调工作显示出了希望。MoEs由门控网络和专家组成,在变压器模型中替换每个FFN层。训练MoEs更具计算效率性,但它们在微调过程中历史上很难泛化。使用MoEs进行推断速度较快,因为只使用了部分参数,但由于需要加载所有参数而导致内存需求较高。该博文追溯了MoEs的历史、发展以及它们在自然语言处理和计算机视觉领域应用方面。它解释了稀疏性和负载平衡概念在MoEs中至关重要,这对于有效地进行训练和推理非常重要.文章还讨论了如何将MoE与变压器结合起来,特别是像GShard和Switch Transformers这样规模庞大的模型.完成有关利用router Z-loss稳定培养并学习专业知识等问题分析增加专业人员数量对预先培养和微调产生影响博客文章还涉及何时使用稀疏MOES与密集模式,并提供见解使MOES在预先培养和推理更有效列出MOES的开源项目和已发布模式包括Switch Transformers,NLLB MoE,OpenMoe and Mixtral 8x7B未来工作方向包括将稀疏MOES蒸馏成密集模式,模式合并技术和极端量子化技术该博客文章总结了值得探索的MOES领域,并提供进一步阅读主题资源列表。

Others are asking
用哪个大模型,在PDF和图片识别上精度高
在 PDF 和图片识别方面,对于图片,ChatGPT 依靠视觉模型解析,复杂图片建议使用最新模型(如 GPT4.5)。对于 PDF,ChatGPT 仅能识别文本,无法读取图表、图片,复杂布局可能导致误读。一些初步实验表明,一些开源的 PDF 解析方法可能无法达到高质量要求,而当辅以可以有效提取文档中的结构化信息并将其整合为提示词(Prompt)的 PDF 解析器时,大语言模型能够作出更准确的响应。
2025-03-18
手绘风格图片生成模型
以下是关于手绘风格图片生成模型的相关内容: 艺术字生成: 模型选择:图片 2.1,输入提示词(可参考案例提示词)。 案例参考提示词: 金色立体书法,“立冬”,字体上覆盖着积雪,雪山背景,冬季场景,冰雪覆盖,枯树点缀,柔和光影,梦幻意境,温暖与寒冷对比,静谧氛围,传统文化,唯美中国风。 巨大的春联,金色的书法字体,线条流畅,艺术美感,“万事如意”。 巨大的字体,书法字体,线条流畅,艺术美感,“书法”二字突出,沉稳,大气,背景是水墨画。 巨大的奶白色字体“柔软”,字体使用毛绒材质,立在厚厚的毛绒面料上,背景是蓝天。 原文链接:https://mp.weixin.qq.com/s/jTMFYKxsN8dYNZu3VHKBnA 【06】在线生图定制主题海报: 操作步骤: 选择模型:推荐使用的模型,如(例图 1)风格模型>中国风>水墨工笔;(例图 2)风格模型>儿童>童话绘本;(例图 3)风格模型>MJ>剪纸艺术;(例图 4)风格模型>儿童>皮克斯(模型选择过程如图所示)。 输入画面描述:更好地描述画面的方法包括使用本课件提供的自选关键词、按主体+氛围+视角+画质的顺序输入关键词、使用括号()强调关键词。 选择画面大小:无界 AI 已将尺寸与用途标注在选项中,制作主题海报可选择 9:16 的宣传海报比例,选择 17283072 的分辨率可以更快生成图片。 其他设置:增加作图数量可以在同样参数的控制下一次性生成多幅图片,方便挑选。 优化海报:使用可画(https://www.canva.cn/?displaycomoption=true)在线编辑海报。 0 基础手搓 AI 拍立得: 背景:每次使用大模型工具时流程繁琐冗长,出于简化操作、提升效率的需求,萌生了“AI 拍立得”的概念,即拍即得,简化流程,让操作更直观、更高效。之前的直播分享内容中也有提到关于 AI 拍立得的能力,往期回顾: 在线体验:快速体验 AI 拍立得,微信小程序搜索:Pailido,丰富场景自由切换,可快速生成闲鱼文案、生成外卖/大众点评。 交互逻辑:用户选择拍摄场景类型并立即拍照,AI 自动识别和分析照片中的内容信息,依据预设场景规则迅速生成符合情境的反馈,避免繁琐操作。 实现场景: 图片转成文本:逻辑为用户上传图片后,大模型根据选择的场景生成与内容相关的文字描述或解说文本,核心是图片理解和文本整理润色,场景包括生成美食点评、朋友圈发布文案、闲鱼上架示例模版等。 图片转绘图片:逻辑为用户上传图片后,大模型按照指定的风格快速生成图像的转绘版本,适应不同风格和场景需求,核心是图片风格化滤镜,场景包括图片粘土风、图片积木风、图片像素风等。
2025-03-18
2025.3.18 新的大模型新闻
以下是 2025 年 3 月 18 日的一些新的大模型新闻: DeepSeek 深夜发布大一统模型 JanusPro,将图像理解和生成统一在一个模型中。其官网发声渠道包括微信公众号:DeepSeek;小红书:@DeepSeek(deepseek_ai);X:DeepSeek(@deepseek_ai);知乎账号(2025 年 3 月 1 日注册)。模型(7B)和(1B)的相关信息可参考特定链接。 2025 年 3 月 10 日的新闻:《大模型的未来,是 Agent 还是 App?》中提到 OpenAI 的 Deep Research 被视为一种新型的研究语言模型,具备自主执行搜索任务的能力。 2025 年 3 月 3 日的新闻:2025 年将是智谱的开源年,即将发布全新大模型并开源。2024 年 12 月,智谱已完成 D+轮 30 亿元人民币融资。
2025-03-18
写学术论文用哪一个 AI大模型比较好
在写学术论文时,以下 AI 大模型可供选择: 1. 智谱 AI 大模型开放平台:其 GLM 系列模型凭借强大的语义理解能力,能够快速总结论文内容、进行精准翻译。模型通用性强,能适应不同学科和复杂文本,提炼核心观点,为研究工作提速。在使用前,需将文献转换为可供模型解析的文本格式,可借助平台工具高效完成文件内容的提取。 2. 对于论文排版,有以下工具: Grammarly:不仅是语法和拼写检查工具,还提供排版功能,可改进文档风格和流畅性。 QuillBot:AI 驱动的写作和排版工具,能改进文本清晰度和流畅性。 Latex:广泛用于学术论文排版,使用标记语言描述文档格式,有许多 AI 辅助的编辑器和插件简化排版过程。 PandaDoc:文档自动化平台,使用 AI 帮助创建、格式化和自动化文档生成,适合商业和技术文档。 Wordtune:AI 写作助手,可重新表述和改进文本。 Overleaf:在线 Latex 编辑器,提供丰富模板和协作工具,适合学术写作和排版。 选择合适的工具取决于具体需求,如文档类型、出版标准和个人偏好。对于学术论文,Latex 和 Overleaf 通常是受欢迎的选择;对于一般文章和商业文档,Grammarly 和 PandaDoc 等可能更适用。
2025-03-18
哪些模型的视频理解能力比较好?
以下是一些视频理解能力较好的模型: 1. 通义千问的 Qwen2.5VL 模型:具有以下优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 2. Sora 模型:周鸿祎认为其技术思路完全不同,能像人一样理解现实世界,将大语言模型和 Diffusion 结合起来训练,实现了对现实世界的理解和模拟两层能力,对物理世界的模拟将对机器人具身智能和自动驾驶带来巨大影响。 3. 腾讯的混元模型:在语义理解方面表现出色,能够精准还原复杂的场景和动作,例如一只银渐层在游乐园里奔跑跳到小女孩怀里、一位紫衣女修在竹林中抚琴、星系边缘宇宙战舰引爆反物质引擎等场景。
2025-03-18
大语言模型的技术原理
大语言模型的技术原理包括以下几个方面: 1. 相关概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习(有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归)、无监督学习(学习的数据没有标签,算法自主发现规律,经典任务如聚类)、强化学习(从反馈里学习,最大化奖励或最小化损失,类似训小狗)。 深度学习是一种参照人脑有神经网络和神经元的方法(因有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 即大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 2. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)来处理序列数据,而不需要依赖于循环神经网络(RNN)或卷积神经网络(CNN)。 3. 工作原理: 包括训练数据、算力、模型参数,在训练数据一致情况下,模型参数越大能力越强。 Transformer 是大语言模型训练架构,具备自我注意力机制能理解上下文和文本关联,其工作原理是单词预测,通过嵌入、位置编码、自注意力机制生成内容,模型调教中有控制输出的 temperature。 Transformer 模型通过不断检索和匹配来寻找依赖关系,处理词和词之间的位置组合,预测下一个词的概率,是一个偏向概率预测的统计模型。 4. 可能存在的问题:大模型可能因错误数据导致给出错误答案,即大模型幻觉,优质数据集对其很重要。 5. 相关应用: 国内大模型有通用模型如文心一言、讯飞星火等,处理自然语言;还有垂直模型,专注特定领域如小语种交流、临床医学、AI 蛋白质结构预测等。 Prompt 分为 system prompt、user prompt 和 assistant prompt,写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等,核心是与模型好好沟通。 Fine tuning 微调是基于通用大模型,针对特定领域任务提供数据进行学习和调整,以适应特定领域的需求。
2025-03-18
MoE
MoE(Mixture of Experts)架构是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大的、复杂的任务拆分成多个小的、简单的任务,并让不同的专家网络负责处理不同的任务。这样做的好处是可以提高模型的灵活性和可扩展性,同时减少模型的参数量和计算量,从而提高模型的效率和泛化能力。 MoE 架构的实现通常需要以下步骤: 1. 定义专家网络:首先定义多个专家网络,每个专家网络负责处理特定的任务或数据集,这些专家网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据对每个专家网络进行训练,以获得每个专家网络的权重和参数。 3. 分配数据:在训练过程中,将输入数据分配给不同的专家网络进行处理。分配数据的方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:将每个专家网络的输出结果进行加权求和,得到最终的输出结果。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,以获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域都有广泛的应用。
2025-02-26
moe是什么
MoE(Mixture of Experts)架构是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大而复杂的任务拆分成多个小而简单的任务,并让不同的专家网络负责处理不同的任务。 在 MoE 架构中,输入数据会被分配给不同的专家网络进行处理,每个专家网络会返回一个输出结果,最终的输出结果是所有专家网络输出结果的加权和。这样做的好处是可以提高模型的灵活性和可扩展性,同时减少模型的参数量和计算量,从而提高模型的效率和泛化能力。 MoE 架构的实现通常需要以下几个步骤: 1. 定义专家网络:首先需要定义多个专家网络,每个专家网络负责处理特定的任务或数据集。这些专家网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据对每个专家网络进行训练,以获得每个专家网络的权重和参数。 3. 分配数据:在训练过程中,需要将输入数据分配给不同的专家网络进行处理。分配数据的方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:将每个专家网络的输出结果进行加权求和,得到最终的输出结果。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,以获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域都有广泛的应用。例如,苹果的大模型 MM1 就采用了 MoE 架构,其参数最高可达 300 亿,由密集模型和混合专家(MoE)变体组成,在预训练指标中实现了 SOTA,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。在 MM1 中,为了提高模型的性能,研究者将 LLM 的大小扩大,并通过在语言模型的 FFN 层添加更多专家来扩展密集模型。
2025-01-12
MoE
MoE(Mixture of Experts)架构是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大的、复杂的任务拆分成多个小的、简单的任务,并让不同的专家网络负责处理不同的任务。这样做的好处是可以提高模型的灵活性和可扩展性,同时减少模型的参数量和计算量,从而提高模型的效率和泛化能力。 MoE 架构的实现通常需要以下几个步骤: 1. 定义专家网络:首先需要定义多个专家网络,每个专家网络负责处理特定的任务或数据集。这些专家网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据对每个专家网络进行训练,以获得每个专家网络的权重和参数。 3. 分配数据:在训练过程中,需要将输入数据分配给不同的专家网络进行处理。分配数据的方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:将每个专家网络的输出结果进行加权求和,得到最终的输出结果。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,以获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域都有广泛的应用。 此外,苹果大模型 MM1 也采用了 MoE 架构,研究者在小规模、9M、85M、302M 和 1.2B 下对学习率进行网格搜索,通过专家混合(MoE)进行扩展。要将密集模型转换为 MoE,只需将密集语言解码器替换为 MoE 语言解码器。为了训练 MoE,采用了与密集骨干相同的训练超参数和相同的训练设置,包括训练数据和训练 token。
2025-01-01
混合专家模型(MoE
混合专家模型(MoE)是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大而复杂的任务拆分成多个小而简单的任务,让不同的专家网络负责处理不同的任务,这样能提高模型的灵活性、可扩展性,减少模型的参数量和计算量,从而提升模型的效率和泛化能力。 MoE 架构的实现通常包含以下步骤: 1. 定义专家网络:先定义多个专家网络,每个负责特定任务或数据集,这些网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据训练每个专家网络,获取其权重和参数。 3. 分配数据:在训练中,将输入数据分配给不同专家网络处理,分配方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:对每个专家网络的输出结果进行加权求和,得到最终输出。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域应用广泛。 在苹果大模型 MM1 中也应用了 MoE 架构。研究者使用三种不同类型的预训练数据,构建了参数最高可达 300 亿的多模态模型系列 MM1,它由密集模型和混合专家(MoE)变体组成,在预训练指标中实现 SOTA,在一系列已有多模态基准上监督微调后也能保持有竞争力的性能。在 MM1 的最终模型和训练方法中,通过专家混合(MoE)进行扩展,将密集语言解码器替换为 MoE 语言解码器,并采用与密集骨干相同的训练超参数和设置进行训练。
2025-01-01
我想学习MOE设计分子软件,你能帮助我吗
MoE(Mixture of Experts)架构是一种深度学习模型结构,由多个专家网络组成,每个专家网络负责处理特定的任务或数据集。其核心思想是将一个大的、复杂的任务拆分成多个小的、简单的任务,并让不同的专家网络负责处理不同的任务。 MoE 架构的实现通常需要以下几个步骤: 1. 定义专家网络:首先需要定义多个专家网络,每个专家网络可以是不同的深度学习模型,如卷积神经网络(CNN)、循环神经网络(RNN)等。 2. 训练专家网络:使用有标签的训练数据对每个专家网络进行训练,以获得每个专家网络的权重和参数。 3. 分配数据:在训练过程中,需要将输入数据分配给不同的专家网络进行处理。分配数据的方法可以是随机分配、基于任务的分配、基于数据的分配等。 4. 汇总结果:将每个专家网络的输出结果进行加权求和,得到最终的输出结果。 5. 训练模型:使用有标签的训练数据对整个 MoE 架构进行训练,以获得最终的模型权重和参数。 MoE 架构在自然语言处理、计算机视觉、语音识别等领域都有广泛的应用。它可以提高模型的灵活性和可扩展性,同时也可以减少模型的参数量和计算量,从而提高模型的效率和泛化能力。
2024-08-30
关于MOE的文章
1. 《混合专家解释》 2. 《什么是 MoE 架构,如何实现?》 3. 《苹果大模型 MM1 杀入场:300 亿参数、多模态、MoE 架构,超半数作者是华人》 4. 《AIGC Weekly 50》 5. 《AIGC Weekly 51》
2024-04-18
什么样的数据集适合训练大语言模型?
以下是一些适合训练大语言模型的数据集: 1. Guanaco:这是一个使用 SelfInstruct 的主要包含中日英德的多语言指令微调数据集,地址为:。 2. chatgptcorpus:开源了由 ChatGPT3.5 生成的 300 万自问自答数据,包括多个领域,可用于训练大模型,地址为:。 3. SmileConv:数据集通过 ChatGPT 改写真实的心理互助 QA 为多轮的心理健康支持多轮对话,含有 56k 个多轮对话,其对话主题、词汇和篇章语义更加丰富多样,更加符合在长程多轮对话的应用场景,地址为:。 虽然许多早期的大型语言模型主要使用英语语言数据进行训练,但该领域正在迅速发展。越来越多的新模型在多语言数据集上进行训练,并且越来越关注开发专门针对世界语言的模型。然而,在确保不同语言的公平代表性和性能方面仍然存在挑战,特别是那些可用数据和计算资源较少的语言。 大模型的预训练数据通常非常大,往往来自于互联网上,包括论文、代码以及可进行爬取的公开网页等等,一般来说,现在最先进的大模型一般都是用 TB 级别的数据进行预训练。
2025-03-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
在ai图像训练打标时,怎么让部分标签权重更大
在 AI 图像训练打标时,让部分标签权重更大的方法如下: 1. 在 Stable Diffusion 中,手动补充的特殊 tag 放在第一位,因为 tags 标签有顺序,最开始的 tag 权重最大,越靠后的 tag 权重越小。 2. 在 BooruDatasetTagManager 中采用方法二: 删除部分特征标签,如 All tags 中不该出现的错误识别的自动标签,Image tags 中作为特定角色的自带特征的标签,并将特征与 LoRA 做绑定。 完成所有优化删除后,点击左上角菜单 File>Save all changes 保存当前的设置。 此外,在 Stable Diffusion 训练数据集制作中还需注意: 1. 调用 Waifu Diffusion v1.4 模型需要安装特定版本(2.10.0)的 Tensorflow 库,在命令行输入相应命令完成版本检查与安装适配。 2. 进入到 SDTrain/finetune/路径下,运行相应代码获得 tag 自动标注,其中主要参数包括: batch_size:每次传入 Waifu Diffusion v1.4 模型进行前向处理的数据数量。 model_dir:加载的本地 Waifu Diffusion v1.4 模型路径。 remove_underscore:开启后将输出 tag 关键词中的下划线替换为空格。 general_threshold:设置常规 tag 关键词的筛选置信度。 character_threshold:设置特定人物特征 tag 关键词的筛选置信度。 caption_extension:设置 tag 关键词标签的扩展名。 max_data_loader_n_workers:设置大于等于 2,加速数据处理。
2025-03-15
你好,我想训练一个自己的专属模型,比如说基于网页里面的问卷调查,我有答题的逻辑,网页的问卷调查项目每天都有非常多的不同的地方,但是又有相通的地方,我想让AI在我的逻辑之上能自我迭代自动答题,我该怎么办
如果您想基于网页问卷调查训练一个能在您的逻辑之上自我迭代自动答题的专属模型,有以下两种常见的技术方案: 1. 训练专有大模型: 优点:效果最好。 缺点:成本高,训练和维护需要大量计算资源和专业知识;更新模型知识难度大,需要重新训练或微调,过程复杂耗时。 2. 利用 RAG(检索增强生成)技术: 例如选择 Baichuan27BChat 模型作为底模,配置模型本地路径和提示模板。在 Train 页面里选择 sft 训练方式,加载定义好的数据集,根据数据集大小和收敛情况设置学习率和训练轮次。使用 FlashAttention2 可减少显存需求、加速训练速度;显存小的朋友可减少 batch size 并开启量化训练,内置的 QLora 训练方式好用。但需要用到 xformers 的依赖。根据聊天记录规模大小,训练时间少则几小时,多则几天。 此外,还有学生训练专属植物分类 AI 模型的案例供您参考。在北京市新英才学校的跨学科选修课“生化 E 家”中,老师和学生共同收集校园内不同树叶的照片,在 OpenInnoLab里找到图像分类训练工具,建立植物分类模型,加入大量数据集进行训练,再用图像化编程将其套在程序里,形成简单的识别工具。在这个过程中,老师通过生活体验与学生讨论图像分类原理,学生从体验到实践操作,在不进行大量代码编程的情况下能够训练 AI 模型,并了解模型训练准确度与数据的关系。
2025-03-14
分布式预训练里的流水线并行
分布式预训练中的流水线并行是一种在模型参数量太大一张卡不能完全放下时采用的切分方法。具体而言,沿着模型的拓扑序将其切分成 p 段,每段为一个 stage。将大小为 N 的 minibatch 进一步切分为 m 个大小为 M 的 microbatch(N = m·M),这些 microbatch 依次进入上述 p 个 stage。 在流水线并行切分后,每个 stage 的耗时会发生变化。假设 1 指出:算力为 1 的节点,处理完整模型的 1 个 microbatch,前向和反向耗时分别是 t_f 和 t_b。基于此有推论 1:算力为 1/p 的节点,处理完整模型的 1 个 microbatch,前向和反向耗时分别是 p·t_f 和 p·t_b;推论 2:算力为 1 的节点,处理 1/p 模型的 1 个 microbatch,前向和反向耗时分别是 t_f/p 和 t_b/p;推论 3:算力为 1/p 的节点,处理 1/p 模型的 1 个 microbatch,前向和反向耗时分别是 t_f 和 t_b。 从耗时情况来看,理论上界是显存无限大,不需要 pipeline 并行,一把梭直接对 minibatch 的样本做前向和反向,耗时正比于样本数量,b_best 耗时为 t_best = m·,可见耗时是理论上界的 p 倍,存在大量计算资源闲置空载,硬件利率用很低。 最后小结,3D 并行包括数据并行。DP 计算和通信效率友好,但权重显存不友好;PP 要求 minibatch 里 batch size 足够大以掩盖流水线带来的 overhead,batch size 过大则会增大激活显存占用;TP 权重显存友好,但计算和通信效率不友好,通信量要求大。ZeRO 针对数据并行显存占用大的问题提出优化,Alpa 借鉴 AI 编译器思路对 3D 并行建模并用自动化搜索方式得到并行策略。
2025-03-14
怎么快速生产训练语料
以下是快速生产训练语料的一些方法: 1. 在 LORA 模型训练中: 首先在脚本的 LoraTraining 目录下新建训练文件夹命名为 train。 如果需要训练多个概念,就在(input_角色名称)下面再新建一个文件夹,命名写(训练次数_角色名称_泳装)进行文件夹区分。 在脚本根目录下面建立一个训练文件夹(train),在(train)文件夹内建立一个概念文件夹和一个正则化文件夹(reg,不需要正则化可不建立),在概念文件夹内建立训练素材文件夹(训练素材文件夹前面的需要加“_”你想训练的次数)之后将训练素材放置进去即可。 正则化素材方面,正则化在深度学习中指的是给模型加一些规则和约束,限制要优化的参数有效防止过拟合。假设在训练集里面放入了一个泳装角色的训练素材,那么为了防止过拟合的问题,在正则化文件夹内放入一些同样是泳装的图片素材。正则化素材注意不要过多,不然机器会过多的学习到里面的素材导致跟训练目标角色不一致。 2. 对于神经网络大模型: 大模型生成文字的过程,是根据输入的文字,预测下一个字。通过一次又一次反复的调用同一个神经网络模型,一个一个字的往后续写,直到输出结束符号为止。 大模型的输出并不是一个字,而是所有字都输出一个概率。可以选择最高概率的或者第二高的汉字作为输出结果,也可以从前几名当中随机挑选。 可以将任何网络上的文本直接当作训练素材来训练神经网络模型。把任意一段文字的前几个字作为输入,而下一个字作为答案用做训练素材,从而方便地得到大量的训练素材。 3. 在雅思口语备考中: 如果时间充裕,建议把每个 topic 的问题喂给 GPT,让它一道道问您,您回答,然后转成文本查看发音问题。 让 GPT 对您的内容执行 correct 或者 another native answer 两个指令。前者可以基于您的内容做修正,后者是在自己完全没思路时让它给出答案。 对语料进行分类归纳,如按照教育、工作、购物、科技、消费分成几大类,再弄吃、环保、交通、历史等专题,挑最不熟悉、现场水不出来的准备。考前 1 小时,再顺一遍语料,多看两眼关键表达。
2025-03-14