Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux lora训练

Answer

以下是关于 Flux 的 Lora 模型训练的详细步骤：

模型准备：

  1. 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
    • 注意：不使用时存放位置不限，只要知晓路径即可。训练时建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。

下载脚本：

  1. 网盘链接：
    • 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq

安装虚拟环境：

  1. 下载完脚本并解压。
  2. 在文件中找到 install-cn-qinglong.ps1 文件，右键选择“使用 PowerShell 运行”。
  3. 新手在此点击“Y”，然后等待 1 - 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型，选择“n”不用下载。

数据集准备：

  1. 进入厚德云 - 模型训练 - 数据集：https://portal.houdeyun.cn/sd/dataset
  2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。
    • 可以上传包含图片 + 标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传，Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。
    • 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。

Lora 训练：

  1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。
  2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。
  3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
  4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。
  5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。
  6. 等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

数据集存放位置：.Flux_train_20.4\train\qinglong\train

运行训练：约 1 - 2 小时即可训练完成。

验证和 lora 跑图：有 ComfyUI 基础的话，直接在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。

Content generated by AI large model, please carefully verify (powered by aily)

References

郑敏轩 ：Flux的Lora模型训练

作者@郑敏轩大家好，上次讲了Flux简介，我们这次来讲讲Flux的Lora训练首先你要确保你已经正确安装使用了Flux的各个模块~~哈哈，开个玩笑，其实不用安装使用也是可以训练的~但是你要把当时需要的几个模型下载下来：t5xxl_fp16.safetensorsclip_l.safetensorsae.safetensorsflux1-dev.safetensors注意：1.你不使用的话他们放到哪里都可以，甚至放一起一个文件夹，只要你知道“路径”，我们后面要引用到“路径”2.因为是训练，不是跑图，跑图我们可以寻求降低方案，训练的话，哈哈模型就用flux1-dev.safetensors这个版本，编码器也用t5xxl_fp16.safetensors这个版本最好。好，接下来我们使用青龙的训练脚本，在此给青龙大大跪拜一下~阿弥陀佛~[heading2]下载脚本[content]网盘链接：夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件：Flux_train_20.4.zip链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码：pfsq--来自百度网盘超级会员V3的分享[heading2]安装虚拟环境[content]好，下载完，解压首先在文件中找到install-cn-qinglong.ps1这个文件，右键，选择“使用PowerShell运行”新手的话这里就点击“Y”然后等待那么1-2小时的漫长下载过程~2 hours later...下好了之后最后会提示你是否下载hunyuan模型，选择n不用下载

10-0基础训练大模型

进入厚德云-模型训练-数据集https://portal.houdeyun.cn/sd/dataset[heading2]步骤一·创建数据集[content]在数据集一栏中，点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件（之后你可以在c站使用它的自动打标功能）你也可以一张一张单独上传照片，但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面，等待一段时间后就会上传成功，可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二·Lora训练[content]点击Flux，基础模型会默认是FLUX 1.0D版本选择数据集，点击右侧箭头，会跳出你所有上传过的数据集触发词可有可无，取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数如果不知道如何设置，可以默认20重复次数和10轮训练轮数可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力然后就可以等待训练了，会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

郑敏轩 ：Flux的Lora模型训练

建议使用自然语言，其他和之前SDXL的训练一样，社区前面有SD训练的内容，不多介绍了数据集放哪里？.Flux_train_20.4\train\qinglong\train就是下图红色文件夹，里面一直往里找，顺带说一下绿色部分是训练好的模型产出的地方如果此处还没有准备数据集的伙伴们呢，本身检查一下这个路径里面，会有原先放好的试验数据集，是可以直接使用的，也就是说你如果试验操作的话，这一步可以先省略，可以往下进行。等训练成功，再准备自己的训练集。[heading2]运行训练[content]约1-2小时即可训练完成[heading2]验证和lora跑图：[content]有comfyUI基础的话，直接原版工作流的模型后面，多加一个LoraloaderModelOnly的节点就可以，自行选择你的Lora和调节参数。

Others are asking
给我flux的提示词结构的知识库我以他作为知识库
以下是关于 Flux 提示词结构的相关知识： 大语言模型就像一个学过无数知识、拥有无穷智慧的人，但在工作场景中，需要通过提示词来设定其角色和专注的技能，使其成为满足需求的“员工”。知识库则相当于给“员工”发放的工作手册，提供特定的信息。 提示词可以设定 Bot 的身份及其目标和技能，例如产品问答助手、新闻播报员、翻译助理等，决定 Bot 与用户的互动方式。详情可参考。 学习提示词可以分为五个维度，从高到低依次是思维框架、方法论、语句、工具和场景。但舒适的学习顺序应反过来，先从场景切入，直接了解在不同场景下提示词的使用及效果对比；然后使用提示词工具，如 Meta Prompt、Al 角色定制等；接着学习有效的提示语句，包括经典论文中的相关语句；再学习有效的方法论，将有效语句及其背后的原理整合成稳定可控的方法；最后掌握思维框架。 此外，还可以通过插件、工作流、记忆库等功能定制 AI Bot。插件可通过 API 连接集成各种平台和服务扩展 Bot 能力，详情参考。
2025-02-16
Flux炼丹，炼丹物品如何打标
在 Flux 炼丹中，炼丹物品的打标步骤如下： 1. 选择一个基础大模型，如“麦橘写实”，并填写一个 lora 的名字。 2. 将照片导入到丹炉，选择适合的分辨率，可勾选“脸部加强训练”，然后点击“预处理”。手动裁剪照片，预处理后会出现脸部和整体的文件夹，且每张照片会自动打好 tag 标签。 3. 可以给整体添加统一的标签，也可单独给每一张修改标签。标签的作用是帮助 AI 理解图片内容，若想让某些特征成为人物的固定效果，则不填写相关关键词。打标过程需仔细检查每张图片，打标的好坏会影响人物 lora 的泛化性，若想让人物有更多变化，应尽量描述详细。 在打标过程中还需注意以下几点： 1. 注册为开发者，按照流程填写信息，获取 AppID 和密钥，并填入相关位置，开启双语 TAG，检查每幅图的 tag，删除不正确的，新增需要的。 2. 打标要用自然语言，语句精简，选好触发词和打标模型，推荐短标并检查。
2025-02-12
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下： 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘：链接：https://pan.quark.cn/s/571d174ec17f 百度网盘：见前文 2. 也可以将 depth lora 模型存放到 ComfyUI/models/loras 文件夹中。 depth lora 模型：https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora 3. 百度网盘中也有相关模型： 链接：https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码：qflr
2025-02-05
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面： 训练扩散模型在特定的表示上，能够在降低复杂度和保留细节之间达到最优平衡点，显著提高视觉保真度。在模型架构中引入交叉注意力层，使其成为强大且灵活的生成器，能够处理诸如文本和边界框等一般条件输入，实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面： Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的，但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型，于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数，或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言 prompt，分辨率更高，并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高（分辨率提高 2 倍）、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点，还支持 tile 参数实现无缝平铺（实验性）、支持大于 2:1 的 ar 宽高比（实验性）、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤： 1. 模型准备： 下载所需模型，包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型存放位置不限，但要知晓路径；训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 数据集准备： 建议使用自然语言，与之前 SDXL 的训练类似。 数据集存放位置：.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集，此路径中有试验数据集可直接使用。 4. 运行训练：约 1 2 小时即可完成训练。 5. 验证和 lora 跑图：若有 comfyUI 基础，在原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点，自行选择 Lora 并调节参数。 6. 修改脚本路径和参数： 若显卡为 16G，右键 16G 的 train_flux_16GLora 文件；若显卡为 24G 或更高，右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开，理论上只需修改红色部分，包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式，避免错误。蓝色部分为备注名称，可改可不改。建议经验丰富后再修改其他深入参数，并做好备份管理。
2025-01-20
flux提示词示例
以下是一些关于 flux 提示词的示例： 在不同主题方面，如文本概括（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC）、信息提取（https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96）、问答（https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94）、文本分类（https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB）、对话（https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D）、代码生成（https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90）、推理（https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86），通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中，构建提示词时可以添加示例（可选）。您可以通过在提示词中加入一些示例，让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式，用不同的对话分隔符，例如用“我”代替“Human:”，用“你”代替“Assistant:”；也可以直接提供例子。决定哪种方法更有效取决于具体任务，建议尝试两种方法以确定更好的结果。 在市场营销类中，如赛博佛祖（Kyle）的示例，其角色设定为熟悉佛教经典、境界很高的佛学大师，能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义，提供有效建议等，并给出了详细的约束条件和链接地址（）。
2025-01-20
主流的LORA 训练工具是什么？
主流的 LORA 训练工具包括： 1. B 站 UP 主“朱尼酱”的赛博丹炉，其界面友好、美观，适合新手入门。 2. 训练器，支持 Kolors 开源模型。 3. Kolors+Refiner，由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流，由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa，由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报，由亦诚视觉开发。 7. ，魔搭社区官方模型。 8. InstantIDKolors 专属模型，由 InstantX 开发。
2025-02-18
LORA是什么
LoRA 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如一个固定的人物相貌、特定的服装或者是特定的风格，这样就可以生成不同于底模的图片。 所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程： 1. 港风胶片 Lora 模型使用方法： 方法 1：利用上一期活动图片反推工作流，使用唯美港风图片进行反推提示词，在大模型后接一个墨悠_胶片 Lora。上一期活动链接：。胶片 Lora 链接：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2：利用抱脸的 joycaption 图片反推提示词，然后在哩布上跑 flux 文生图工作流。 joycaption 链接（需要魔法）：https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流： 在哩布上跑文生图：https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用： SDXLLightning 是字节跳动推出的高速文本生成图像模型，包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址：https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时，拿 Lora 的使用来做介绍，使用方法和平常的 Lora 用法一样，但需要注意 CFG 值需要调小，一般设置为 1，另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用： 当想要生成多张同一张脸的照片时，需要用到 Lora 模型。Lora 可以固定照片的特征，如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮，弹出新的选项框，找到 Lora，就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora，会自动添加到关键词的文本框里面。Lora 可以叠加使用，但建议新手不要使用太多 Lora，每个 Lora 后面的数字用于调整权重，一般只会降低权重。 选择 Lora 时，要根据最开始想要生成的照片类型来选择，比如想生成真人模特，对应的 Lora 也要选用真人模特。
2025-02-17
lora是什么
Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如固定的人物相貌、特定的服装或者特定的风格，这样就可以生成不同于底模的图片。所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。例如，有利用新版 SDXL 生成的 lora——针线娃娃，它可以把一些常见的形象制作成毛线编制的样子，这个 lora 需要使用 SDXL1.0 的模型才可以运行，触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ，可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-10
lora是什么
Lora 全称 LowRank Adaptation Models，中文翻译为低阶自适应模型。它的作用在于影响和微调画面，通过其帮助，可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原有的模型中插入新的数据处理层的方式，避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素，比如固定的人物相貌、特定的服装或者特定的风格，这样就可以生成不同于底模的图片。所以，lora 训练比较轻量化，需要的显存较少，硬件门槛显存达到 6G 就可以开启训练。例如，有利用新版 SDXL 生成的 lora——针线娃娃，它可以把一些常见的形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ，可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-08
我想用自己训练的卡通形象lora生成一张元宵节放孔明灯的海报，应该怎么制作
以下是用自己训练的卡通形象 lora 生成元宵节放孔明灯海报的制作方法： 1. 关键词： 模型：dreamshaper_8 正关键词：,white,white_background,CGposterrender bsw <lora:电商新年海报 2024_v1.0:0.4>,gold,<lora:新年红包封面_v1.0:0.6>,new year,<lora:gcbottle:0.3> 中文的关键词：（杰作，高分辨率，高品质，高分辨率）中国建筑，红色主题，剪纸，中国结,纸灯笼，中国图案，金色，中国元素，红色背景 2. ControlNet 设置： 预处理器：depth_leres 模型:control_v11f1p_sd15_depth 权重：0.75 预处理器：softedge_pidinet 模型:control_v11p_sd15_softedge 权重：0.3 3. lora 资源： https://www.liblib.ai/modelinfo/bddf824e232f4124991c05a26027504d https://www.liblib.ai/modelinfo/983703dd48134e43983b84abfcb44308 第三个东方瓷器 lora 已经下架（请至 AGI 之路百度云下载） 链接:https://pan.baidu.com/s/10hYM8i2y2Li9OlT2oD1qOQ 密码:asub 您可以参考以上步骤进行制作，同时您还可以访问以下链接获取更多相关信息： 作者小红书：https://www.xiaohongshu.com/user/profile/5cfd0e600000000016029764?wechatWid=803c253b00ed4224d3a2adcd80b46ed7&wechatOrigin=menu 通往 AGI 之路小红书教程：http://xhslink.com/OOeHsy AI 春晚阶段性纪实：https://waytoagi.feishu.cn/wiki/MI0UwhfXJiRH9ak4dwxcwqPVnIh
2025-02-08
agent训练
在人工智能领域中，AI Agent 的训练具有以下特点： 传统强化学习中，Agent 训练往往需大量样本和时间，且泛化能力不足。 为突破瓶颈，引入了迁移学习：通过促进不同任务间知识和经验迁移，减轻新任务学习负担，提升学习效率和性能，增强泛化能力，但当源任务与目标任务差异大时，可能无法发挥效果甚至出现负面迁移。 探索了元学习：核心是让 Agent 学会从少量样本中迅速掌握新任务最优策略，能利用已有知识和策略调整学习路径适应新任务，减少对大规模样本集依赖，但需要大量预训练和样本构建学习能力，使开发通用高效学习策略复杂艰巨。 时间：21 世纪初至今 特点：迁移学习是将一个任务学到的知识迁移到其他任务；元学习是学习如何学习，快速适应新任务。 技术：迁移学习如领域自适应；元学习如 MAML、MetaLearner LSTM。 优点：提高学习效率，适应新任务。 缺点：对源任务和目标任务的相似性有一定要求。 此外，智谱 AI 开源的语言模型中与 Agent 相关的有： AgentLM7B：提出了 AgentTuning 方法，开源了包含 1866 个高质量交互、6 个多样化真实场景任务的 Agent 数据集 AgentInstruct，基于上述利用 Llama2 微调而成，上下文 token 数为 4K。 AgentLM13B：上下文 token 数为 4K。 AgentLM70B：上下文 token 数为 8K。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18
LLM 训练推理模型有哪些
以下是一些常见的 LLM 训练推理模型： 1. FengshenbangLM： 地址： 简介：是 IDEA 研究院认知计算与自然语言研究中心主导的大模型开源体系，开源了姜子牙通用大模型 V1，是基于 LLaMa 的 130 亿参数的大规模预训练模型，具备翻译、编程、文本分类、信息抽取、摘要、文案生成、常识问答和数学计算等能力。除姜子牙系列模型之外，还开源了太乙、二郎神系列等模型。 2. BiLLa： 地址： 简介：开源了推理能力增强的中英双语 LLaMA 模型。较大提升 LLaMA 的中文理解能力，并尽可能减少对原始 LLaMA 英文能力的损伤；训练过程增加较多的任务型数据，利用 ChatGPT 生成解析，强化模型理解任务求解逻辑；全量参数更新，追求更好的生成效果。 3. Moss： 地址： 简介：支持中英双语和多种插件的开源对话语言模型，MOSS 基座语言模型在约七千亿中英文以及代码单词上预训练得到，后续经过对话指令微调、插件增强学习和人类偏好训练具备多轮对话能力及使用多种插件的能力。 此外，Andrej Karpathy 的相关介绍中提到了 LLM 训练的一些情况，如训练过程涉及大约 10TB 的文本，通常来源于互联网的抓取，需要大量的互联网资源和一个 GPU 集群，费用大约 200 万美元。Karpathy 的视频还详细介绍了 LLM 训练的全部过程，包括预训练、有监督微调和强化学习等。
2025-02-16
RVC声音模型训练
RVC 声音模型训练是将输入音频转换为训练的声音，即变声。它对训练素材量级要求较高，最少需要 20 分钟的素材才能达到理想效果，并且可以选择是否关联音高，以区分说话和唱歌两个不同场景。 在节目《马上封喉》中，负责马季老师语音生成部分的人员提到，AI 语音主要涉及 TTS（文本转语音）和 RVC 两项技术。此次的 AI 马季主要以 gptsovits 为主。 在 AI 春晚《西游不能停》的创作过程中，尝试了用 RVC 进行 vocal 变声的两种办法，但效果均不理想。第一种方法是训练声音模型后直接变声，存在变声后 AI 味儿太重、丢失原有强调的问题；第二种方法是训练声音模型，自己录 rap 后再变声，但需要在录音时尽量模仿还原出特点和感觉，这涉及到专业配音技巧，超出了能力范围。此外，八戒和沙僧声音的训练文件丢失，效果也不理想。
2025-02-13