Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

理解LoRA训练以及参数

Answer

LoRA 训练的参数主要包括以下方面:

  1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 - 15,写实人物图片的 repeat 一般在 30 - 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 越能读懂图片,但图片精细度越高,学习步数也要越高。
  2. 循环次数:AI 将所有图片按照学习步数学习一轮就是一次循环,循环次数就是将这个过程重复的遍数。一般数值在 10 - 20 之间,次数并非越多越好,过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。
  3. 效率设置:主要控制电脑的训练速度,可保持默认值,也可根据电脑显存微调,但要避免显存过载。
  4. DIM:不同场景有不同的推荐值。如二次元一般为 32,人物常见为 32 - 128,实物、风景则≥128。DIM 为 64 时,输出文件一般为 70MB +;DIM 为 128 时,输出文件一般为 140MB + 。
  5. 样图设置:主要控制训练过程中的样图显示,“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。
  6. 并行数量:代表 AI 同一时间学习的图片数量。数值越大,训练速度越快,内存占用越大,但收敛得慢;数值越小,训练速度越慢,内存占用越小,但收敛得快。显存小于等于 6g 时,batch size 设为 1;显存为 12g 以上时,batch size 可设为 4 或 6。
  7. 质量设置:
    • 学习率:指 AI 学习图片的效率,过高会过拟合,过低会不拟合。1e - 4 实际为 1 除以 10 的 4 次方,即 0.0001;1e - 5 为 1 除以 10 的 5 次方,即 0.00001。一般保持默认,如需调整可点击数值旁的加减号。
    • 网格维度:network dim 决定出图精细度,数值越高有助于 AI 学会更多细节,但数值越大学习越慢,训练时间越长,易过拟合。
Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

我们点击“开启炼丹炉”,正式进入到丹炉内部。打开素材库可以看到5张tifa的图片图片,这是丹炉中自带的,我们先用这个来炼制第一炉丹吧。我们可以选择一个任意的基础模型,然后给我们想要炼制的lora取一个名字,即召唤词。正常来说,这个丹炉已经帮我们按照类型设定好了参数,所以你只需要点击“人物”选项卡就可以开始训练了。但是,我们这里最好还是要了解一下相关的参数,所以我们选择“自定义参数”。点击确定,我们就进入了一个参数设置的面板。接下来,我们就来了解一下,这些参数的具体含义。1首先是学习步数,指的是AI对我们每一张图片的学习次数。根据我们的训练内容,二次元图片的repeat一般在10-15,写实人物图片的repeat一般在30-50,真实世界的一些景观场景可能要达到100。repeat值越高,ai就能更好的读懂我们的图片,理论上讲图片的精细度越高,学习步数就要越高。循环次数:AI将我们的所有图片按照学习步数学习一轮就是一次循环,那循环次数就是将这个过程重复多少遍。一般数值在10-20之间,次数并不是越多越好,因为学多了就会知识固化,变成一个书呆子,画什么都和我们的样图一样,我们称之为过拟合。每一次循环我们都会得到一个炼丹结果,所以epoch为10的话,我们就训练完之后就会得到10个丹。我们总的训练步数,就是:图片张数*学习步数*循环次数=训练步数。即:5*50*10=2500步2效率设置,主要是控制我们电脑的一个训练速度。可以保持默认值,也可以根据我们电脑的显存进行微调,但是要避免显存过载。

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

DIM为64时,输出的文件一般为70MB+;DIM为128时,输出的文件一般为140MB+;|场景|DIM|备注||-|-|-||二次元<br>|32|画风越复杂,dim越高<br>||人物<br>|32-128<br>|常见主流lora大部分使用128<br>||实物、风景|≥128<br>|根据训练对象复杂度提升dim<br>|4样图设置主要是用来控制在训练过程中的样图显示,这样我们能实时观测到训练过程中的效果。sample every n steps为50,就代表着每50步生成一张样图。prompts提示词可以预设一些效果,让样图进行显示,也可以自定义。#素材处理设置好参数之后,我们来训练集当中,正常情况下,我们要炼制lora的话,大概需要20-30张质量比较高的图片。这边虽然只有5张,不过我们可以先用起来。先设置分辨率,常见的就是512*512,或者512*768。这里有一些裁剪模式,可以帮我们自动处理图片。设置好之后,我们点击预处理。等待预处理完成,就可以看到图片被处理成了脸部和上半身的聚焦图片。进入TAG编辑当中,可以看到每张图片都被自动加上了标签,可以说是非常方便了。纯英文的tag看起来还是有点费劲的,我们可以打开这个翻译设置来开启双语tag。我们进入百度翻译开放平台,注册一个账号,点击“通用文本翻译”、点击“免费体验通用文本翻译API”。

【Lora炼丹术】从零开始,炼制你的第一个LoRA(1)

并行数量:代表了AI在同一时间学习多少张图片。数值越大,训练速度越快,内存占用越大,但收敛得慢。反之,数值越小,训练速度越慢,内存占用越小,但收敛得快。以512*512的图片为例,显存小于等于6g,batch size就老老实实地设置为1就行了;如果显存为12g以上的话,batch size就可以设置为4或者6。这里提到一个收敛的概念,就是说你最后生成的图片,和原图越像,就说明收敛得越好。训练速度越快的话,就像一个人在快速地翻书,虽然很快翻完了,但是未必能全记得住,所以并不是训练速度越快越好。在一般情况下,我们增加并行数量,同时也会增加一些循环次数,让AI多看几遍书。3质量设置主要是用来影响产出LORA的一个最终质量,当然最终lora的好坏还需要通过XYZ去测试和看实际的loss值。学习率指的是AI学习图片时的效率,学习率太高会出现过拟合,图片和素材太相似;学习率低会出现不拟合,图片和素材没关系。1e-4是一种程序里的数学表达,实际上就是1除以10的4次方,即:1e-4=1/10000=0.00011e-5=1/100000=0.00001这三个数值呢,一般情况下我们保持默认就可以,如果想要调整的话,点击数值旁边的加减号就可以了,很直观。网格维度:network dim决定了出图的精细度,就像细分网格一样。数值越高,会有助于AI学会更多的细节。同样,也不是数值越大越好,数值越大,学习越慢,训练时间越长,容易过拟合。DIM为32时,输出的文件一般为40MB+;

Others are asking
layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?
layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分,也可能是 Lora 模型。 在 AI 模型中: 基础模型(英文名 Checkpoint)是生图必需的,任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型,可以理解为基础模型的小插件,生图时可有可无,但在控制面部、材质、物品等细节方面有明显价值。 同时,VAE 是个编码器,功能类似于滤镜,可调整生图的饱和度。
2025-01-31
想知道lora是什么,怎么使用
LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法: LoRA 可以固定图像的特征,包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA,使用方法和平常类似,但需要注意将 cfg 值调小,一般设置为 1,步数设置根据所使用的 LoRA 步数为准。 在实际使用中,以 Stable Diffusion 为例,点击“生成”下面的第三个按钮,会弹出新的选项框,找到 Lora 选项,就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ,会自动添加到关键词的文本框里面,Lora 可以叠加使用,但新手不建议使用太多,每个 Lora 后面的数字用于调整权重,一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。 此外,LoRA 具有极大的商用价值,比如“墨心”的 LoRA 可以把图片变成水墨风格,盲盒 LoRA 可以生成 2.5D 的卡通小人角色,还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。
2025-01-23
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 越能读懂图片,但图片精细度越高,学习步数也要越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮就是一次循环,循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间,次数并非越多越好,过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置:主要控制电脑的训练速度,可保持默认值,也可根据电脑显存微调,但要避免显存过载。 4. DIM:不同场景有不同的推荐值。如二次元一般为 32,人物常见为 32 128,实物、风景则≥128。DIM 为 64 时,输出文件一般为 70MB +;DIM 为 128 时,输出文件一般为 140MB + 。 5. 样图设置:主要控制训练过程中的样图显示,可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图,prompts 提示词可预设效果或自定义。 6. 并行数量:代表 AI 同一时间学习的图片数量。数值越大,训练速度越快,内存占用越大,收敛得慢;数值越小,训练速度越慢,内存占用越小,收敛得快。以 512×512 的图片为例,显存小于等于 6g,batch size 设为 1;显存为 12g 以上,batch size 可设为 4 或 6。增加并行数量时,通常也会增加循环次数。 7. 质量设置: 学习率:指 AI 学习图片的效率,过高会过拟合,过低会不拟合。1e 4 即 1 除以 10 的 4 次方,等于 0.0001;1e 5 即 1 除以 10 的 5 次方,等于 0.00001。一般保持默认,如需调整可点击数值旁的加减号。 网格维度:network dim 决定出图精细度,数值越高有助于 AI 学会更多细节,但数值越大学习越慢,训练时间越长,易过拟合。
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息: LoRA 微调: 微调脚本: 脚本见: 具体实现代码见: 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 全量参数微调: 微调脚本: 脚本见: 具体实现代码见: 加载微调模型: 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,关于微调还有以下补充信息: 微调模型意味着改变模型的权重,现在微调变得越来越容易,因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段,模型大部分保持基础模型状态,效果好且成本低。 微调技术上更为复杂,需要更多技术专业知识,包括人工数据合同承包商的数据集和复杂的合成数据流程,会减慢迭代周期。 SFT(有监督的微调)相对简单明了,RLHF(基于人类反馈的强化学习)则是非常研究性的领域,难度大,不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式,还发展出了很多种高效的微调方法,如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式,主要思路是训练一个参数量较小的分支,然后再与底模合并,从而在模型中注入新的知识。
2025-01-06
flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导: 打标环节: 选择基础大模型,如“麦橘写实”,并为 lora 命名。 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。 参数调整环节: 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节: 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。 此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 1 和 2 的效果不同,加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
如果让提示词变成模板, 每次输入需要的参数就好。
要将提示词变成模板,每次输入需要的参数即可。以下是一些相关的方法和要点: 在 Stable Diffusion 中,下次作图时先选择模板,点击倒数第二个按钮可快速输入标准提示词。描述逻辑通常包括人物及主体特征(如服饰、发型发色、五官、表情、动作)、场景特征(室内室外、大场景、小细节)、环境光照(白天黑夜、特定时段、光、天空)、画幅视角(距离、人物比例、观察视角、镜头类型)、画质(高画质、高分辨率)、画风(插画、二次元、写实)等,通过这些详细提示词能更精确控制绘图。新手可借助功能型辅助网站书写提示词,如 http://www.atoolbox.net/ (通过选项卡快速填写关键词信息)、https://ai.dawnmark.cn/ (每种参数有缩略图参考),还可去 C 站(https://civitai.com/)抄作业,复制每张图的详细参数粘贴到正向提示词栏,注意图像作者使用的大模型和 LORA,也可选取部分好的描述词使用。 简单的提示词模板最终目标是把需求说清楚,如 GPTs 提示词模板:Act like a 输入最终结果),并给出了示例。 提示词母体系列(2)中,在掌握人物设计整体框架后编写提示词,可借鉴替换方式替换模板。模板构成包括:先看约束部分,规则放顶部加强约束,底部也有相应约束,整个约束包裹具体提示词以提示模型专注性;模板结构有基本信息(姓名、性别、年龄、职业)、外貌特征、背景和经历、性格和价值观、爱好特长和语言风格、人际关系和社交活动、未来规划和目标。
2025-01-28
Roo Code 的API Provider 参数哪里设置
要设置 Roo Code 的 API Provider 参数,您可以按照以下步骤进行操作: 1. 首先,进入 deepseek 的官网(https://www.deepseek.com/)。 2. 进入右上角的 API 开放平台。早期 deepseek 是有赠送额度,如果没有赠送的余额,可以选择去充值,支持美元和人民币两种结算方式,以及各种个性化的充值方式,并创建一个 API key。注意,API key 只会出现一次,请及时保存下来。 3. 接下来,以 cursor 作为代码编辑器为例,下载安装 cursor(https://www.cursor.com/),在插件页面搜索并安装 Roocline。安装完后,打开三角箭头,就可以看到 RooCline,选中 RooCline,并点击齿轮,进入设置。 4. 依次设置配置基本参数: API Provider:选择 DeepSeek。 API Key:填入已创建的 key。 模型:选择 DeepSeekreasoner。 5. 进行语言偏好设置。 6. 小贴士:记得把 HighRisk 选项都打开,这样 AI 才能帮您自动生成文件。最后做完所有不要忘记点击 Done 保存修改。在聊天框输入产品需求,输入需求后点击这个 blingbling 的星星,优化提示词。最终,在 deepseekr1 的加持下基本上是一遍过,各种特效效果交互逻辑也都正确。画面也算优雅,交互效果也不错,是您想要的。
2025-01-26
全量微调与少量参数微调
在参数规模的角度,大模型的微调分为全量微调(FFT,Full Fine Tuning)和少量参数微调(PEFT,ParameterEfficient Fine Tuning)两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑,PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程,通过调整模型本身的参数,而非像提示工程和 RAG 那样仅更改提示,能大幅提高模型在特定任务中的性能。微调有两大好处:一是提高模型在特定任务中的性能,可输入更多示例,经过微调的模型可能会失去一些通用性,但对于特定任务会有更好表现;二是提高模型效率,实现更低的延迟和成本,可通过专门化模型使用更小的模型,且只对输入输出对进行训练,舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现,LoRA 微调脚本见:。 在微调的超参数方面,选择了适用于一系列用例的默认超参数,唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型,可能需要配置的内容包括:model(要微调的基本模型的名称,可选择“ada”“babbage”“curie”或“davinci”之一)、n_epochs(默认为 4,训练模型的时期数)、batch_size(默认为训练集中示例数量的 0.2%,上限为 256)、learning_rate_multiplier(默认为 0.05、0.1 或 0.2,具体取决于 final batch_size)、compute_classification_metrics(默认为假,若为 True,为对分类任务进行微调,在每个 epoch 结束时在验证集上计算特定于分类的指标)。要配置这些额外的超参数,可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程:
2025-01-06
全量微调与少量参数微调
在参数规模的角度,大模型的微调主要分为全量微调(FFT,Full Fine Tuning)和少量参数微调(PEFT,ParameterEfficient Fine Tuning)两条技术路线。 全量微调是对全量的模型参数进行全量的训练。全量参数微调脚本见:。 少量参数微调则只对部分模型参数进行训练。从成本和效果的角度综合考虑,PEFT 是目前业界比较流行的微调方案。OpenAI 官方微调教程: 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程,通过调整模型本身的参数,而不是像提示工程和 RAG 那样仅仅更改提示,来大幅提高模型在特定任务中的性能。把微调想象成把通用工具打磨成精密仪器。 微调有两大好处: 1. 提高模型在特定任务中的性能。微调意味着可以输入更多的示例。可以在数以百万计的代币上进行微调,而少量学习提示仅限于数以万计的代币。经过微调的模型可能会失去一些通用性,但对于其特定任务而言,应该期待它有更好的表现。 2. 提高模型效率。LLM 应用程序的效率意味着更低的延迟和更低的成本。实现这一优势有两种方法。通过专门化模型,可以使用更小的模型。此外,由于只对输入输出对进行训练,而不是对完整的提示及其任何提示工程技巧和提示进行训练,因此可以舍弃示例或指令。这可以进一步改善延迟和成本。 在微调中,超参数的选择也很重要。我们选择了适用于一系列用例的默认超参数,唯一需要的参数是训练文件。但调整用于微调的超参数通常可以产生产生更高质量输出的模型。特别是,可能需要配置以下内容: 1. model:要微调的基本模型的名称。可以选择“ada”、“babbage”、“curie”或“davinci”之一。要了解有关这些模型的更多信息,请参阅文档。 2. n_epochs 默认为 4。训练模型的时期数。一个纪元指的是训练数据集的一个完整周期。 3. batch_size 默认为训练集中示例数量的 0.2%,上限为 256。批量大小是用于训练单个正向和反向传递的训练示例数。总的来说,我们发现更大的批次大小往往更适用于更大的数据集。 4. learning_rate_multiplier 默认为 0.05、0.1 或 0.2,具体取决于 final batch_size。微调学习率是用于预训练的原始学习率乘以该乘数。建议使用 0.02 到 0.2 范围内的值进行试验,以查看产生最佳结果的值。根据经验,我们发现较大的学习率通常在较大的批量大小下表现更好。 5. compute_classification_metrics 默认为假。如果为 True,为了对分类任务进行微调,在每个 epoch 结束时在验证集上计算特定于分类的指标(准确性、F1 分数等)。要配置这些额外的超参数,请通过 OpenAI CLI 上的命令行标志传递它们。 LoRA 微调脚本见:加载预训练模型参数和微调模型参数,以下示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。
2025-01-06
如何训练一个自己的模型用来识别不同的图片类别
训练自己的模型来识别不同的图片类别可以参考以下方法: 对于扩散模型(如 Midjourney): 强大的扩散模型训练往往消耗大量 GPU 资源,推理成本高。在有限计算资源下,可在强大预训练自动编码器的潜在空间中应用扩散模型,以在复杂度降低和细节保留间达到平衡,提高视觉保真度。引入交叉注意力层可使其成为灵活的生成器,支持多种条件输入。 Midjourney 会定期发布新模型版本以提升效率、连贯性和质量。最新的 V5 模型具有更广泛的风格范围、更高的图像质量、更出色的自然语言提示解读能力等。 用 SD 训练贴纸 LoRA 模型: 对于原始形象,可通过 MJ 关键词生成不同风格的贴图,总结其特征。注意关键词中对颜色的限制,保持正面和负面情绪数据比例平衡。若训练 25626 大小的表情包,初始素材可能够用,若训练更高像素图片,可能需进一步使用 MJ 垫图和高清扩展功能。 进行高清化时,从 256 到 1024 分辨率,输入左图并加入内容和风格描述,挑选合适的图片。 多模态模型(以 StableDiffusion 为例): 多模态模型包括文生图、图生图、图生视频、文生视频等,底层逻辑通常从生图片源头开始。 扩散模型(如 StableDiffusion 中使用的)的训练是对图片加减噪点的过程。先对海量带有标注文字描述的图片逐渐加噪点,模型学习每一步图片向量值和文字向量值的数据分布演变规律,完成训练。输入文字后,模型根据文字向量指导充满噪点的图片减噪点生成最终图片。扩散模型加减噪点方式与大脑构思图片方式类似,且多模态模型会关联文字向量值和图片像素点向量值。
2025-01-31
如何对扣子智能体做专属训练
对扣子智能体进行专属训练时,需要注意以下要点: 1. 跳转设置:扣子在节点切换提供了独立和非独立两种识别模式。独立识别模式中每个节点都有一个独立识别模型,非独立模式则直接使用当前智能体模型进行判断,实际使用中推荐独立模式。 2. 独立模式的选择:独立模式有两种选择。第一种是面对通用指令时,选择已经训练好的、专门用于节点切换的大型模型,其优点是经过特定训练,无需额外操心设计。第二种是在遇到非常复杂的情景时,使用自定义的大型模型,可根据需求定制模型和编写特定提示词以适应复杂交互场景,但实际测试效果不理想,所以推荐使用第一种。 3. 关键注意点:在使用专门训练的意图识别模型进行节点切换时,要特别注意两个关键点。一是每个智能体的用途必须清晰明确,在设计和实现时要清楚标注其功能和目的,以确保系统能准确识别和响应用户意图。二是智能体的名称非常重要,应清晰、易于识别,便于系统识别和记忆。
2025-01-27
预训练
以下是关于预训练的相关内容: Atom 系列模型的预训练: Atom 系列模型包含 Atom7B 和 Atom13B,基于 Llama2 做了中文能力的持续优化。Atom 大模型在 Llama2 的基础上,采用大规模的中文数据进行持续预训练,数据来源广泛,包括百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重,筛选出超过 1T token 的高质量中文数据,持续不断加入训练迭代中。为了提高中文文本处理的效率,针对 Llama2 模型的词表进行了深度优化,扩展词库至 65,000 个单词,提高了中文编码/解码速度约 350%,还扩大了中文字符集的覆盖范围,包括所有 emoji 符号。Atom 大模型默认支持 4K 上下文,利用位置插值 PI 和 Neural Tangent Kernel(NTK)方法,经过微调可以将上下文长度扩增到 32K。 GPT 助手的预训练: 预训练阶段是 GPT 训练中计算工作基本发生的地方,占用了训练计算时间和浮点运算的 99%。在这个阶段,需要收集大量的数据,如 Common Crawl、C4、GitHub、维基百科、图书、ArXiv、StackExchange 等,并按照一定比例采样形成训练集。在实际训练前,需要进行预处理步骤 Tokenization(分词/标记化),将原始文本翻译成整数序列。 OpenAI o1 的预训练: GPT 4 等 LLM 模型训练一般由“预训练”和“后训练”两个阶段组成。“预训练”通过 Next Token Prediction 从海量数据吸收语言、世界知识、逻辑推理、代码等基础能力,模型规模越大、训练数据量越多,则模型能力越强。
2025-01-24
怎么做tts模型训练
以下是关于 TTS 模型训练的相关内容: 使用 GPTSoVITS 进行 TTS 模型训练: GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您,1 分钟的声音数据就能训练出一个高质量的 TTS 模型,完美克隆您的声音。 主要特点: 零样本 TTS:输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练:只需 1 分钟的训练数据即可微调模型,提高声音相似度和真实感。模仿出来的声音会更加接近原声,听起来更自然。 跨语言支持:支持与训练数据集不同语言的推理,目前支持英语、日语和中文。 易于使用的界面:集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具,帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统:项目可以在不同的操作系统上安装和运行,包括 Windows。 预训练模型:项目提供了一些已经训练好的模型,您可以直接下载使用。 GitHub: 视频教程: TTS 模型训练的音库制作和文本前端: 音频录制: 音频的录制对合成语音的表现较为重要,较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致,无混响、背景噪音;原始录音不可截幅。 如果希望合成出来的语音干净,则要删除含口水音、呼吸音、杂音、模糊等,但对于目前的端到端合成模型,有时会学习到在合适的位置合成呼吸音、口水音,反而会增加语音自然度。 录音尽可能不要事先处理,语速的调节尚可,但调节音效等有时会造成奇怪的问题,甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准,购买专业麦克风,并保持录音环境安静即可。 在音库录制过程中,可尽早提前尝试声学模型,比如音库录制 2 个小时语音后,就可尝试训练基线语音合成系统,以防止录音不符合最终的需求。 语料整理: 检查文本和录制的语音是否一一对应,录制的音频本身一句话是否能量渐弱,参与训练的语音前后静音段要保持一致,能量要进行规范化。 可使用预训练的语音活动检测(Voice Activity Detection,VAD)工具,或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具,比如统一所有语音的整体能量,这将有助于声学模型的收敛。当然,在声学模型模型训练时,首先就要对所有语料计算均值方差,进行统一的规范化,但是这里最好实现统一能量水平,防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤: 前置数据获取处理: 选择音频,开启切割。 有噪音时,进行降噪处理。 降噪处理完成,开启离线 ASR。 GPTSowitsTTS: 训练集格式化:开启一键三连,耐心等待即可。 微调训练:开启 SoVITS 训练和 GPT 训练。 推理:开始推理 刷新模型 选择微调后的模型 yoyo。 成功:出现新的 URL,说明您自己的声音微调完毕,然后可以进行使用。 声音复刻:开启声音复刻之旅,实现跨多语种语言的声音。 希望以上内容对您有所帮助。
2025-01-24
如何用最简单的方法,训练一个自有数据的大模型
训练自有数据的大模型可以通过以下步骤实现: 1. 了解大模型的概念:大模型是输入大量语料,让计算机获得类似人类的“思考”能力,能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程,包括找学校(需要大量 GPU 等计算资源)、确定教材(需要大量数据)、找老师(选择合适算法)、就业指导(进行微调)、搬砖(推导)。在 LLM 中,Token 被视为模型处理和生成的文本单位,会对输入进行分词并形成词汇表。 2. 基础训练步骤: 进入厚德云模型训练数据集,如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。可以上传包含图片+标签的 zip 文件,也可单独上传照片,但建议提前打包。Zip 文件里图片名称与标签文件应当匹配,上传后等待一段时间确认创建,返回上一个页面等待上传成功并可点击详情检查,能预览数据集的图片及对应的标签。 Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本。选择数据集,触发词可有可无,模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,可默认 20 重复次数和 10 轮训练轮数,按需求选择是否加速,点击开始训练,会显示所需消耗的算力,等待训练完成,会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有生图,点击可自动跳转到使用此 lora 生图的界面,点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤: 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署,根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础,如开源的预训练模型 BERT、GPT 等,也可自行训练基础模型。 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调训练,优化模型结构和训练过程以提高性能。 部署和调试模型,将训练好的模型部署到生产环境,对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护,大模型涉及大量数据和隐私信息,需要重视安全性和合规性。 总的来说,训练自有数据的大模型需要综合考虑多方面因素,包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法,并注意优化各个环节以提高模型性能和应用效果。
2025-01-24
如何训练自己的ai
训练自己的 AI 可以从以下几个方面考虑: 1. 像在医疗保健领域一样,创建模型生态系统,让 AI 像优秀的从业者那样学习。顶尖人才的培养通常从多年的密集信息输入和正规教育开始,再通过学徒实践从出色的实践者那里学习,获取书本外的信息。对于 AI ,应通过堆叠模型训练,而非仅依靠大量数据和生成模型。例如先训练基础学科模型,再添加特定领域数据点。 2. 部署和训练自己的 AI 开源模型的主要步骤: 选择合适的部署方式,如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等,根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源,确保有足够的训练数据覆盖目标应用场景,并准备足够的计算资源,如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础,如开源的 BERT、GPT 等,也可自行训练基础模型。 针对目标任务进行模型微调训练,根据具体应用场景对预训练模型进行微调,优化模型结构和训练过程以提高性能。 部署和调试模型,将训练好的模型部署到生产环境,并进行在线调试和性能优化。 注意安全性和隐私保护,重视大模型涉及的大量数据和隐私信息的安全性和合规性。 3. 学习拆解复杂任务,先想清楚如何拆解: 一步步思考,包括自我反省,检查答案是否正确、是否符合法律/道德等。 运用组合拳,如 Tree of Thoughts、Algorithm of Thoughts、Graph of Thoughts 等。 学会使用工具,如搜索引擎(警惕“幻觉”)、RAG(提供资料库/让其上网搜)、写公式 Program of Thought 、上千个工具等,并自己学习使用工具。
2025-01-23
如何理解DeepSeek
DeepSeek 是一个具有以下特点和表现的工具或产品: 1. HiDeepSeek 是为解决 AI 回答过程不透明的问题而设计的工具。它能让 AI 像人类交流一样展示思考过程,例如在回答复杂问题时逐步展开分析,这种设计在技术层面通过特别规则实现,使 AI 回答更可信、易理解,可应用于如老师准备教案等场景。 2. 以小成本实现媲美领先 AI 产品的性能,并在全球主要市场 App Store 登顶。华尔街分析师认为其或改变科技格局,降低 AI 行业进入门槛。在实际使用中,中文场景表现优秀,日常写作和表达习惯贴近人类,但专业论文总结略弱,数学能力不错,编程能力逊于 GPT,采用 GRPO 算法替代传统 PPO,提升语言评价灵活性与训练速度。 3. 不是“中国式创新”的产物,早在 2024 年 5 月 DeepSeekV2 发布时,就以多头潜在注意力机制(MLA)架构的创新在硅谷引发小范围轰动。
2025-02-02
国产Ai中哪个的英语理解能力和翻译能力最强
目前国产 AI 中,在英语理解和翻译能力方面,不同的产品各有特点。 通义万相在中文理解和处理方面表现出色,作为阿里生态系统的一部分,操作界面简洁直观,用户友好度高,且目前免费,每天签到获取灵感值即可使用。但在处理非中文语言或国际化内容方面,可能不如一些国际 AI 图像生成工具出色,由于模型训练数据可能主要基于中文环境,在处理多元文化内容时可能存在偏差。 可灵是由快手团队开发的 AI 应用,主要用于生成高质量的图像和视频,图像质量非常高,但价格相对较高。 需要注意的是,对于英语理解和翻译能力的评价会因具体的应用场景和需求而有所不同。
2025-01-29
一句话向完全不了解AI的人介绍什么是AI,并且让他理解什么是AI
AI 是一种模仿人类思维,可以理解自然语言并输出自然语言的存在。对于不具备理工科背景的人来说,可以把它当成一个黑箱。它就像某种可以理解人类文字但不是人的魔法精灵或器灵,其生态位是似人而非人的。 AI 包含多种技术和概念,比如: 1. 生成式 AI 生成的内容称为 AIGC。 2. 机器学习是电脑找规律学习,包括监督学习(有标签的训练数据,学习输入和输出之间的映射关系,包括分类和回归)、无监督学习(学习的数据没有标签,算法自主发现规律,如聚类)、强化学习(从反馈里学习,最大化奖励或最小化损失,类似训小狗)。 3. 深度学习是一种参照人脑有神经网络和神经元的方法(因为有很多层所以叫深度),神经网络可用于监督学习、无监督学习、强化学习。 4. 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 5. LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制处理序列数据,比 RNN 更适合处理文本的长距离依赖性。
2025-01-17
你现在是一个工作流方面的专家 我需要你用最简单的方法让我这个小白理解工作流是怎么工作的
工作流是一种通过可视化方式对插件、大语言模型、代码块等功能进行组合,以实现复杂、稳定业务流程编排的方法。 工作流由多个节点构成,节点是基本单元,包括大语言模型 LLM、自定义代码、判断逻辑等。默认包含 Start 节点(工作起始,可包含用户输入信息)和 End 节点(工作末尾,返回运行结果)。 不同节点可能需要不同输入参数,分为引用前面节点的参数值和自定义的参数值。扣子提供了基础节点,还可添加插件节点或其他工作流。 例如,在角色设计变体生成工作流中,在不改变角色某些特定样式的基础上仅改变设计,能防止提示词外流,还可使用图片引导特定部分的风格和样式。 在智能体“竖起耳朵听”的编排中,插件像工具箱,工作流像可视化拼图游戏,将各种功能组合,满足多步骤、高要求的任务。
2025-01-16
如何用一个摄像头记录卷子,通过AI来识别做作业过程中的知识点理解偏差,给出改正措施并记录到错题本
目前暂时没有关于如何用一个摄像头记录卷子,并通过 AI 来识别做作业过程中的知识点理解偏差、给出改正措施并记录到错题本的相关内容。但从理论上讲,要实现这个目标,大致需要以下步骤: 首先,需要通过摄像头获取清晰的卷子图像。这可能需要合适的摄像头位置和光线条件,以确保图像质量。 其次,利用图像识别技术对卷子内容进行识别和分析。这需要训练有素的 AI 模型,能够准确识别题目、答案和书写内容。 然后,通过与预设的知识点和正确答案进行对比,判断知识点的理解偏差。 最后,根据偏差情况,利用相关的教育算法和知识储备,给出改正措施,并将相关内容记录到错题本中。 但要实现这一整套流程,还面临着许多技术挑战和实际操作的困难,例如图像识别的准确性、知识点的精准分析等。
2025-01-16
视觉理解技术最新动态和趋势
以下是视觉理解技术的最新动态和趋势: 一、视觉分析技术 1. Transformer 视觉模型优点 2. Transformer 视觉模型的局限 二、图像语言模型 三、视频语言模型 四、LLM 多模态 Agent 五、应用场景 1. 多模态内容理解与处理 2. 智能交互与自动化 3. 具身智能 4. 未来发展趋势(2024 ?) 5. 视频生成模型 mapping 六、未来发展方向 1. 技术路径而言:利用预训练 LLMs 进行指令调整 最初,多模态融合方法常采用预训练的目标检测器,如 ViLBERT、VisualBERT 和 UnicoderVL,通过提取图像特征和执行交叉模态预训练任务,为后续的图像 文本任务奠定基础。 随着 ViT 的出现和普及,更多方法开始利用 ViT 作为图像编码器,强调大规模预训练,以提高模型的性能和泛化能力,例如 Flamingo。 近期,向多模态 LLMs 发展,从进行预训练到向指令调整(instruction tuning)转变,如 LLaVA 和 MiniGPT4,融合视觉和语言信息,能更有效地完成视觉理解相关任务,提升模型对于指令的理解能力和零样本性能,更好地泛化到未见过的任务和领域。 2. 应用场景而言:赋予机器理解多模态的能力 此外,李飞飞在 2015 年的 TED 演讲《我们怎么教计算机理解图片?》中提到了计算机视觉方面的研究进展,指出虽然在科技上取得了很多进步,但在计算机视觉方面仍存在一些问题,如自动驾驶车辆的视觉敏锐度、向盲人传递画面、无人机的视觉技术等。
2025-01-10