Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导

Answer

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导:

打标环节:

  • 选择基础大模型,如“麦橘写实”,并为 lora 命名。
  • 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。
  • 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。
  • 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。

参数调整环节:

  • 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。

炼丹环节:

  • 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。

此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 -1 和 -2 的效果不同,加 Lora 时某些 Lora 可能更适合 -2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。

Content generated by AI large model, please carefully verify (powered by aily)

References

【Lora炼丹术】国庆节去哪玩?炼个丹儿玩!人像lora炼制(2)

选一个基础大模型,我使用的是“麦橘写实”,然后填一个lora的名字。准备好之后,将照片导入到丹炉,选择适合的分辨率,可以勾选“脸部加强训练”,然后点击“预处理”。其实这里有一个自动的裁剪模式,但是我试过觉得自动的不太靠谱,所以还是手动裁吧。预处理之后,就会出现一个脸部的文件夹,和一个整体的文件夹,并且每一张照片都已经自动打好了tag标签。我们可以给整体添加统一的标签,也可以单独给每一张修改标签。这个标签的作用主要是帮助AI去理解我们的图片,告诉它画面里面有什么。这里要注意的是,如果你想让这个特征成为人物的固定的效果,你就不要填写这个关键词。比如我不描写他的发型,只描写他的头发颜色,那么后期出图的时候,他的发型就不能被改变,但是头发颜色却可以被改变。这个过程挺漫长的,每一张图片都要仔细检查,打标的好坏会影响到后面人物lora是否有比较好的泛化性。所以如果你想让你的人物能多一些变化,就尽量描述的详细一些吧。[heading1]#03[heading1]参数调整[content]前面两个环节比较重要,这个参数调节其实就可以佛系一点了。大部分参数是固定的,主要的几个按照我之前讲解过的人物参数配置一遍就可以了,后期再根据生成的结果来调整。设置好之后就可以开始训练了。[heading1]#04[heading1]炼丹[content]18张脸部图片,20张整体图片,各训练50步,循环训练10次,并行步数为1,所以训练总步数为19000,训练时长为45分钟,loss值为0.0769。从数值上来看是个不错的丹,但具体好坏还是要我们自己通过测试来判断,毕竟像不像只有我们自己知道。[heading1]#05

教程:24_大寒

模型:majicmixRealistic_v7生成的尺寸和你的草稿图保持一致(cn垫图512x768,高清修复2倍,重绘幅度0.35)关键词和ControlNet参数每张不一样都进行了调整。以第一张为例正关键词:(masterpiece,highres,high quality,high resolution),(ice:1.1),snow,cold,bare branches hung with red berries covered in snow,the vista is the snowy mountains,cool,no humans,outdoors,simple_background,photography,authentic photos,blurry,<lora:ice cake_20231126200433:0.2>,<lora:Ice and Snow World_20231223195220:0.5>,ice steps,负面关键词(NSFW:1.1),(worst quality:2),(low quality:2),(normal quality:2),watermark,easynegative,ng_deepnegative_v1_75t,fuzzy,gaussian blur,中文关键词:(杰作、高分辨率、高品质、高分辨率)、冰:1.1,雪,寒冷,光秃秃的树枝上挂满了雪覆盖的红色浆果,远景是雪山,凉爽,没有人类,户外,简单的背景,摄影,真实照片,模糊,ControlNet设置:预处理器:invert(from white bg&black line)模型:control_v11f1p_sd15_depth[cfd03158]权重:0.85黑白字体设计(字体设计来源于:ཉི叶承欢Lorahttps://www.liblib.art/modelinfo/258a9520d8764157b3cbe0e1e3cbf30chttps://www.liblib.art/modelinfo/8d683e30f82e4fb386648661b0a05b97

8月13日ComfyUI共学

[heading2]总结关于Lora串联和图像放大模型的讨论Lora串联:多个Lora串联时左右顺序不影响结果,可复制并点对点连接。CLIP层调整:CLIP层-1和-2的效果不同,加Lora时某些Lora可能更适合-2。Lora作用:Lora可用于生成底模无法画出的内容,是一种经济实用的模型微调方式。打断渲染跑图:在运行中点击取消可打断正在渲染跑的图。图像放大模型:通过up scale image using model节点放大图像,可选择放大模型,用resize节点调整尺寸,再用编码器和采样器处理。采样原因:放大模型直接放大的图像效果不佳,需再次采样增加细节。关于飞桨使用中节点添加及相关问题的讨论添加飞桨缺失节点的方法:可以将工作流拖入查看标红节点,通过管理器安装缺失节点,也可从GitHub获取节点包放入文件管理系统。图像放大方式的效果差异:通过专门训练的放大模型放大图像效果更好,直接像素放大效果不佳。采样器和调度器参数设置:建议参考模型作者推荐的参数,并结合自己的调试来寻找最佳参数,推荐了o2a、DMP佳佳2M采样器和normal、cars调度器。Web UI模型管理的备注问题:目前未找到较好的给模型加备注的节点,靠改模型文件夹名字备注。人物一致性控制:控制人物在多场景、多个姿势下的一致性有很多方法,课程后期会介绍。多张图输出的显示问题:一次产出多张图在预览窗口目前不能并排显示。Lora的刷新:将Lora丢到文件夹后,多点几次刷新即可,Web UI中Lora库有刷新按钮。进阶学习途径:提到一些全球交流频道,如Confii生态大会相关频道。

Others are asking
flux1-depth-dev模型存放路径
flux1depthdev 模型的存放路径如下: 1. 下载 flux1depthdev 模型放到 ComfyUI/models/diffusion_models/文件夹中。 夸克网盘:链接:https://pan.quark.cn/s/571d174ec17f 百度网盘:见前文 2. 也可以将 depth lora 模型存放到 ComfyUI/models/loras 文件夹中。 depth lora 模型:https://huggingface.co/blackforestlabs/FLUX.1Depthdevlora 3. 百度网盘中也有相关模型: 链接:https://pan.baidu.com/s/10BmYtY3sU1VQzwUy2gpNlw?pwd=qflr 提取码:qflr
2025-02-05
flux inpainting 是怎么基于diffusersion train的inpainting
Flux inpainting 基于 diffusion train 的 inpainting 通常涉及以下方面: 训练扩散模型在特定的表示上,能够在降低复杂度和保留细节之间达到最优平衡点,显著提高视觉保真度。在模型架构中引入交叉注意力层,使其成为强大且灵活的生成器,能够处理诸如文本和边界框等一般条件输入,实现基于高分辨率卷积的合成。 关于 Midjourney 的训练 prompt 方面: Midjourney 会定期发布新的模型版本以提高效率、连贯性和质量。最新模型是默认的,但也可以通过 version 或 v 参数或使用 /settings 命令选择其他模型版本。不同模型在不同类型的图像上表现出色。Midjourney V5 模型是最新且最先进的模型,于 2023 年 3 月 15 日发布。使用该模型可在 prompt 末尾添加 v 5 参数,或通过 /settings 命令选择 MJ Version 5。该模型具有很高的连贯性,擅长解释自然语言 prompt,分辨率更高,并支持诸如 tile 等高级功能。V5 基础模型具有更广泛的风格范围、对 prompt 响应更灵敏、图像质量更高(分辨率提高 2 倍)、动态范围改进、图像细节更丰富且更准确、文本干扰更少等新特点,还支持 tile 参数实现无缝平铺(实验性)、支持大于 2:1 的 ar 宽高比(实验性)、支持 iw 权衡图像 prompt 与文本 prompt 以及特定的风格和 prompt 方式。
2025-01-22
FLUX模型训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 1. 模型准备: 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型存放位置不限,但要知晓路径;训练时建议使用 flux1dev.safetensors 和 t5xxl_fp16.safetensors 版本。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 数据集准备: 建议使用自然语言,与之前 SDXL 的训练类似。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 。 若未准备数据集,此路径中有试验数据集可直接使用。 4. 运行训练:约 1 2 小时即可完成训练。 5. 验证和 lora 跑图:若有 comfyUI 基础,在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点,自行选择 Lora 并调节参数。 6. 修改脚本路径和参数: 若显卡为 16G,右键 16G 的 train_flux_16GLora 文件;若显卡为 24G 或更高,右键 24G 的 train_flux_24GLora 文件。 用代码编辑器打开,理论上只需修改红色部分,包括底模路径、VAE 路径、数据集路径、clip 路径和 T5xxl 路径。注意路径格式,避免错误。蓝色部分为备注名称,可改可不改。建议经验丰富后再修改其他深入参数,并做好备份管理。
2025-01-20
flux提示词示例
以下是一些关于 flux 提示词的示例: 在不同主题方面,如文本概括(https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E6%A6%82%E6%8B%AC)、信息提取(https://www.promptingguide.ai/zh/introduction/examples%E4%BF%A1%E6%81%AF%E6%8F%90%E5%8F%96)、问答(https://www.promptingguide.ai/zh/introduction/examples%E9%97%AE%E7%AD%94)、文本分类(https://www.promptingguide.ai/zh/introduction/examples%E6%96%87%E6%9C%AC%E5%88%86%E7%B1%BB)、对话(https://www.promptingguide.ai/zh/introduction/examples%E5%AF%B9%E8%AF%9D)、代码生成(https://www.promptingguide.ai/zh/introduction/examples%E4%BB%A3%E7%A0%81%E7%94%9F%E6%88%90)、推理(https://www.promptingguide.ai/zh/introduction/examples%E6%8E%A8%E7%90%86),通过示例介绍说明如何使用精细的提示词来执行不同类型的任务。 在 Claude2 中文精读中,构建提示词时可以添加示例(可选)。您可以通过在提示词中加入一些示例,让 Claude 更好地了解如何正确执行任务。提供示例的方式可以是以先前对话的形式,用不同的对话分隔符,例如用“我”代替“Human:”,用“你”代替“Assistant:”;也可以直接提供例子。决定哪种方法更有效取决于具体任务,建议尝试两种方法以确定更好的结果。 在市场营销类中,如赛博佛祖(Kyle)的示例,其角色设定为熟悉佛教经典、境界很高的佛学大师,能为对人生感到迷茫的人指引方向。具体设定包括引用相关佛教经典语录并解释含义,提供有效建议等,并给出了详细的约束条件和链接地址()。
2025-01-20
Flux 的lora模型训练教程
以下是 Flux 的 Lora 模型训练教程: 1. 模型准备: 下载所需模型,如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意: 不使用时模型存放位置随意,只要知晓路径,后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 训练步骤: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传,zip 文件里图片名称与标签文件应当匹配,如图片名"1.png",对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二·Lora 训练: 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案: 开源社区对低配置方案进行了优化,NF4 来自 controlnet 的作者,GGUF 则包含多个版本可以使用。 NF4 模型下载:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ,放置在 ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中),NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main ,GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话,工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-19
FLUX低显存怎么安装
如果您的显存较低,安装 FLUX 可以参考以下步骤: 1. NF4 模型下载: 链接:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 放置位置:ComfyUI/models/checkpoint/中(不像其他 Flux 模型那样放置在 UNET 中) NF4 配套节点插件:git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git 2. GGUF 模型下载: 链接:Flux GGUF 模型:https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件:GGUF 节点包:https://github.com/city96/ComfyUIGGUF 值得一提的是在最新版本的 ComfyUI 中,GGUF 的节点插件可以在 Manager 管理器中搜到下载安装,NF4 的配套节点插件则搜不到。 3. 对于 8G 以下显存的方案: flux1devbnbnf4.safetensors 放入 ComfyUI\\models\\checkpoints 文件夹内。 ComfyUI_c_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 注:如果报错,请更新 BitsandBytes 库。下载放入解压后 ComfyUI\\custom_node 文件夹内,重启 ComfyUI,如果之前没更新,更新后再重启。 相关资源链接: BitsandBytes Guidelines and Flux:https://github.com/lllyasviel/stablediffusionwebuiforge/discussions/981 ComfyUI_bitsandbytes_NF4 节点:https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4 flux1devbnbnf4.safetensors:https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors 注意使用精度优化的低配模型的话,工作流和原版是不一样的。自己改的话就是把上面官方的这个 fp8 的工作流,只需把底模的节点换成 NF4 的或者 GUFF 的即可。相关生态发展很快,有 Lora、Controlnet、IPadpter 相关生态建设非常速度,以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。
2025-01-09
视频理解大模型技术
以下是关于视频理解大模型技术的相关知识: 1. 概念:生成式 AI 生成的内容称为 AIGC。 2. 概念与关系: AI 即人工智能。 机器学习是电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习使用有标签的训练数据,目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习从反馈里学习,最大化奖励或最小化损失,类似训小狗。 深度学习是一种参照人脑有神经网络和神经元的方法(因层数多称为深度),神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI 可以生成文本、图片、音频、视频等内容形式。 LLM 是大语言模型,对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型可用于语义理解(不擅长文本生成),像上下文理解、情感分析、文本分类。 3. 技术里程碑:2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出 Transformer 模型,它完全基于自注意力机制(SelfAttention)处理序列数据,无需依赖循环神经网络(RNN)或卷积神经网络(CNN),Transformer 比 RNN 更适合处理文本的长距离依赖性。
2025-02-06
大语言模型
大语言模型相关知识如下: Encoder:在大型语言模型中,Encoder 是模型的编码器部分,负责对输入的文本序列进行编码,获取其对应的语义表示。具有词嵌入、位置编码、注意力机制、层叠编码、上下文建模等关键作用。其输出是输入序列对应的上下文化语义表示,会被模型的 Decoder 部分利用。 介绍:大型语言模型是深度学习的一个子集,可以预训练并进行特定目的的微调。能解决诸如文本分类、问题回答、文档摘要、跨行业的文本生成等常见语言问题,还可利用相对较小的领域数据集进行定制以解决不同领域的特定问题。其三个主要特征是大型(训练数据集规模和参数数量大)、通用性(能解决常见问题)、预训练微调(用大型数据集预训练,用较小数据集微调)。使用大型语言模型有多种好处,视频中还提到了自然语言处理中的提示设计和提示工程,以及三种类型的大型语言模型。 性能对比:对比不同大型语言模型的性能需考虑多个维度,如理解能力、生成质量、知识广度和深度、泛化能力、鲁棒性、偏见和伦理、交互性和适应性、计算效率和资源消耗、易用性和集成性等。可采用标准基准测试、自定义任务、人类评估、A/B 测试、性能指标等方法进行有效的比较。
2025-02-06
推荐可以生成3D模型的ai软件
以下是一些可以生成 3D 模型的 AI 软件: 1. CADtools 12:这是 Adobe Illustrator 的插件,为其添加了 92 个绘图和编辑工具,包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 2. Autodesk Fusion 360:Autodesk 开发的云端 3D CAD/CAM 软件,集成了 AI 功能,能创建复杂几何形状和优化设计。 3. nTopology:基于 AI 的设计软件,可创建复杂 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 4. ParaMatters CogniCAD:基于 AI 的 CAD 软件,能根据用户输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 5. 主流 CAD 软件中的生成设计工具:如 Autodesk 系列、SolidWorks 等,提供基于 AI 的生成设计工具,可根据输入的设计目标和约束条件自动产生多种设计方案。 对于图片生成 3D 建模的工具: 1. Tripo AI:VAST 发布的在线 3D 建模平台,能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 2. Meshy:功能全面,支持文本生成 3D、图片生成 3D 以及 AI 材质生成。 3. CSM AI:支持从视频和图像创建 3D 模型,适用于游戏领域的模型生成。 4. Sudo AI:支持通过文本和图像生成 3D 模型,特别适用于游戏领域。 5. VoxCraft:免费 3D 模型生成工具,能将图像或文本快速转换成 3D 模型,并提供多种功能。 此外,还有一些从文本生成 3D 的工具: 1. CSM_ai:能将文本、图像或草图转换为 3D 素材,可直接应用于游戏中,无需后期处理。体验地址:https://cube.csm.ai 2. Move AI 推出的 Move API:从 2D 视频生成 3D 运动数据,支持多种 3D 文件格式导出,为 AR 应用、游戏开发等提供高质量 3D 运动数据。网址:https://move.ai/api 3. ComfyUI 3D Pack:快速将图片转换为 3D 模型,支持多角度查看,使用 3D 高斯扩散技术提升模型质量,支持多种格式导出,集成先进 3D 处理算法。网址:https://github.com/MrForExample/ComfyUI3DPack/tree/main 4. Medivis 的 SurgicalAR 手术应用:将 2D 医疗图像转化为 3D 互动视觉,提高手术精度,支持 3D 模型的放大、缩小、旋转,精确手术计划。网址:https://t.co/3tUvxB0L4I
2025-02-06
我想利用现有的20万条政务相关数据,基于qwen2.5 70B大模型构建自己的政务服务大模型,该如何做,请给出具体实现流程,谢谢!
以下是基于 qwen2.5 70B 大模型利用 20 万条政务相关数据构建政务服务大模型的大致流程: 1. 数据准备:对 20 万条政务相关数据进行清洗、预处理和标注,使其适合模型学习。 2. 模型选择与下载:选择 qwen2.5 70B 大模型,并按照相关说明进行下载。 3. 本地部署: 启动 OpenAI 兼容的 API 服务,根据硬件配置设置相关参数,如 tensorparallelsize(设置使用的 GPU 数量)、maxmodellen(定义最大输入序列长度)、maxnumbatchedtokens(设置 Chunked Prefill 的块大小)、maxnumseqs(限制并发处理的序列数量)。 遇到问题可参考相关内容。 4. 与模型交互:可以使用 Curl 或 Python 等方法与部署的模型进行交互,对于更高级的使用方式,可以探索如之类的框架。 5. 模型训练:模型训练是一个复杂且计算量极大的过程,需要大量的计算资源和时间。 需要注意的是,构建大模型是一个复杂的任务,需要具备一定的技术知识和经验。在实际操作中,可能会遇到各种问题,需要不断调试和优化。
2025-02-06
模型测评
以下是关于模型测评的相关内容: Llama2 模型评测:为了解其中文问答能力,筛选了具有代表性的中文问题进行提问,测试了 Meta 公开的 Llama27BChat 和 Llama213BChat 两个版本,未做任何微调和训练。测试问题涵盖通用知识、语言理解等八个类别,使用特定 Prompt 进行测试,测试结果见相应文档。发现该模型对于中文问答的对齐效果一般,基于中文数据的训练和微调十分必要。 小七姐:文心一言 4.0、智谱清言、KimiChat 小样本测评:测评机制包括以同组提示词下 ChatGPT 4.0 生成的内容做对标参照,能力考量涵盖复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力,测评轮次包括复杂提示词理解和执行、推理能力、文本生成能力、提示词设计能力、长文本归纳总结能力,每轮次均有不同的任务和模型测试次数。 斯坦福发布大模型排行榜 AlpacaEval:相对于人工标注,全自动化的 AlpacaEval 经济成本和时间成本低。从统计角度探讨了区分模型的评估数据,AlpacaEval 支持两种模式的模型评估方式,评测过程分为选择评估集并计算输出、计算 golden 输出、选择自动标注器并计算胜率三步。
2025-02-06
请用思维导图描述AI智能体大语言模型平台汇总图(带图标LOGO)
以下是为您生成的关于 AI 智能体大语言模型平台的汇总思维导图: 1. 基础层 为大模型提供硬件支撑,数据支持等,例如 A100、数据服务器等等。 2. 数据层 静态的知识库 动态的三方数据集 3. 模型层 LLm(largelanguagemodel,大语言模型),例如 GPT,一般使用 transformer 算法来实现。 多模态模型,即市面上的文生图、图生图等的模型,训练所用的数据与 llm 不同,用的是图文或声音等多模态的数据集。 4. 平台层 模型与应用间的平台部分,比如大模型的评测体系,或者 langchain 平台等,提供模型与应用间的组成部分。 5. 表现层(应用层) 用户实际看到的地方。 此外,在翻译场景中: 语言翻译技术经历了从传统规则翻译到深度学习翻译的逐步发展,每一次革新都显著提高了翻译的准确性和自然度。 传统机器翻译存在局限性,基于规则和统计模型,常常出现死板和字面化的结果,尤其在遇到多义词、习语或文化差异时,翻译往往不自然,且容易误导。 深度学习翻译技术通过大规模语料库学习,能够更好地理解上下文和语境,提供更加流畅、准确的翻译。 大模型翻译技术引入后,通过海量数据学习,能够精准捕捉语言的深层语义和文化背景,提供更符合语境的翻译,显著提升了翻译的准确性与流畅度。 在学术场景中: 大模型技术能够快速总结论文内容、进行精准翻译,节省研究者阅读和整理文献的时间。 文献预处理时,需将海量文献的格式转换为可供模型解析的文本格式,可借助平台工具完成文件内容的提取。 可将文件内容自动化提取并结合大语言模型进行批量分析或任务处理,适用于文档总结、信息提取等场景。
2025-02-06
如果让提示词变成模板, 每次输入需要的参数就好。
要将提示词变成模板,每次输入需要的参数即可。以下是一些相关的方法和要点: 在 Stable Diffusion 中,下次作图时先选择模板,点击倒数第二个按钮可快速输入标准提示词。描述逻辑通常包括人物及主体特征(如服饰、发型发色、五官、表情、动作)、场景特征(室内室外、大场景、小细节)、环境光照(白天黑夜、特定时段、光、天空)、画幅视角(距离、人物比例、观察视角、镜头类型)、画质(高画质、高分辨率)、画风(插画、二次元、写实)等,通过这些详细提示词能更精确控制绘图。新手可借助功能型辅助网站书写提示词,如 http://www.atoolbox.net/ (通过选项卡快速填写关键词信息)、https://ai.dawnmark.cn/ (每种参数有缩略图参考),还可去 C 站(https://civitai.com/)抄作业,复制每张图的详细参数粘贴到正向提示词栏,注意图像作者使用的大模型和 LORA,也可选取部分好的描述词使用。 简单的提示词模板最终目标是把需求说清楚,如 GPTs 提示词模板:Act like a 输入最终结果),并给出了示例。 提示词母体系列(2)中,在掌握人物设计整体框架后编写提示词,可借鉴替换方式替换模板。模板构成包括:先看约束部分,规则放顶部加强约束,底部也有相应约束,整个约束包裹具体提示词以提示模型专注性;模板结构有基本信息(姓名、性别、年龄、职业)、外貌特征、背景和经历、性格和价值观、爱好特长和语言风格、人际关系和社交活动、未来规划和目标。
2025-01-28
Roo Code 的API Provider 参数哪里设置
要设置 Roo Code 的 API Provider 参数,您可以按照以下步骤进行操作: 1. 首先,进入 deepseek 的官网(https://www.deepseek.com/)。 2. 进入右上角的 API 开放平台。早期 deepseek 是有赠送额度,如果没有赠送的余额,可以选择去充值,支持美元和人民币两种结算方式,以及各种个性化的充值方式,并创建一个 API key。注意,API key 只会出现一次,请及时保存下来。 3. 接下来,以 cursor 作为代码编辑器为例,下载安装 cursor(https://www.cursor.com/),在插件页面搜索并安装 Roocline。安装完后,打开三角箭头,就可以看到 RooCline,选中 RooCline,并点击齿轮,进入设置。 4. 依次设置配置基本参数: API Provider:选择 DeepSeek。 API Key:填入已创建的 key。 模型:选择 DeepSeekreasoner。 5. 进行语言偏好设置。 6. 小贴士:记得把 HighRisk 选项都打开,这样 AI 才能帮您自动生成文件。最后做完所有不要忘记点击 Done 保存修改。在聊天框输入产品需求,输入需求后点击这个 blingbling 的星星,优化提示词。最终,在 deepseekr1 的加持下基本上是一遍过,各种特效效果交互逻辑也都正确。画面也算优雅,交互效果也不错,是您想要的。
2025-01-26
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 越能读懂图片,但图片精细度越高,学习步数也要越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮就是一次循环,循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间,次数并非越多越好,过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置:主要控制电脑的训练速度,可保持默认值,也可根据电脑显存微调,但要避免显存过载。 4. DIM:不同场景有不同的推荐值。如二次元一般为 32,人物常见为 32 128,实物、风景则≥128。DIM 为 64 时,输出文件一般为 70MB +;DIM 为 128 时,输出文件一般为 140MB + 。 5. 样图设置:主要控制训练过程中的样图显示,可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图,prompts 提示词可预设效果或自定义。 6. 并行数量:代表 AI 同一时间学习的图片数量。数值越大,训练速度越快,内存占用越大,收敛得慢;数值越小,训练速度越慢,内存占用越小,收敛得快。以 512×512 的图片为例,显存小于等于 6g,batch size 设为 1;显存为 12g 以上,batch size 可设为 4 或 6。增加并行数量时,通常也会增加循环次数。 7. 质量设置: 学习率:指 AI 学习图片的效率,过高会过拟合,过低会不拟合。1e 4 即 1 除以 10 的 4 次方,等于 0.0001;1e 5 即 1 除以 10 的 5 次方,等于 0.00001。一般保持默认,如需调整可点击数值旁的加减号。 网格维度:network dim 决定出图精细度,数值越高有助于 AI 学会更多细节,但数值越大学习越慢,训练时间越长,易过拟合。
2025-01-06
全量微调与少量参数微调
在参数规模的角度,大模型的微调分为全量微调(FFT,Full Fine Tuning)和少量参数微调(PEFT,ParameterEfficient Fine Tuning)两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑,PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程,通过调整模型本身的参数,而非像提示工程和 RAG 那样仅更改提示,能大幅提高模型在特定任务中的性能。微调有两大好处:一是提高模型在特定任务中的性能,可输入更多示例,经过微调的模型可能会失去一些通用性,但对于特定任务会有更好表现;二是提高模型效率,实现更低的延迟和成本,可通过专门化模型使用更小的模型,且只对输入输出对进行训练,舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现,LoRA 微调脚本见:。 在微调的超参数方面,选择了适用于一系列用例的默认超参数,唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型,可能需要配置的内容包括:model(要微调的基本模型的名称,可选择“ada”“babbage”“curie”或“davinci”之一)、n_epochs(默认为 4,训练模型的时期数)、batch_size(默认为训练集中示例数量的 0.2%,上限为 256)、learning_rate_multiplier(默认为 0.05、0.1 或 0.2,具体取决于 final batch_size)、compute_classification_metrics(默认为假,若为 True,为对分类任务进行微调,在每个 epoch 结束时在验证集上计算特定于分类的指标)。要配置这些额外的超参数,可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程:
2025-01-06
理解LoRA训练以及参数
LoRA 训练的参数主要包括以下方面: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。repeat 值越高,AI 越能读懂图片,但图片精细度越高,学习步数也要越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮就是一次循环,循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间,次数并非越多越好,过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置:主要控制电脑的训练速度,可保持默认值,也可根据电脑显存微调,但要避免显存过载。 4. DIM:不同场景有不同的推荐值。如二次元一般为 32,人物常见为 32 128,实物、风景则≥128。DIM 为 64 时,输出文件一般为 70MB +;DIM 为 128 时,输出文件一般为 140MB + 。 5. 样图设置:主要控制训练过程中的样图显示,“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量:代表 AI 同一时间学习的图片数量。数值越大,训练速度越快,内存占用越大,但收敛得慢;数值越小,训练速度越慢,内存占用越小,但收敛得快。显存小于等于 6g 时,batch size 设为 1;显存为 12g 以上时,batch size 可设为 4 或 6。 7. 质量设置: 学习率:指 AI 学习图片的效率,过高会过拟合,过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方,即 0.0001;1e 5 为 1 除以 10 的 5 次方,即 0.00001。一般保持默认,如需调整可点击数值旁的加减号。 网格维度:network dim 决定出图精细度,数值越高有助于 AI 学会更多细节,但数值越大学习越慢,训练时间越长,易过拟合。
2025-01-06
高效微调技术-LoRA 全量微调与少量参数微调
以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息: LoRA 微调: 微调脚本: 脚本见: 具体实现代码见: 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型: 基于 LoRA 微调的模型参数见:基于 Llama2 的中文微调模型,LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 全量参数微调: 微调脚本: 脚本见: 具体实现代码见: 加载微调模型: 对于全量参数微调的模型,调用方式同模型调用代码示例,只需要修改其中的模型名称或者保存路径即可。 此外,关于微调还有以下补充信息: 微调模型意味着改变模型的权重,现在微调变得越来越容易,因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段,模型大部分保持基础模型状态,效果好且成本低。 微调技术上更为复杂,需要更多技术专业知识,包括人工数据合同承包商的数据集和复杂的合成数据流程,会减慢迭代周期。 SFT(有监督的微调)相对简单明了,RLHF(基于人类反馈的强化学习)则是非常研究性的领域,难度大,不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式,还发展出了很多种高效的微调方法,如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式,主要思路是训练一个参数量较小的分支,然后再与底模合并,从而在模型中注入新的知识。
2025-01-06
能根据人物图片生成需要的场景吗
是的,AI可以基于人物图片生成相应的场景。这种技术通常被称为“场景生成”或“背景替换”,并且已经被应用于多个领域,包括但不限于: 1. 照片编辑软件:一些照片编辑软件和应用程序使用AI来识别人物并替换背景,例如Adobe Photoshop的最新版本。 2. 在线服务:存在一些在线服务和工具,它们提供自动背景替换功能,用户只需上传图片,AI就会处理并提供一个新背景的版本。 3. 移动应用程序:一些手机应用程序也集成了类似的AI功能,允许用户在移动设备上快速更换照片背景。 4. 专业工具:对于更高级的用途,如电影制作或视频游戏开发,专业的软件工具可以利用AI来创建复杂的场景和环境。 5. 个性化内容:AI还可以根据人物图片生成个性化的虚拟场景,例如将用户放置在虚拟的度假胜地或特定活动场景中。 6. 社交媒体:一些社交媒体平台和应用程序提供滤镜和效果,使用AI将用户放置在不同的虚拟背景中,用于分享。 7. AI艺术创作:AI艺术生成工具,如Stable Diffusion或Midjourney,可以根据文本描述或图片生成艺术作品或场景。 8. 视频制作:AI视频生成工具,如VEED.IO或Clipfly,可以用于视频编辑,包括背景替换和场景生成。 要使用这些工具,你通常需要上传人物图片,然后AI会分析图片内容,识别人物和背景,接着根据用户的选择或预设的模板生成新的背景或场景。这些工具的准确性和生成的图像质量可能会因不同的AI模型和算法而异。
2024-07-29
推荐人物图片素材的网站
以下是一些推荐的人物图片素材网站,这些网站提供高质量、免费的图片素材,可以用于各种项目: 1. Unsplash: 提供大量高分辨率的免费图片,涵盖各种类别,包括人物照片。所有图片都可以免费用于商业和非商业项目,无需署名。 2. Pexels: 提供免费的人物图片,支持高质量的下载。Pexels上的所有图片都可以免费使用,无需授权。 3. Pixabay: 是另一个免费的图片资源网站,提供超过一百万张高质量的照片、插画和矢量图,包括丰富的人物素材。 4. Burst by Shopify: 是Shopify推出的免费图片库,专为电商网站设计,提供多种类别的高质量图片,其中也包括大量人物照片。 5. Gratisography: 提供独特且高分辨率的免费图片,包括人物照片。所有图片都可以用于个人和商业用途。 6. Picjumbo: 提供丰富的免费图片资源,包含大量人物素材,适用于各种设计项目。 7. Stocksnap.io: 拥有大量免费的高分辨率图片,包括各种人物照片,所有图片均可用于商业和非商业项目。 8. Flickr: 上有许多用户共享的高质量照片,其中部分照片在Creative Commons许可下可免费使用。需要查看具体照片的授权条款。 这些网站提供的免费图片素材大多可以用于商业用途,但在使用之前建议查看每张图片的具体授权条款,确保符合使用要求。
2024-05-30