直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

Lora模型训练

回答

以下是关于 Lora 模型训练的相关内容:

一、用 SD 训练一套贴纸 LoRA 模型的要点

  1. 训练数据集准备:包括训练素材处理、图像预处理、打标优化。
  2. 训练环境参数配置:选择本地或云端训练环境,进行训练环境配置和训练参数配置。
  3. 模型训练:基于 kohya-ss 训练模型。
  4. 模型测试:通过 XYZ plot 测试模型。

二、郑敏轩:Flux 的 Lora 模型训练

  1. 所需模型下载:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1-dev.safetensors。
    • 注意事项:
      • 不使用时,模型放置位置不限,只要知道路径即可。
      • 训练时,建议使用 flux1-dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。
  2. 下载脚本:
    • 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59
    • 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq

三、10-0 基础训练大模型

  1. 步骤一·创建数据集
    • 进入厚德云-模型训练-数据集:https://portal.houdeyun.cn/sd/dataset
    • 在数据集一栏中,点击右上角创建数据集,输入数据集名称。
    • 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。
    • Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。
    • 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。
  2. 步骤二·Lora 训练
    • 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。
    • 选择数据集,点击右侧箭头,选择上传过的数据集。
    • 触发词可有可无,取决于数据集是否有触发词。
    • 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。
    • 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数,若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。
    • 可按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后等待训练,会显示预览时间和进度条。
    • 训练完成后会显示每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

如何用 SD 训练一套贴纸 LoRA 模型

训练数据集准备(训练素材处理、图像预处理、打标优化)训练环境参数配置(选择本地或云端训练环境、训练环境配置、训练参数配置)模型训练(基于kohya-ss训练模型)模型测试(通过XYZ plot测试模型)

郑敏轩 :Flux的Lora模型训练

网盘链接:夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59通过百度网盘分享的文件:Flux_train_20.4.zip链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq提取码:pfsq--来自百度网盘超级会员V3的分享

10-0基础训练大模型

在数据集一栏中,点a击右上角创建数据集输入数据集名称这个zip文件可以是包含图片+标签txt,也可以只有图片没有打标文件(之后你可以在c站使用它的自动打标功能)你也可以一张一张单独上传照片,但还是建议提前把图片和标签打包成zip上传Zip文件里图片名称与标签文件应当匹配例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传zip以后等待一段时间确认创建数据集返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查可以预览到数据集的图片以及对应的标签[heading2]步骤二· Lora训练[content]点击Flux,基础模型会默认是FLUX 1.0D版本选择数据集,点击右侧箭头,会跳出你所有上传过的数据集触发词可有可无,取决于你的数据集是否有触发词模型效果预览提示词则随机抽取一个你数据集里的标签填入即可训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数如果不知道如何设置,可以默认20重复次数和10轮训练轮数可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力然后就可以等待训练了,会显示预览时间和进度条训练完成的会显示出每一轮的预览图鼠标悬浮到你想要的轮次模型,中间会有个生图,点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地

其他人在问
flux lora 训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 准备工作: 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时模型放置位置不限,只要知道“路径”,后续会引用到“路径”。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载训练脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 数据集准备: 进入厚德云模型训练数据集:https://portal.houdeyun.cn/sd/dataset 步骤一:创建数据集 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片,但建议提前将图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 步骤二:Lora 训练 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 触发词可有可无,取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 等待训练,会显示预览时间和进度条,训练完成会显示每一轮的预览图。 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集放置位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2024-11-20
lora是什么
Lora 全称 LowRank Adaptation Models,即低阶自适应模型。它的作用在于影响和微调画面,能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原模型中插入新的数据处理层的方式,避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素,从而生成不同于底模的图片。Lora 训练较为轻量化,所需显存较少,硬件门槛显存达到 6G 即可开启训练。例如,有利用新版 SDXL 生成的如针线娃娃的 lora,还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。
2024-11-01
Lora模型训练数据集
以下是关于 Lora 模型训练数据集的相关内容: 创建数据集: 1. 进入厚德云模型训练数据集(https://portal.houdeyun.cn/sd/dataset)。 2. 在数据集一栏中,点击右上角创建数据集,输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件,也可以只有图片(之后可在 c 站使用自动打标功能),还可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,能预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。然后等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流: 1. 原始形象:MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工:完成贴纸的白色边线等细节加工。 3. 处理素材:给训练集图片打 tag,修改 tag。 4. 训练模型:将上述处理好的数据集做成训练集,进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象:MJ 关键词: A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图,我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征,比如都是可爱的兔子,有不同的衣服和头饰,都有一双大大的卡通眼睛,会有不同的面部表情。 注意事项: 1. 关键词中限制了颜色,因此 MJ 生成的图片会一种情绪对应一种颜色,所以同一种情绪最好多生成几张不同色系的,可以减少后续训练中模型把情绪和颜色做挂钩(如果需要这样的话,也可以反其道而行之)。 2. 数据集中正面情绪与负面情绪最好比例差不多,如果都是正面积极的,在出一些负面情时(sad,cry)的时候,可能会出现奇怪的问题(如我们训练的是兔子形象,但 ai 认知的 sad 可能是人的形象,可能会出现人物特征)。 3. 如果训练 256266 大小的表情包,这样的素材就已经够用了。如果要训练更高像素的图片,则需要进一步使用 MJ 垫图和高清扩展功能。 高清化: 左(256)→右(1024),输入左图,加入内容描述,加入风格描述,挑选合适的,选出新 30 张图片(卡通二次元类型的 lora 训练集 30 张差不多,真人 60100 张)。
2024-10-22
文生图lora微调
以下是关于文生图 lora 微调的详细内容: 定主题:明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择内容贴近的 checkpoint,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora:基于生成内容寻找重叠的 lora,以控制图片效果和质量,可参考广场上优秀帖子中使用的 lora。 ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字或艺术化二维码等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:无脑选择 840000 即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,不用管语法,单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt:同样用英文写要避免的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++ 2M Karras 较多,也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数:选 DPM++ 2M Karras 时,采样次数通常在 30 40 之间。 尺寸:根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例: 使用大模型“Flat 2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复可拉到 11)。搭配两个 lora,“Chinese painting style”可增加中国画水彩风格效果,权重设为 0.4;“Crayon drawing”可添加简单线条和小孩子笔触,权重设为 0.8。将图片丢到标签器中反推关键词,发送到“文生图”。在正向提示词末尾添加这两个 lora,尺寸按参考图设置,重绘幅度开 0.5 让 AI 更自由发挥,若想更接近原图可降低数值。将图放入 ControlNet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。
2024-10-05
使用人物Lora生成的图片中有多个人物时,怎么让人物的形象各不相同?
在 Stable Diffusion 中,若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同,可参考以下方法: 1. 在提示词中输入数量词(如 2girls 或 3boys 等),再加上各自的描述提示词。若刷图成功率不高,可配合 openpose 控制,做一个多人骨架,以生成多人物构图。 2. 需使用不同的 Lora 来区分人物,但单纯靠提示词可能行不通。 3. 分区控制思路: Multidiffusion 的做法:启用 Tiled Diifusion,打开分区提示词控制,创建文生图画布。启用不同区域,分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物,但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法(文中未提及,需进一步探索)。 此外,关于 Lora 模型: 1. Lora 可以固定照片的特征,如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮,找到 Lora 选项,可添加下载保存到电脑的 Lora 模型,Lora 可叠加使用,但新手不建议使用太多,且 Lora 之间用英文逗号隔开,每个 Lora 后面的数字用于调整权重,一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。
2024-09-27
AI 增量训练 Lora
以下是关于 AI 增量训练 Lora 的相关知识: 参数理解: 1. 学习步数:指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15,写实人物图片的 repeat 一般在 30 50,真实世界的景观场景可能要达到 100。理论上讲,图片精细度越高,学习步数越高。 2. 循环次数:AI 将所有图片按照学习步数学习一轮为一次循环,循环次数一般在 10 20 之间。次数并非越多越好,过多会导致过拟合,即画什么都和样图一样。 3. 效率设置:主要控制电脑的训练速度。可保持默认值,也可根据电脑显存微调,但要避免显存过载。 总的训练步数为:图片张数×学习步数×循环次数。 此外,沃尔夫勒姆提到人工智能是基于机器学习(通常通过神经网络实现),根据给出的示例进行增量训练,且这些示例包括大量人类生成的科学文本等,或者关于世界上发生的事情的实际经验。
2024-09-13
学习大模型的路径
学习大模型的路径主要包括以下几个步骤: 1. 收集海量数据:就像教孩子成为博学多才的人需要让其阅读大量书籍、观看纪录片、与人交谈一样,对于大模型,要收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 2. 预处理数据:如同为孩子整理学习资料,AI 研究人员需要清理和组织收集到的数据,包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段。 3. 设计模型架构:如同为孩子设计学习计划,研究人员要设计大模型的“大脑”结构,通常是一个复杂的神经网络,例如 Transformer 架构,这种架构擅长处理序列数据如文本。 4. 训练模型:如同孩子开始阅读和学习,大模型开始“阅读”提供的数据,通过反复尝试预测句子中的下一个词,不断重复这个过程,逐渐学会理解和生成人类语言。 此外,关于大模型的底层原理,计算机科学家/工程师以大脑神经元细胞结构为灵感,在计算机上利用概览模型实现对人脑结构的模仿,不过计算机的神经元节点更为简单,本质上只是进行一些加法和乘法运算而后输出。大模型内部如同人类大脑是一个混沌系统,即使是 OpenAI 的科学家也无法解释其微观细节。
2024-11-22
现在哪几家的大模型支持通过手机视频多模态实时交流?
以下几家的大模型支持通过手机视频多模态实时交流: 1. PandaGPT:能够理解不同模式的指令并根据指令采取行动,包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA:引入了多分支跨模式 PT 框架,使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT:专门为视频对话设计,能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT:端到端、通用的 anytoany 多模态语言模型,支持图像、视频、音频、文本的自由输入输出。
2024-11-22
siri是不是使用大模型技术
Siri 目前并非使用大模型技术。苹果公司的 Siri 概念虽好,但由于技术限制,其表现未达到人工智能的水平,常被称为“人工智障”。不过,随着技术发展,未来可能会用大模型重新改造 Siri,将手机上的所有功能控制起来,使其成为真正的智能助理。例如,苹果公司在手机算力的芯片发展到能够支撑大模型上手机的情况下,可能会推出大模型的小数据量、专业的版本来替代 Siri。同时,苹果公司若 All in 手机,其大模型可能会是本地化的,以重视个人数据保护和隐私。
2024-11-21
sairi是不是使用大模型技术
Sora 是使用大模型技术的。周鸿祎认为 Open AI 训练这个模型会阅读大量视频,大模型加上 Diffusion 技术需要对世界进一步了解,学习样本以视频和摄像头捕捉到的画面为主。Sora 在训练数据上采用在原始尺寸上进行训练的策略,避免了传统 AI 对人为抽象的依赖。此外,Sora 还采用了一些数据预处理技术,如将视觉图块压缩成低维潜在表示,并将其排列成序列,注入噪声后输入扩散变换器的输入层,同时采用时空分块化来降低后续对时间信息建模的复杂性。这种对原始视频和图像特征的细腻处理标志着生成模型领域的重大进步。
2024-11-21
模型微调怎么解决多轮对话容易受到上轮对话的影响问题
在解决模型微调中多轮对话容易受到上轮对话影响的问题时: 对于多轮对话,现实中常伴随指代问题,如使用“它”“他们”“我们”等代词。若仅依据原始提问检索知识片段,可能导致结果不精确或无法检索到信息。同时,对模型回复内容的限制可能影响多轮对话流畅性甚至中断。 为提升对话系统性能和用户体验,需开发提示词解决多轮对话中的指代消解问题,确保模型能在连续交流中提供准确连贯回答。但由于“指代消解”需多轮对话完成,单次交互无法达成,所以要转换测试形式,先解决“指代消解”问题再进行下一轮答复。 首先准备指代消解所需提示词,这里使用的“指代消解”提示词是用 CoT 写出的思维链,列举不同推理情景,让模型适应并推理出需消解的代词,再根据结果重新组织问题。 接着复现指代消解步骤,如进行第一轮对话,提出问题“尼罗河是什么?”,系统召回相关知识片段并回复,然后开始指代消解。 另外,聊天模型通过一串聊天对话输入并返回生成消息输出。聊天格式虽为多轮对话设计,但对单轮任务也有用。会话通过 messages 参数输入,包含不同角色和内容的消息对象数组。通常会话先有系统消息设定助手行为,再交替使用用户和助手消息。当指令涉及之前消息时,包含聊天历史记录有帮助,若超出模型限制需缩减会话。
2024-11-21
企业做自己的小模型,需要用到的工具及工具背后的公司都有哪些?
企业做自己的小模型,可能会用到以下工具及背后的公司: 1. 在编排(Orchestration)方面,涉及的公司如 DUST、FIAVIE、LangChain 等,其提供的工具可帮助管理和协调各部分及任务,确保系统流畅运行。 2. 部署、可扩展性和预训练(Deployment, Scalability, & PreTraining)类别中,像 UWA mosaicm、NMAREL、anyscale 等公司提供的工具,有助于部署模型、保证可扩展性及进行预训练。 3. 处理上下文和嵌入(Context & Embeddings)的工具,相关公司有 TRUDO、Llamalndex、BerriAI 等,能帮助模型处理和理解语言上下文,并将词语和句子转化为计算机可理解的形式。 4. 质量保证和可观察性(QA & Observability)方面,例如 Pinecone、drant、Vald 等公司提供的工具,可确保模型表现并监控其性能和状态。 此外,还有以下工具和相关公司: 1. 图片生成 3D 建模工具,如 Tripo AI(由 VAST 发布)、Meshy、CSM AI(Common Sense Machines)、Sudo AI、VoxCraft(由生数科技推出)等。 企业还可能涉及具身智能、3D 眼镜、AI 绘本、AI 图书、学习机、飞书的多维表格、蚂蚁的智能体、Coze 的智能体、Zeabur 等云平台、0 编码平台、大模型(通义、智谱、kimi、deepseek 等)、编程辅助、文生图(可灵、即梦等)等方面,可能需要相应资质。
2024-11-20
如何训练Agent?
在人工智能领域中,训练 Agent 主要有以下方法和特点: 1. 基于迁移学习和元学习的 Agent 训练: 传统强化学习中,Agent 训练消耗大量样本和时间,泛化能力不足。为突破此瓶颈,引入迁移学习,促进不同任务间知识和经验迁移,减轻新任务学习负担,提升学习效率和性能,增强泛化能力。 元学习让 Agent 学会从少量样本中迅速掌握新任务最优策略,利用已有知识和策略调整学习路径,减少对大规模样本集依赖。 但迁移学习和元学习面临挑战,如迁移学习在源任务与目标任务差异大时可能无效甚至负面迁移,元学习需大量预训练和样本构建学习能力,使通用高效学习策略开发复杂艰巨。 时间:21 世纪初至今 特点:迁移学习将一个任务知识迁移到其他任务;元学习学习如何学习,快速适应新任务 技术:迁移学习如领域自适应;元学习如 MAML、MetaLearner LSTM 优点:提高学习效率,适应新任务 缺点:对源任务和目标任务相似性有要求 2. 基于强化学习的 Agent 训练: 强化学习关注如何让 Agent 通过与环境互动自我学习,在特定任务中累积最大长期奖励。起初主要依托策略搜索和价值函数优化等算法,如 Qlearning 和 SARSA。 随着深度学习兴起,深度神经网络与强化学习结合形成深度强化学习,赋予 Agent 从高维输入学习复杂策略的能力,有 AlphaGo 和 DQN 等成果。 深度强化学习允许 Agent 在未知环境自主探索学习,无需人工指导,在游戏、机器人控制等领域有应用潜力。 但面临诸多挑战,包括训练周期长、采样效率低、稳定性问题,在复杂真实环境应用困难。 时间:20 世纪 90 年代至今 特点:通过试错学习最优行为策略,以最大化累积奖励 技术:Qlearning、SARSA、深度强化学习(结合 DNN 和 RL) 优点:能够处理高维状态空间和连续动作空间 缺点:样本效率低,训练时间长
2024-11-21
作为ai初学者,想训练自己的个性ai,应该怎么入手
对于 AI 初学者想要训练自己的个性 AI ,可以从以下几个方面入手: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,如李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并争取获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,包括图像、音乐、视频等,根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,因其上手容易且实用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出自己的作品。 在知识库中分享实践后的作品和文章。 5. 体验 AI 产品: 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,激发对 AI 潜力的认识。 此外,更注重人格属性,试图满足社交、情感、陪伴等需求,您也可以对其进行了解和参考。同时,为了在医疗保健中让 AI 产生真正的改变,应投资于创建像我们今天最优秀的医生和药物开发者那样学习的模型生态系统,例如通过学校教育和经验积累,培养在复杂情况下确定最佳答案的直觉。
2024-11-20
如何将历史写过的文章发给 Ai,训练生成写作风格
要将历史写过的文章发给 AI 以训练生成写作风格,可以参考以下步骤: 1. 首先,像安迪的做法一样,把过去写的多篇相关文章发给 AI。 2. 让 AI 总结这些文章的写作特点。 3. 根据 AI 总结的特点,编写出描述写作风格的提示词,从而克隆出自己的写作风格。 4. 未来使用这个风格时,先花 3 分钟时间让 AI 分别写多篇内容。 5. 从多篇内容中找到最符合心意的作品,并从其他作品中寻找好的段落。 6. 最后进行整合、修改、删减和润色,少则几分钟、十几分钟,多则半个小时就能完成一篇文章。 同时,就像夙愿提到的,找选题对于写作很重要。我们可以通过学习其他优秀公众号的文章,分析其选题思路、文章结构、表达方式等,不断训练自己的“写作模型”,但要注意不能照搬,而是要形成自己独特的风格。 另外,在写作过程中,“主体性”的介入也很关键。比如在使用 Prompt 生成公众号文章时,要先思考自己对写作的理解以及对特定主题写作风格的认知,这样写出来的 Prompt 才会有个人特色。日常也要注重基本功的积累,因为在表达“意象”时非常考验语言能力。
2024-11-18
如何用ai模型做训练
以下是关于如何用 AI 模型做训练的相关内容: 要在医疗保健领域让 AI 产生真正的改变,应投资创建像优秀医生和药物开发者那样学习的模型生态系统。成为顶尖人才通常从多年密集信息输入和学徒实践开始,AI 也应如此。当前的学习方式存在问题,应通过堆叠模型训练,如先训练生物学、化学模型,再添加特定数据点。就像预医学生从基础课程学起,设计新疗法的科学家经历多年学习和指导,这种方式能培养处理细微差别决策的直觉。 大模型的构建过程包括: 1. 收集海量数据:如同教孩子博学多才要让其阅读大量资料,对于 AI 模型要收集互联网上的各种文本数据。 2. 预处理数据:像为孩子整理适合的资料,AI 研究人员要清理和组织收集的数据,如删除垃圾信息、纠正拼写错误等。 3. 设计模型架构:为孩子设计学习计划,研究人员要设计 AI 模型的“大脑”结构,通常是复杂的神经网络,如 Transformer 架构。 4. 训练模型:像孩子开始学习,AI 模型开始“阅读”数据,通过反复预测句子中的下一个词等方式逐渐学会理解和生成人类语言。 为提高 AI 模型的鲁棒性,应对可能的“恶意”样本数据导致的幻觉,可使用对抗训练技术,让模型在训练中接触并学会识别和抵抗。
2024-11-13
怎么训练自己的小说大纲模型
训练自己的小说大纲模型可以参考以下步骤: 步骤一:创建数据集 1. 进入厚德云模型训练数据集,网址为:https://portal.houdeyun.cn/sd/dataset 。 2. 在数据集一栏中,点击右上角创建数据集。 3. 输入数据集名称。 4. 可以上传包含图片+标签的 zip 文件,也可以只有图片没有打标文件(之后可在 c 站使用自动打标功能)。 5. 也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。 6. Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 7. 上传 zip 以后等待一段时间。 8. 确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 步骤二:Lora 训练 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 5. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 6. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 然后等待训练,会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三:Lora 生图 1. 点击预览模型中间的生图会自动跳转到这个页面。 2. 模型上的数字代表模型强度,可以调节大小,正常默认为 0.8,建议在 0.6 1.0 之间调节。 3. 也可以自己添加 lora 文件,点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入写的提示词,可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸,横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都好了以后,点击开始生态,生成的图会显示在右侧。 12. 如果有哪次生成结果觉得很不错,想要微调或者高分辨率修复,可以点开那张图,往下滑,划到随机种子,复制下来,粘贴到随机种子这里,这样下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数,想要高清放大,则点开高清修复,可以选择想放大的倍数。新手小白可以就默认这个算法,迭代步数也是建议在 20 30 之间,重回幅度根据需求调整,正常来说在 0.3 0.7 之间调整。 今日作业 按照比赛要求,收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd 。 另外,直接在 Comfy UI 中训练 LoRA 模型的步骤如下: 1. 确保后面有一个空格。然后将 requirements_win.txt 文件拖到命令提示符中(如果在 Windows 上;否则,选择另一个文件 requirements.txt)。拖动文件将在命令提示符中复制其路径。 2. 按 Enter 键,这将安装所有所需的依赖项,使其与 ComfyUI 兼容。请注意,如果为 Comfy 使用了虚拟环境,必须首先激活它。 3. 教程: 图像必须放在一个以命名的文件夹中。那个数字很重要:LoRA 脚本使用它来创建一些步骤(称为优化步骤…但别问我是什么^^’)。它应该很小,比如 5。然后,下划线是必须的。 对于 data_path,必须写入包含数据库文件夹的文件夹路径。例如:C:\\database\\5_myimages ,必须写 C:\\database 。 对于参数,在第一行,可以从 checkpoint 文件夹中选择任何模型。据说必须选择一个基本模型进行 LoRA 训练。但也可以尝试使用微调。
2024-11-12