Lora模型训练

以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。

以下是关于文生图 lora 微调的详细内容： 定主题：明确您需要生成的图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint：根据主题选择内容贴近的 checkpoint，如麦橘、墨幽的系列模型，如麦橘写实、麦橘男团、墨幽人造人等。 选择 lora：基于生成内容寻找重叠的 lora，以控制图片效果和质量，可参考广场上优秀帖子中使用的 lora。 ControlNet：可控制图片中特定图像，如人物姿态、生成特定文字或艺术化二维码等，属于高阶技能。 局部重绘：下篇再教。 设置 VAE：无脑选择 840000 即可。 Prompt 提示词：用英文写需求，使用单词和短语组合，不用管语法，单词、短语间用英文半角逗号隔开。 负向提示词 Negative Prompt：同样用英文写要避免的内容，单词和短语组合，用英文半角逗号隔开。 采样算法：一般选 DPM++ 2M Karras 较多，也可参考 checkpoint 详情页上模型作者推荐的采样器。 采样次数：选 DPM++ 2M Karras 时，采样次数通常在 30 40 之间。 尺寸：根据个人喜好和需求选择。 以下是一个简笔水彩风格插画的示例： 使用大模型“Flat 2D Animerge”，适合生成卡通动漫图片，官方建议 CFG 值在 5 或 6（使用动态阈值修复可拉到 11）。搭配两个 lora，“Chinese painting style”可增加中国画水彩风格效果，权重设为 0.4；“Crayon drawing”可添加简单线条和小孩子笔触，权重设为 0.8。将图片丢到标签器中反推关键词，发送到“文生图”。在正向提示词末尾添加这两个 lora，尺寸按参考图设置，重绘幅度开 0.5 让 AI 更自由发挥，若想更接近原图可降低数值。将图放入 ControlNet 中，选择 tile 模型，权重为 0.5，控制模式选择“更注重提示词”。

在 Stable Diffusion 中，若使用人物 Lora 生成的图片中有多个人物并想让人物形象各不相同，可参考以下方法： 1. 在提示词中输入数量词（如 2girls 或 3boys 等），再加上各自的描述提示词。若刷图成功率不高，可配合 openpose 控制，做一个多人骨架，以生成多人物构图。 2. 需使用不同的 Lora 来区分人物，但单纯靠提示词可能行不通。 3. 分区控制思路： Multidiffusion 的做法：启用 Tiled Diifusion，打开分区提示词控制，创建文生图画布。启用不同区域，分别填写背景、不同人物的描述词和 Lora。增加 controlnet 的 openpose 控制来稳定人物，但可能存在分区生成的人物连续性低、lora 控制不强等问题。 Latent Couple 的做法（文中未提及，需进一步探索）。 此外，关于 Lora 模型： 1. Lora 可以固定照片的特征，如人物特征、动作特征和照片风格。 2. 点击“生成”下面的第三个按钮，找到 Lora 选项，可添加下载保存到电脑的 Lora 模型，Lora 可叠加使用，但新手不建议使用太多，且 Lora 之间用英文逗号隔开，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 应根据最初想要生成的照片类型决定。

以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。

Lora 全称 LowRank Adaptation Models，即低阶自适应模型，其作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片，比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。 同时，模型微调方面，提供了 LoRA 微调和全量参数微调代码，关于 LoRA 的详细介绍可参考论文“。 此外，还有利用新版 SDXL 生成的如针线娃娃这样的 lora，它可以把一些常见形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。

以下是关于用 SD 训练一套贴纸 LoRA 模型的方法： 1. 打 tag（给图片写关键词）：这是 SD 中的一个重要步骤。 2. LoRA 训练器：可用于训练。 3. SD 训练 UIWeb 启动成功：滚动至最下点击【LoRA 训练】，或者直接点击左侧菜单【LoRA 训练】。 4. 最后总结下 LoRA 模型训练的要点： 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 模型训练：基于 kohyass 训练模型。 模型测试：通过 XYZ plot 测试模型。 5. 工作流： 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 二次加工：完成贴纸的白色边线等细节加工。 处理素材：给训练集图片打 tag，修改 tag。 训练模型：将上述处理好的数据集做成训练集，进行训练。

大模型的评测标准通常包括以下方面： 1. 多维度、多视角的综合性测评方案： 如中文大模型基准测评 2023 年度报告中，采用了由多轮开放问题 SuperCLUEOPEN 和三大能力客观题 SuperCLUEOPT 组成的评测集，共 4273 题，包括 1060 道多轮简答题（OPEN）和 3213 道客观选择题（OPT）。 在确定的评估标准指导下，OPEN 基准使用超级模型作为评判官，对比待评估模型与基准模型，计算胜和率作为 OPEN 得分，最终 SuperCLUE 总分由 0.7OPEN 分+0.3OPT 分计算得出，且经过人工校验。 OPT 主要测评选择题，包括基础能力、中文特性、专业与学术能力，构造统一 prompt 供模型使用，要求选取唯一选项。多轮简答题 OPEN 更能反映模型真实能力，故权重设置较高。 2. 特定的评测体系及开放平台： FlagEval（天秤）大模型评测体系及开放平台，旨在建立科学、公正、开放的评测基准、方法、工具集，创新构建了“能力任务指标”三维评测框架，细粒度刻画基础模型的认知能力边界，可视化呈现评测结果。 CEval 构造了一个覆盖多个方向和学科，共 13948 道题目的中文知识和推理型测试集，并给出了当前主流中文 LLM 的评测结果。 SuperCLUElyb 是中文通用大模型匿名对战评价基准，以众包方式提供匿名、随机的对战，并发布了初步结果和基于 Elo 评级系统的排行榜。 3. 基于业务目标和特定场景的测评： 例如在开发基于 LangChain Chatchat 框架的产品时，基于业务目标和政策咨询场景，对回答的内容生成质量进行测评，主要包括是否理解问题、是否匹配正确政策原文、基于政策原文的回答是否准确全面、是否生成政策原文以外的内容、回答是否可靠以及不同轮次回答是否差异大、是否支持追问等方面。

Florence 节点和模型的下载方法如下： 节点下载： 方法一：从节点管理器中安装（注意结尾是 V2.6int4 的那个）。 方法二：在秋叶包中安装（注意结尾是 V2.6int4 的那个）。 方法三：直接下载下面文件解压，复制 ComfyUI_MiniCPMV2_6int4 文件夹到您的“\\ComfyUI\\custom_nodes”目录下。注意 ComfyUI_MiniCPMV2_6int4 文件夹里面直接就是多个文件不能再包文件夹了。 夸克网盘：链接：https://pan.quark.cn/s/bc35e6c7e8a6 百度网盘：链接：https://pan.baidu.com/s/1sq9e2dcZsLGMDNNpmuYp6Q?pwd=jdei 提取码：jdei 模型下载： 模型下载地址（解压后大小 5.55G，压缩包大小 4.85G）： 夸克网盘：链接：https://pan.quark.cn/s/98c953d1ec8b 百度网盘：链接：https://pan.baidu.com/s/1y4wYyLn511al4LDEkIGEsA?pwd=bred 提取码：bred 此外，Joy_caption 相关模型下载： 从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 必须手动下载: https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 ，存放文件夹：models/Joy_caption 。 MiniCPMv2_6 提示生成器 + CogFlorence： https://huggingface.co/pzc163/MiniCPMv2_6promptgenerator https://huggingface.co/thwri/CogFlorence2.2Large TheMisto.ai 的 MistoLine 版相关： 节点： MistoControlNetFluxdev ，在您的 \\ComfyUI\\custom_nodes 文件夹里面右键终端命令行，复制相关代码即可下载，或者通过以下网盘下载： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到您的 ComfyUI\\models\\TheMisto_model 文件夹中，并导入官方工作流 。

以下是关于大模型和知识库的相关知识： 1. RAG（检索增强生成）技术：利用大模型搭建知识库是 RAG 技术的应用。大模型训练数据有截止日期，当需要依靠不在训练集中的数据时，可通过 RAG 实现。RAG 包括文档加载、文本分割、存储（包括嵌入和向量数据存储到向量数据库）、检索、输出（把问题及检索出的嵌入片提交给 LLM 生成答案）等 5 个过程。文档加载可从多种来源加载不同类型的文档，文本分割将文档切分为指定大小的块。 2. 硬件配置要求：运行大模型需要较高的机器配置。生成文字大模型最低配置为 8G RAM + 4G VRAM，建议配置为 16G RAM + 8G VRAM，理想配置为 32G RAM + 24G VRAM（跑 GPT3.5 差不多性能的大模型）；生成图片大模型最低配置为 16G RAM + 4G VRAM，建议配置为 32G RAM + 12G VRAM；生成音频大模型最低配置为 8G VRAM，建议配置为 24G VRAM。 3. 实例：在一个设定中，使用阿里千问模型，设定角色为“美嘉”，知识库为《爱情公寓》全季剧情，实现问答。

以下是一些与图片问答相关的大模型产品： 国内免费的 APP 有 Kimi 智能助手、文心一言、通义千问。 Kimi 智能助手：由 Moonshot AI 出品，具有超大“内存”，能读长文和上网。 文心一言：百度出品的 AI 对话产品，可写文案、想点子、聊天和答疑。 通义千问：由阿里云开发，能与人交互、回答问题及协作创作。 好用的图生图产品有： Artguru AI Art Generator：在线平台，生成逼真图像，为设计师提供灵感。 Retrato：将图片转换为非凡肖像，有 500 多种风格选择，适合制作个性头像。 Stable Diffusion Reimagine：通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator：将上传照片转换为芭比风格，适合喜欢梦幻童话风格的人。 此外，2023 年大模型关键进展包括： 百度发布文心一言 1.0 并不断升级。 OpenAI 发布 GPT4 等。 复旦开源 MOSS 等。 需注意，内容由 AI 大模型生成，请仔细甄别。

用大模型做销量预测可以从以下几个方面考虑： 1. 数据收集：销量预测需要大量相关数据，包括历史销售数据、市场趋势、经济指标、消费者行为等。 2. 模型选择：选择适合的大模型，例如基于深度学习的神经网络模型。 3. 特征工程：对收集到的数据进行处理和特征提取，以便模型能够更好地理解和学习。 4. 训练与优化：使用合适的算法和技术对模型进行训练，并不断优化模型参数以提高预测准确性。 5. 考虑国情和政策：不同国家和地区的国情和政策会对销售情况产生影响，模型应进行相应的优化和调整。 6. 可解释性：追求模型的可解释性，以便更好地理解预测结果和做出决策。 关于大模型相关的模型下载和安装： 1. 模型下载： Civitai（C 站）：https://civitai.com/ ，可通过点击右上角筛选按钮找到所需模型类型，如 Checkpoint=大模型、LoRA=Lora 等，还可通过点击左上角“Images”查看他人已做好的图片并获取相关模型。 2. 模型安装： 大模型（Ckpt）：放入 models\\Stablediffusion VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录 Embedding 模型：放入 embeddings 目录 若下载的模型不知类型，可使用秋叶的模型解析工具 https://spell.novelai.dev/ ，将模型拖动到空白处即可查看模型信息。

以下是为您推荐的国内可以通过对话微调的预训练模型相关信息： 为优化 Llama2 的中文能力，可使用以下数据： 网络数据：互联网上公开的网络数据，包括百科、书籍、博客、新闻、公告、小说等高质量长文本数据。 ：中文 Wikipedia 的数据。 ：中文悟道开源的 200G 数据。 ：Clue 开放的中文预训练数据，经过清洗后的高质量中文长文本数据。 竞赛数据集：近年来中文自然语言处理多任务竞赛数据集，约 150 个。 ：MNBVC 中清洗出来的部分数据集。 社区提供预训练版本 Atom7B 和基于 Atom7B 进行对话微调的模型参数供开放下载，关于模型的进展详见社区官网 https://llama.family。 另外，关于会话补全（Chat completions）： gpt3.5turbo 和 textdavinci003 两个模型能力相似，但前者价格只是后者的十分之一，在大部分情况下更推荐使用 gpt3.5turbo。 gpt3.5turbo 模型不支持微调。从 2023 年 3 月 1 日起，只能对基于 GPT3.5 的模型进行微调。有关如何使用微调模型的更多细节，请参阅微调指南。 从 2023 年 3 月 1 日起，OpenAI 会将您通过 API 发送的数据保留 30 天但不会使用这些数据来提升模型。 关于安仔：Coze 全方位入门剖析 免费打造自己的 AI Agent（国内版）： 目前国内版暂时只支持使用“云雀大模型”作为对话引擎，其携带上下文轮数默认为 3 轮，可修改区间是 0 到 30，具体轮数可根据业务需求决定。 在 Bot 编排页面的“技能”区域，可为 Bot 配置所需技能。不懂插件时，可选择区域右上角的“优化”按钮让 AI Bot 根据提示词自动选择插件。也可自定义添加所需插件，点击插件区域的“+”号选择加入具体插件。 在 Bot 编排页面的“预览与调试”区域，可测试 Bot 是否按预期工作，可清除对话记录以开始新的测试，确保 Bot 能理解用户输入并给出正确回应。

以下是一些支持个性化训练的大语言模型： 1. Character.ai：更注重人格属性，试图满足社交、情感、陪伴等需求，与 ChatGPT 侧重不同，后者注重提高效率和解放生产力。 2. Midjourney：今天发布了模型个性化 Personalization 或 'p'的早期测试版本。模型个性化会学习用户的喜好，以便更可能用用户的口味来填补空白。其要求包括目前从成对排名中的投票和喜欢的探索页面上的图像中学习，需要大约 200 个成对排名/喜欢才能生效。使用时只需在提示后输入 'p'，或使用提示栏中的设置按钮为所有提示启用个性化功能，还可以使用 's 100'控制个性化效果的强度。但需注意个性化目前不是一个稳定的功能，会随着进行更多的成对排名而变化，且可能会在接下来的几周内推出算法更新。

已有的大语言模型如文心一言、kimi 等通常不支持个人进行个性化训练。 大语言模型的相关知识包括： 国内大模型有通用模型如文心一言、讯飞星火等，处理自然语言；还有垂直模型，专注特定领域。 大语言模型工作原理包括训练数据、算力、模型参数，在训练数据一致情况下，模型参数越大能力越强。 Transformer 是大语言模型训练架构，具备自我注意力机制能理解上下文和文本关联。 大模型可能因错误数据导致给出错误答案，优质数据集对其很重要。 Prompt 分为 system prompt、user prompt 和 assistant prompt，写好 prompt 的法则包括清晰说明、指定角色、使用分隔符、提供样本等。 Fine tuning 是基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 学习大型语言模型（LLM）的开发是一个系统性的过程，需要涵盖多个方面的知识和技能： 掌握深度学习和自然语言处理基础，包括机器学习、深度学习、神经网络等基础理论，以及自然语言处理基础，如词向量、序列模型、注意力机制等。 理解 Transformer 和 BERT 等模型原理，掌握相关论文。 学习 LLM 模型训练和微调，包括大规模文本语料预处理，使用预训练框架，以及微调 LLM 模型进行特定任务迁移。 掌握 LLM 模型优化和部署，包括模型压缩、蒸馏、并行等优化技术，模型评估和可解释性，以及模型服务化、在线推理、多语言支持等。 进行 LLM 工程实践和案例学习，结合行业场景，进行个性化的 LLM 训练，分析和优化具体 LLM 工程案例，研究 LLM 新模型、新方法的最新进展。 持续跟踪前沿发展动态。 机器学习是人工智能的一个子领域，深度学习是机器学习的一个子领域，大语言模型是深度学习在自然语言处理领域的应用之一，具有生成式 AI 的特点。

训练自己的文生文大模型是一个复杂且计算量巨大的过程，主要包括以下步骤： 1. 准备资源：需要大量的互联网文本资源，通常约 10TB 的文本，用于模型的训练。 2. 硬件设施：需要一个 GPU 集群，大约 6000 个 GPU，运行约 12 天，费用约 200 万美元。 3. 模型选择与理解：了解不同的模型架构和算法，例如 Llama2 70B 等开源模型，以及其训练方式和相关论文。 4. 数据处理：对获取的大量文本进行处理和压缩，将其转化为适合模型训练的格式。 5. 训练过程：这是一个复杂的计算过程，类似于对互联网的一大块内容进行有损压缩，以获取模型的参数。 需要注意的是，模型训练比模型推理要复杂得多，模型推理可以在 MacBook 上运行，但训练需要强大的计算能力和大量的资源支持。

目前知识库中暂时没有关于如何训练一个跨语文与数学学科的教师备课助手的相关内容。但一般来说，训练这样的助手可能需要以下步骤： 1. 明确需求和目标：确定助手需要具备的具体能力和能够解决的问题，例如能够生成语文和数学的详细教案、提供教学方法建议等。 2. 数据收集：收集大量的语文和数学教学资料，包括教材、教案、教学视频、练习题等，以丰富助手的知识储备。 3. 选择合适的技术和模型：根据需求和数据特点，选择适合的人工智能技术和模型，如自然语言处理模型、机器学习算法等。 4. 模型训练：使用收集到的数据对模型进行训练，不断调整参数以提高模型的性能。 5. 评估和优化：通过实际测试和用户反馈，评估助手的表现，发现问题并进行优化改进。 需要注意的是，这是一个较为复杂的任务，需要综合考虑多方面的因素，并不断进行试验和改进。