lora炼丹活动

以下是用自己训练的卡通形象 lora 生成元宵节放孔明灯海报的制作方法： 1. 关键词： 模型：dreamshaper_8 正关键词：,white,white_background,CGposterrender bsw <lora:电商新年海报 2024_v1.0:0.4>,gold,<lora:新年红包封面_v1.0:0.6>,new year,<lora:gcbottle:0.3> 中文的关键词：（杰作，高分辨率，高品质，高分辨率）中国建筑，红色主题，剪纸，中国结,纸灯笼，中国图案，金色，中国元素，红色背景 2. ControlNet 设置： 预处理器：depth_leres 模型:control_v11f1p_sd15_depth 权重：0.75 预处理器：softedge_pidinet 模型:control_v11p_sd15_softedge 权重：0.3 3. lora 资源： https://www.liblib.ai/modelinfo/bddf824e232f4124991c05a26027504d https://www.liblib.ai/modelinfo/983703dd48134e43983b84abfcb44308 第三个东方瓷器 lora 已经下架（请至 AGI 之路百度云下载） 链接:https://pan.baidu.com/s/10hYM8i2y2Li9OlT2oD1qOQ 密码:asub 您可以参考以上步骤进行制作，同时您还可以访问以下链接获取更多相关信息： 作者小红书：https://www.xiaohongshu.com/user/profile/5cfd0e600000000016029764?wechatWid=803c253b00ed4224d3a2adcd80b46ed7&wechatOrigin=menu 通往 AGI 之路小红书教程：http://xhslink.com/OOeHsy AI 春晚阶段性纪实：https://waytoagi.feishu.cn/wiki/MI0UwhfXJiRH9ak4dwxcwqPVnIh

layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。 在 AI 模型中： 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。 Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。 同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。

LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法： LoRA 可以固定图像的特征，包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA，使用方法和平常类似，但需要注意将 cfg 值调小，一般设置为 1，步数设置根据所使用的 LoRA 步数为准。 在实际使用中，以 Stable Diffusion 为例，点击“生成”下面的第三个按钮，会弹出新的选项框，找到 Lora 选项，就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ，会自动添加到关键词的文本框里面，Lora 可以叠加使用，但新手不建议使用太多，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。 此外，LoRA 具有极大的商用价值，比如“墨心”的 LoRA 可以把图片变成水墨风格，盲盒 LoRA 可以生成 2.5D 的卡通小人角色，还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

在AI图像设计领域，"炼丹"这个术语被用来形象地描述一些复杂且需要大量实验的模型训练和优化过程。具体来说，它可能涉及以下几个方面： 1. 模型训练：在图像识别、分类、生成等任务中，需要训练深度学习模型以从大量图像数据中学习特征和模式。 2. 参数调整：调整模型的超参数（如学习率、网络层数、神经元数量等）以优化性能，这个过程可能需要大量的实验和试错。 3. 数据增强：为了提高模型的泛化能力，需要通过数据增强技术（如旋转、缩放、裁剪等）来增加训练数据的多样性。 4. 特征工程：在图像处理中，选择合适的特征是关键。这可能涉及到复杂的特征提取和选择过程。 5. 风格迁移：在图像风格迁移任务中，需要训练模型将一种图像的风格应用到另一种图像上，这通常需要精细的参数调整和多次迭代。 6. 图像生成：在生成对抗网络（GAN）等生成模型中，训练过程需要精心设计网络结构和损失函数，以达到逼真的图像生成效果。 7. 损失函数设计：设计合适的损失函数以指导模型训练，使其能够更好地学习图像的特征和结构。 8. 网络架构设计：尝试不同的网络架构（如卷积神经网络、循环神经网络等）来解决特定的图像处理任务。 9. 实验迭代：在图像设计中，通常需要多次实验和迭代来优化模型，这个过程可能非常耗时且需要耐心。 10. 结果验证：验证模型在不同数据集上的性能，确保其泛化能力和鲁棒性。 11. 自动化工具：使用自动化机器学习（AutoML）工具来辅助模型选择和参数调整，减少"炼丹"的工作量。 在AI图像设计领域，"炼丹"强调的是模型训练和优化过程中的复杂性和不确定性，以及需要投入大量时间和精力来达到理想的效果。随着技术的进步，研究人员正在探索更高效的方法来简化这一过程。

以下是一些尚未到截止日期的 AIGC 活动： 2024 上海国际公益广告大赛：截止 10 月 31 日。作品提交：sipsac.cn，主题为“潮起东方创益未来”，板块包括美丽世界、文化中国、科技生活，类型有平面、音视频、数字创新，金奖 3 万、银奖 1 万、铜奖 5 千，还有全场大奖 10 万。 首届“海丝之光”AI 青瓷设计大赛：截止 2024 年 11 月 10 日。报名链接：，团队参赛最多 5 人，网络投票+专家评审，一等奖 10000 元，二等奖 5000 元，三等奖 1000 元。 百万奖金池重磅赛事“2024 AIGC 营销视频生态创新大赛 '真 AI 牛奶，真 AI 创意'”：作品提交时间为 10 月 11 日 11 月 30 日，专家评审时间为 12 月 1 日 12 月 9 日，成果发布时间为 12 月 10 日。 中国神兽复兴计划 AI 创作大赛开启：9 月 1 日 9 月 24 日。利用 AI 复原《山海经》中的经典神兽，赢取 35 万元现金和实体大奖，获奖作品将获得全网流量曝光，由中央美术学院等权威高校支持。 生成式人工智能（AIGC）网络微短剧、微电影大赛征集评选活动：9 月 3 日 11 月 3 日。一等奖 2 名，奖杯、荣誉证书 10000；二等奖 2 名，奖杯、荣誉证书 8000；三等奖 6 名，奖杯、荣誉证书 3000。 ComfyUI 共学 WaytoAGI 共学计划：8 月 20 23 日每晚 8 点，会议链接：。 全球 AI 视觉创意大赛（瓦卡奖 VACAT）：8 月 22 日 9 月 22 日。全球 AI 视觉创意大赛（瓦卡奖 VACAT Vision Arts Created by AI Technology），致力于构建 AI 视觉创意界的“奥斯卡”平台，推动 AI 视觉技术的应用与创新。

以下是近期的 AIGC 相关比赛活动： 【线上⬆️】，时间为 9 月 1 日 9 月 24 日。利用 AI 复原《山海经》中的经典神兽，赢取 35 万元现金和实体大奖，获奖作品将获得全网流量曝光，由中央美术学院等权威高校支持。 ，时间为 9 月 3 日 11 月 3 日。一等奖 2 名，奖杯、荣誉证书及 10000 元奖励；二等奖 2 名，奖杯、荣誉证书及 8000 元奖励；三等奖 6 名，奖杯、荣誉证书及 3000 元奖励。 【线上⬆️】 。 【线上⬆️】，时间为 8 月 22 日 9 月 22 日。全球 AI 视觉创意大赛（瓦卡奖 VACAT Vision Arts Created by AI Technology），致力于构建 AI 视觉创意界的“奥斯卡”平台，推动 AI 视觉技术的应用与创新。 ，截止时间为 10 月 31 日。作品提交：sipsac.cn，主题为“潮起东方创益未来”，板块包括美丽世界、文化中国、科技生活，类型有平面、音视频、数字创新，金奖 3 万、银奖 1 万、铜奖 5 千，另外有全场大奖 10 万。 ，截止时间为 2024 年 11 月 10 日。让创意点亮传统，传承经典，一等奖 10000 元，二等奖 5000 元，三等奖 1000 元。 ，作品提交时间为 10.11 11.30，专家评审时间为 12.1 12.9，成果发布时间为 12.10 。 ，时间为 1 月 24 日 2 月 28 日。需用魔搭平台【AIGC 专区】麦橘超然模型作底模训练 LORA 模型，描绘心中理想世界，风格不限。提交 LoRA 及 6 张以上高质量作品，单张图片分辨率不低于 1024x1024 像素，每组作品展现一个世界观场景；避免鲜血、骷髅等敏感元素。一等奖 1 名，奖金 5000 元 + 证书；二等奖 3 名，奖金 3000 元 + 证书；三等奖 10 名，奖金 1000 元 + 证书。魔搭社区 AIGC 代言人奖：作品发小红书带一丹一世界话题并@魔搭 ModelScope 社区官方，浏览量满 800，前 20 名可得 300 元天猫超市卡。

以下是一些适合您完成调研报告和活动策划工作的 AI 工具： 1. Kimi：https://kimi.moonshot.cn/ 2. ChatGPT4o：越智能的大模型输出质量通常会更好。 此外，近期出现的各类 AI 搜索引擎，如 perplexity.ai、metaso、360 搜索、ThinkAny 等，能辅助高效处理信息。智能摘要功能可帮助您快速筛选信息。在工作流方面，您可以尝试使用 AI 进行用户画像、竞品调研、设计产品测试用例、绘制产品功能流程图等。但建议您先摸清楚自己的日常工作流，再根据每个工作节点线索找到适合自己的工具。

春节期间的 AI 工具活动有： 社区共创项目中的 AI 春晚，去年 300 人 30 天共创了 AI 春晚，今年的也即将开始，可报名参与多种岗位。 围绕“过年”项目主题制作 AI 音乐视频的相关活动。

以下是国内一些学习通用人工智能的峰会或者活动： 2024 北京智源大会：这是人工智能领域的综合性内行盛会，自 2019 年 10 月首度亮相，已成功举办五届，今年是第六届。大会以全球技术视野、内行精英汇聚、洞察关键趋势为鲜明特色，邀请海内外研究者开展精彩演讲与深入对话。共有 11 位图灵奖得主曾参与大会，每年有 200 位顶尖专家出席，来自 30 多个国家和地区的 50 万观众汇聚一堂，分享研究成果、探寻前沿知识、交流实践经验、建立紧密合作。论坛议程及介绍：https://mp.weixin.qq.com/s/xhDzdTMtzigyq68_aNFVg 。2024 年 6 月 14 日上午举行，主持人是黄铁军，智源研究院理事长。开幕式于 09:00 09:20 致辞，智源进展报告于 09:20 10:00 进行，报告人是王仲远，智源研究院院长。全体大会包括 10:00 11:00 的主题报告：多模态大模型，报告人是特邀嘉宾 Aditya Ramesh，OpenAl Sora 及 DALL.E 团队负责人，对话嘉宾是谢赛宁，纽约大学助理教授。11:00 12:30 进行主题讨论：通用人工智能。Talk 2 环节 1 是 Fireside Chat，对话嘉宾是李开复，零一万物 CEO 张亚勤，清华大学智能产业研究院院长，智源学术顾问委员。环节 2 是报告大模型为通用人工智能带来曙光，报告人是王海峰，百度 CTO。环节 3 是尖峰对话：通往 AGI 之路，主持人是王仲远，智源研究院院长，对话嘉宾是王小川，百川智能 CEO 张鹏，智谱 AI CEO 杨植麟，月之暗面 CEO 李大海，面壁智能 CEO 。

以下是将活动主题拆解为大量结构化提示词用于文生视频的相关内容： 技巧 1：提示词的结构 当提示词有清晰的结构时，提示效果最有效。可使用简单公式：。 例如：无结构提示词“小男孩喝咖啡”，有结构的提示词“摄影机平移（镜头移动），一个小男孩坐在公园的长椅上（主体描述），手里拿着一杯热气腾腾的咖啡（主体动作）。他穿着一件蓝色的衬衫，看起来很愉快（主体细节描述），背景是绿树成荫的公园，阳光透过树叶洒在男孩身上（所处环境描述）”。 技巧 2：提示词的优化 有三个原则： 1. 强调关键信息：在提示的不同部分重复或强化关键词有助于提高输出的一致性。 2. 聚焦出现内容：尽量让提示集中在场景中应该出现的内容上。 3. 规避负面效果：在提示词中写明不需要的效果。 写提示词时，首先要明确场景中的人物和冲突，其次是对场景进行详细描述，包括地点、人物形象、任务动作等细节，使用生动的动词营造动态和戏剧化氛围，第三要加强镜头语言，如推、拉、摇、移、升、降等，每种镜头运动都有其特定作用和效果。 PixelDance V1.4 提示词指南 图生视频的基础提示词结构为：主体+运动。当主体有突出特征时可加上，需基于输入图片内容写，明确写出主体及想做的动作或运镜，提示词不要与图片内容/基础参数存在事实矛盾。