lora训练的数据集没有跳绳动作，后期如何使用lora生成跳绳的图，需求要保持人脸和服装跟训练人物一致

LoRA 是一种在图像生成领域具有重要作用的技术。以下是关于 LoRA 的详细介绍和使用方法： LoRA 可以固定图像的特征，包括人物特征、动作特征和照片风格等。在使用非 SDXL 基础模型时会用到 LoRA，使用方法和平常类似，但需要注意将 cfg 值调小，一般设置为 1，步数设置根据所使用的 LoRA 步数为准。 在实际使用中，以 Stable Diffusion 为例，点击“生成”下面的第三个按钮，会弹出新的选项框，找到 Lora 选项，就会出现下载保存到电脑的 Lora 模型。点击要用的 Lora ，会自动添加到关键词的文本框里面，Lora 可以叠加使用，但新手不建议使用太多，每个 Lora 后面的数字用于调整权重，一般只会降低权重。选择 Lora 时要根据最初想要生成的照片类型来选择相应风格的 Lora 。 此外，LoRA 具有极大的商用价值，比如“墨心”的 LoRA 可以把图片变成水墨风格，盲盒 LoRA 可以生成 2.5D 的卡通小人角色，还有一些明星或知名动漫角色的 LoRA 可以直接生成相应形象。但在使用时需要有很强的版权和法律意识。

以下是 Flux 的 Lora 模型训练教程： 1. 模型准备： 下载所需模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意： 不使用时模型存放位置随意，只要知晓路径，后续会引用。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 3. 训练步骤： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集： 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以提前将图片和标签打包成 zip 上传，zip 文件里图片名称与标签文件应当匹配，如图片名"1.png"，对应的达标文件就叫"1.txt"。也可以一张一张单独上传照片。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二·Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 然后等待训练，会显示预览时间和进度条。训练完成的会显示出每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 4. 低配置方案： 开源社区对低配置方案进行了优化，NF4 来自 controlnet 的作者，GGUF 则包含多个版本可以使用。 NF4 模型下载：https://huggingface.co/lllyasviel/flux1devbnbnf4/blob/main/flux1devbnbnf4.safetensors ，放置在 ComfyUI/models/checkpoint/中（不像其他 Flux 模型那样放置在 UNET 中），NF4 配套节点插件：git clone https://github.com/comfyanonymous/ComfyUI_bitsandbytes_NF4.git GGUF 模型下载：Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，GGUF 配套节点插件：GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。 值得一提的是在最新版本的 ComfyUI 中 GGUF 的节点插件可以在 Manager 管理器中搜到下载安装，NF4 的配套节点插件则搜不到。 注意使用精度优化的低配模型的话，工作流和原版是不一样的。此处没有专门列举。 自己改的话就是把上面官方的 fp8 的工作流，只需把底模的节点换成 NF4 的或者 GUFF 的即可。 相关生态发展很快，有 Lora、Controlnet、IPadpter 相关生态建设非常速度，以及字节最近发布的 Flux Hyper lora 是为了 8 步快速生图。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，可实时观测训练效果。“sample every n steps”为 50 代表每 50 步生成一张样图，prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，收敛得慢；数值越小，训练速度越慢，内存占用越小，收敛得快。以 512×512 的图片为例，显存小于等于 6g，batch size 设为 1；显存为 12g 以上，batch size 可设为 4 或 6。增加并行数量时，通常也会增加循环次数。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 即 1 除以 10 的 4 次方，等于 0.0001；1e 5 即 1 除以 10 的 5 次方，等于 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

LoRA 训练的参数主要包括以下方面： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。repeat 值越高，AI 越能读懂图片，但图片精细度越高，学习步数也要越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮就是一次循环，循环次数就是将这个过程重复的遍数。一般数值在 10 20 之间，次数并非越多越好，过多会导致过拟合。总的训练步数 = 图片张数×学习步数×循环次数。 3. 效率设置：主要控制电脑的训练速度，可保持默认值，也可根据电脑显存微调，但要避免显存过载。 4. DIM：不同场景有不同的推荐值。如二次元一般为 32，人物常见为 32 128，实物、风景则≥128。DIM 为 64 时，输出文件一般为 70MB +；DIM 为 128 时，输出文件一般为 140MB + 。 5. 样图设置：主要控制训练过程中的样图显示，“sample every n steps”为 50 代表每 50 步生成一张样图。Prompts 提示词可预设效果或自定义。 6. 并行数量：代表 AI 同一时间学习的图片数量。数值越大，训练速度越快，内存占用越大，但收敛得慢；数值越小，训练速度越慢，内存占用越小，但收敛得快。显存小于等于 6g 时，batch size 设为 1；显存为 12g 以上时，batch size 可设为 4 或 6。 7. 质量设置： 学习率：指 AI 学习图片的效率，过高会过拟合，过低会不拟合。1e 4 实际为 1 除以 10 的 4 次方，即 0.0001；1e 5 为 1 除以 10 的 5 次方，即 0.00001。一般保持默认，如需调整可点击数值旁的加减号。 网格维度：network dim 决定出图精细度，数值越高有助于 AI 学会更多细节，但数值越大学习越慢，训练时间越长，易过拟合。

以下是关于高效微调技术 LoRA 全量微调与少量参数微调的相关信息： LoRA 微调： 微调脚本： 脚本见： 具体实现代码见： 单机多卡的微调可以通过修改脚本中的include localhost:0来实现。 加载微调模型： 基于 LoRA 微调的模型参数见：基于 Llama2 的中文微调模型，LoRA 参数需要和基础模型参数结合使用。 通过加载预训练模型参数和微调模型参数，示例代码中，base_model_name_or_path 为预训练模型参数保存路径，finetune_model_path 为微调模型参数保存路径。 全量参数微调： 微调脚本： 脚本见： 具体实现代码见： 加载微调模型： 对于全量参数微调的模型，调用方式同模型调用代码示例，只需要修改其中的模型名称或者保存路径即可。 此外，关于微调还有以下补充信息： 微调模型意味着改变模型的权重，现在微调变得越来越容易，因为开发了许多技术并建立了代码库。 像 LoRA 这样的参数高效微调技术只训练模型的小部分稀疏片段，模型大部分保持基础模型状态，效果好且成本低。 微调技术上更为复杂，需要更多技术专业知识，包括人工数据合同承包商的数据集和复杂的合成数据流程，会减慢迭代周期。 SFT（有监督的微调）相对简单明了，RLHF（基于人类反馈的强化学习）则是非常研究性的领域，难度大，不适合初学者。 目前除了传统的全量训练和 freeze 冻结某些层方式，还发展出了很多种高效的微调方法，如 LoRA、Prefix Tuning、PTuning、Prompt Tuning、AdaLoRA、3、MultiTask Prompt Tuning 等。本篇主要采用 LoRA 方式，主要思路是训练一个参数量较小的分支，然后再与底模合并，从而在模型中注入新的知识。

以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。

对扣子智能体进行专属训练时，需要注意以下要点： 1. 跳转设置：扣子在节点切换提供了独立和非独立两种识别模式。独立识别模式中每个节点都有一个独立识别模型，非独立模式则直接使用当前智能体模型进行判断，实际使用中推荐独立模式。 2. 独立模式的选择：独立模式有两种选择。第一种是面对通用指令时，选择已经训练好的、专门用于节点切换的大型模型，其优点是经过特定训练，无需额外操心设计。第二种是在遇到非常复杂的情景时，使用自定义的大型模型，可根据需求定制模型和编写特定提示词以适应复杂交互场景，但实际测试效果不理想，所以推荐使用第一种。 3. 关键注意点：在使用专门训练的意图识别模型进行节点切换时，要特别注意两个关键点。一是每个智能体的用途必须清晰明确，在设计和实现时要清楚标注其功能和目的，以确保系统能准确识别和响应用户意图。二是智能体的名称非常重要，应清晰、易于识别，便于系统识别和记忆。

以下是关于预训练的相关内容： Atom 系列模型的预训练： Atom 系列模型包含 Atom7B 和 Atom13B，基于 Llama2 做了中文能力的持续优化。Atom 大模型在 Llama2 的基础上，采用大规模的中文数据进行持续预训练，数据来源广泛，包括百科、书籍、博客、新闻、公告、小说、金融数据、法律数据、医疗数据、代码数据、专业论文数据、中文自然语言处理竞赛数据集等。同时对庞大的数据进行了过滤、打分、去重，筛选出超过 1T token 的高质量中文数据，持续不断加入训练迭代中。为了提高中文文本处理的效率，针对 Llama2 模型的词表进行了深度优化，扩展词库至 65,000 个单词，提高了中文编码/解码速度约 350％，还扩大了中文字符集的覆盖范围，包括所有 emoji 符号。Atom 大模型默认支持 4K 上下文，利用位置插值 PI 和 Neural Tangent Kernel（NTK）方法，经过微调可以将上下文长度扩增到 32K。 GPT 助手的预训练： 预训练阶段是 GPT 训练中计算工作基本发生的地方，占用了训练计算时间和浮点运算的 99%。在这个阶段，需要收集大量的数据，如 Common Crawl、C4、GitHub、维基百科、图书、ArXiv、StackExchange 等，并按照一定比例采样形成训练集。在实际训练前，需要进行预处理步骤 Tokenization（分词/标记化），将原始文本翻译成整数序列。 OpenAI o1 的预训练： GPT 4 等 LLM 模型训练一般由“预训练”和“后训练”两个阶段组成。“预训练”通过 Next Token Prediction 从海量数据吸收语言、世界知识、逻辑推理、代码等基础能力，模型规模越大、训练数据量越多，则模型能力越强。

以下是关于 TTS 模型训练的相关内容： 使用 GPTSoVITS 进行 TTS 模型训练： GPTSoVITS 是一个声音克隆和文本到语音转换的开源 Python RAG 框架。 只需 1 分钟语音即可训练一个自己的 TTS 模型。5 秒数据就能模仿您，1 分钟的声音数据就能训练出一个高质量的 TTS 模型，完美克隆您的声音。 主要特点： 零样本 TTS：输入 5 秒的声音样本即可体验即时的文本到语音转换。 少量样本训练：只需 1 分钟的训练数据即可微调模型，提高声音相似度和真实感。模仿出来的声音会更加接近原声，听起来更自然。 跨语言支持：支持与训练数据集不同语言的推理，目前支持英语、日语和中文。 易于使用的界面：集成了声音伴奏分离、自动训练集分割、中文语音识别和文本标签等工具，帮助初学者更容易地创建训练数据集和 GPT/SoVITS 模型。 适用于不同操作系统：项目可以在不同的操作系统上安装和运行，包括 Windows。 预训练模型：项目提供了一些已经训练好的模型，您可以直接下载使用。 GitHub： 视频教程： TTS 模型训练的音库制作和文本前端： 音频录制： 音频的录制对合成语音的表现较为重要，较差的语音甚至会导致端到端声学模型无法正常收敛。 用于训练的录音至少要保证录音环境和设备始终保持一致，无混响、背景噪音；原始录音不可截幅。 如果希望合成出来的语音干净，则要删除含口水音、呼吸音、杂音、模糊等，但对于目前的端到端合成模型，有时会学习到在合适的位置合成呼吸音、口水音，反而会增加语音自然度。 录音尽可能不要事先处理，语速的调节尚可，但调节音效等有时会造成奇怪的问题，甚至导致声学模型无法收敛。 音频的录制可以参考录音公司的标准，购买专业麦克风，并保持录音环境安静即可。 在音库录制过程中，可尽早提前尝试声学模型，比如音库录制 2 个小时语音后，就可尝试训练基线语音合成系统，以防止录音不符合最终的需求。 语料整理： 检查文本和录制的语音是否一一对应，录制的音频本身一句话是否能量渐弱，参与训练的语音前后静音段要保持一致，能量要进行规范化。 可使用预训练的语音活动检测（Voice Activity Detection，VAD）工具，或者直接根据语音起止的电平值确定前后静音段。 可以使用一些开源的工具，比如统一所有语音的整体能量，这将有助于声学模型的收敛。当然，在声学模型模型训练时，首先就要对所有语料计算均值方差，进行统一的规范化，但是这里最好实现统一能量水平，防止一句话前后能量不一致。 GPTSoVITS 实现 AIyoyo 声音克隆的步骤： 前置数据获取处理： 选择音频，开启切割。 有噪音时，进行降噪处理。 降噪处理完成，开启离线 ASR。 GPTSowitsTTS： 训练集格式化：开启一键三连，耐心等待即可。 微调训练：开启 SoVITS 训练和 GPT 训练。 推理：开始推理 刷新模型 选择微调后的模型 yoyo。 成功：出现新的 URL，说明您自己的声音微调完毕，然后可以进行使用。 声音复刻：开启声音复刻之旅，实现跨多语种语言的声音。 希望以上内容对您有所帮助。

训练自有数据的大模型可以通过以下步骤实现： 1. 了解大模型的概念：大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用上学参加工作来类比大模型的训练、使用过程，包括找学校（需要大量 GPU 等计算资源）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（进行微调）、搬砖（推导）。在 LLM 中，Token 被视为模型处理和生成的文本单位，会对输入进行分词并形成词汇表。 2. 基础训练步骤： 进入厚德云模型训练数据集，如 https://portal.houdeyun.cn/sd/dataset 。 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。可以上传包含图片+标签的 zip 文件，也可单独上传照片，但建议提前打包。Zip 文件里图片名称与标签文件应当匹配，上传后等待一段时间确认创建，返回上一个页面等待上传成功并可点击详情检查，能预览数据集的图片及对应的标签。 Lora 训练：点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，触发词可有可无，模型效果预览提示词随机抽取数据集里的标签填入。训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，可默认 20 重复次数和 10 轮训练轮数，按需求选择是否加速，点击开始训练，会显示所需消耗的算力，等待训练完成，会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击可自动跳转到使用此 lora 生图的界面，点击下方下载按钮可自动下载到本地。 3. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的预训练模型 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，对部署的模型进行在线调试和性能优化。 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 总的来说，训练自有数据的大模型需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。需要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。

训练自己的 AI 可以从以下几个方面考虑： 1. 像在医疗保健领域一样，创建模型生态系统，让 AI 像优秀的从业者那样学习。顶尖人才的培养通常从多年的密集信息输入和正规教育开始，再通过学徒实践从出色的实践者那里学习，获取书本外的信息。对于 AI ，应通过堆叠模型训练，而非仅依靠大量数据和生成模型。例如先训练基础学科模型，再添加特定领域数据点。 2. 部署和训练自己的 AI 开源模型的主要步骤： 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、模型压缩和量化、公共云服务商部署等，根据自身资源、安全和性能需求选择。 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 选择合适的预训练模型作为基础，如开源的 BERT、GPT 等，也可自行训练基础模型。 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调，优化模型结构和训练过程以提高性能。 部署和调试模型，将训练好的模型部署到生产环境，并进行在线调试和性能优化。 注意安全性和隐私保护，重视大模型涉及的大量数据和隐私信息的安全性和合规性。 3. 学习拆解复杂任务，先想清楚如何拆解： 一步步思考，包括自我反省，检查答案是否正确、是否符合法律/道德等。 运用组合拳，如 Tree of Thoughts、Algorithm of Thoughts、Graph of Thoughts 等。 学会使用工具，如搜索引擎（警惕“幻觉”）、RAG（提供资料库/让其上网搜）、写公式 Program of Thought 、上千个工具等，并自己学习使用工具。

大模型的训练方式如下： 1. 通俗来讲，大模型是输入大量语料，让计算机获得类似人类的“思考”能力，能进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比其训练和使用过程： 找学校：训练大模型需要大量计算，GPU更合适，只有购买得起大量GPU的才有资本训练。 确定教材：大模型需要大量数据，几千亿序列（Token）的输入基本是标配。 找老师：即选择合适算法讲述“书本”内容，让大模型更好理解Token之间的关系。 就业指导：为让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。Token被视为模型处理和生成的文本单位，能代表单个字符、单词等，在将输入进行分词时，会形成词汇表。 2. 100基础训练大模型的步骤： 步骤一·创建数据集：进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset），在数据集一栏中点击右上角创建数据集，输入数据集名称。zip文件可以是包含图片+标签txt，也可以只有图片没有打标文件，也可以一张一张单独上传照片，但建议提前把图片和标签打包成zip上传。Zip文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传zip以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，可预览到数据集的图片以及对应的标签。 步骤二·Lora训练：点击Flux，基础模型会默认是FLUX 1.0D版本，选择数据集，点击右侧箭头，会跳出所有上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数，如果不知道如何设置，可以默认20重复次数和10轮训练轮数，可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条，训练完成的会显示出每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此lora生图的界面。点击下方的下载按钮则会自动下载到本地。 步骤三·Lora生图：点击预览模型中间的生图会自动跳转到相应页面。模型上的数字代表模型强度，可在0.61.0之间调节，也可以自己添加lora文件，点击后会显示训练过的所有lora的所有轮次。VAE不需要替换，正向提示词输入写的提示词，可以选择基于这个提示词一次性生成几张图，选择生成图片的尺寸，横板、竖版、正方形。采样器和调度器新手小白可以默认，迭代步数可以在2030之间调整，CFG可以在3.57.5之间调整，随机种子1代表随机生成图。所有设置都好了以后，点击开始生态，生成的图会显示在右侧。如果有哪次生成结果觉得很不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，这样下次生成的图就会和这次的结果近似。如果确认了一张很合适的种子和参数，想要搞清放大，则点开高清修复，可以选择想放大的倍数，新手小白可以就默认这个算法，迭代步数建议在2030之间，重回幅度根据需求调整，正常在0.30.7之间调整。 3. 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出lora模型后提交lora模型与案例图像。提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd

人脸识别技术具有一定的价值。过去，AI 在人脸识别等分类判断任务上取得了成果，方便了我们的生活。然而，其使用过程中会让人感受到明显的机器感。相比之下，生成式 AI 在写文章、画画、写歌等方面展现出类似人类的智慧和能力。在 AI 研究中，搜索和学习是利用大量计算的两个重要技术类别。在计算机围棋、国际象棋、语音识别和计算机视觉等领域，都经历了从依赖人类知识到依靠统计方法和大量计算的转变。在 AI 相关的监管方面，对于像人脸识别这样的特定技术或应用，不采用僵化的法律定义，而是基于功能能力来设计应对挑战的方法，以适应 AI 的快速发展。

以下是关于根据给定图片的人脸特征生成写真图片的相关内容： 使用 SD 进行多人物脸部替换生成写真： 先正常生成一张特定内容的图片，如两个古风人物在大漠黄沙下互相对视。正向提示词包括“best quality, official art, 8k wallpaper, highly detailed, illustration, closeup, , upper body, antique style, drifting snow, yellow sand fills the sky, withered tree, desert, gu, <lora:武侠 V2_2.0:1>”，模型使用 majicmixRealistic 及武侠 lora。将生成的图发送到图生图中，调整重绘幅度为 0.4。在 roop 插件中进行脸部替换，如载入至尊宝和紫霞的照片形象。插件强大之处在于仅凭一张照片能复刻角色其他角度和表情。最后可使用 ps 扩图。如需插件，可添加公众号【白马与少年】回复【SD】获取。 给自己做卡通头像： 1. 复杂提示词：如“Disney boy, Low saturation Pixar Super details, clay, anime waifu, looking at viewer, nighly detailedreflections transparent iridescent colors. lonctransparent iridescent RGB hair, art by Serafleurfrom artstation, white background, divine cinematic edgelighting, soft focus. bokeh, chiaroscuro 8K, bestquality.ultradetailultra detail.3d, c4d. blender, OCrenderer. cinematic lighting, ultra HD3D renderino iw 1.5 s 500 v 5”。 2. 不同照片生成：若对照片风格不满意，可更换新照片使用上述提示词重新生成。 3. 其他调整：若觉得 Disney 风格太过卡通，可将提示词中的 Disney 换成 Pixar；若为女孩，可把 boy 换成 girl。每次生成 4 张图片，对满意的某张可点击下方的 U1~U4 生成大图，对风格满意但需调整可点击 V1~V4 进行修改。 快手「可灵」和「Sora」背后的 DiT 技术： DiT 不仅训练高效，在实际应用中图像生成能力强大。输入简单文字描述即可生成逼真图像，如各种自然景观、人物肖像、动物等，甚至能细致到毛发纹理和眼神光彩。还能在图像修复方面表现出色，智能识别瑕疵并修复，如修复老照片中被遮挡的人物面部。此外，能赋予图像不同艺术风格，如将普通照片转换成梵高风格油画或改变白天夜晚效果，为图像创作和编辑提供全新可能。

GPT 可以在一定程度上对图片中的人物进行识别和描述。例如，可以利用 GPT 的识图功能对人物照片的内容进行细致描述，包括人物的年龄、发型、肤色、五官、穿着、表情等方面，还能对人物所处的背景进行分析。但需要注意的是，其识别和描述的准确性可能会受到多种因素的影响，如图片的质量、清晰度、复杂程度等。同时，对于 GPT 是否能准确识别所有人脸和人物，还存在一定的不确定性和局限性。

以下是关于人脸识别的相关信息： 视频模型“可灵”的测试内容包括场景识别（室内和室外）、物体识别（静态和动态）、人物识别（面部、姿态）、动作识别（基本动作）等方面。例如，测试了模型在不同室内环境（办公室、厨房、卧室等）和室外环境（街道、公园、商场等）中的表现，对不同面部特征（不同年龄、性别、种族等）、人物姿态（站立、坐下、躺卧等）和基本动作（走路、跑步、跳跃等）的识别能力。 11 月 24 日的 XiaoHu.AI 日报中提到： DeepFace 是面部识别和分析工具，功能包括面部验证、识别和属性分析，整合多个先进模型，准确率超越人类，支持实时视频分析和外部系统调用。 Comfyui 进行了 SVD Image 2 Video 优化，优化内存占用至 8GB，并提供 workflow 以供在不同显卡上运行。 有泄露的 GPTs 提示大集合，涵盖学术、占卜、医疗咨询等多个应用领域。 PixelDance 是高动态视频生成模型，能通过文本和图片生成复杂场景视频，在连贯性和视频质量方面表现卓越。

要在视频中检测人脸目光是否注视镜头，通常需要使用计算机视觉技术，特别是人脸检测和面部特征点跟踪。以下是一些可能的方法和工具： 1. 使用OpenCV库：OpenCV是一个开源的计算机视觉和机器学习软件库，它提供了多种人脸检测方法，包括使用Haar特征分类器或深度学习方法。你可以使用OpenCV的`CascadeClassifier`进行人脸检测，并通过检测到的人脸区域进一步分析目光方向 。 2. 面部标记和特征点跟踪：更高级的方法是使用面部标记检测，这通常涉及到定位面部的特定特征点，如眼角、瞳孔等。然后，通过分析这些点的位置和相互之间的关系来推断目光方向。dlib库结合OpenCV可以用于这种类型的分析 。 3. 眨眼检测：作为面部特征点跟踪的一部分，眨眼检测也可以提供有关目光注视方向的线索。例如，如果一个人在视频中眨眼，他们的眼皮运动会暂时遮挡视线，这可以作为目光不在镜头上的一个信号 。 4. 眼睛纵横比（EAR）：这是一种评估眼睛开放程度的指标，可以用来检测眨眼或闭眼的状态。EAR是通过计算眼睛特征点之间的距离比值来计算的。如果EAR值低于某个阈值，可以认为眼睛是闭上的，从而推断目光不在镜头上 。 5. 深度学习方法：使用预训练的深度神经网络模型，如基于CNN的架构，可以更准确地检测和分析面部特征，包括目光方向。这些模型可以从大量的图像数据中学习到复杂的表情和视线模式。 6. 集成解决方案：一些商业软件或服务可能提供集成的解决方案，包括人脸检测、面部特征点跟踪和目光检测等功能。 请注意，实际实现时可能需要考虑多种因素，如视频质量、光照条件、人的头部姿态等，这些都可能影响检测的准确性。