lora训练的数据集没有跳绳动作，后期如何使用lora生成跳绳的图，需求要保持人脸和服装跟训练人物一致

LORA 文件的后缀通常有.pt、.safetensors、.ckpt 等。LORA 是一种除主模型外常用的微调模型，常用于控制画风、人物、姿势等，其文件体量通常有几十上百兆，一般在 4M 300M 之间。下载的 LORA 放在根目录的【……\\models\\Lora】文件夹下，使用时点击红色小书，找到 LORA 的选项卡加载，可能还需要加入特定触发词。此外，safetensors 是一种由 huggingface 研发的开源模型格式，具有安全、加载迅速、支持懒加载、通用性强等优势，现在大部分开源模型都会提供这种格式。LoRA 和 LyCORIS 的后缀均为.safetensors。Textual Inversion 后缀为.pt 或者.safetensors，体积很小，一般只有几 kb，所在目录在 WebUI 中的 embeddings 目录下。当无法通过后缀名区分文件类型时，可以去到秋叶大佬整理的网站 https://spell.novelai.dev/，把文件拖进去查看类型。

Flux 是一种在图像转换和处理方面具有特定功能的工具。它具有多种功能，如使用 FLUX.1 Canny / Depth 进行结构调节，通过边缘或深度检测来在图像转换过程中保持精确控制；使用 FLUX.1 Redux 进行图像变化和重新设计，给定输入图像可以重现具有轻微变化的图像。 Lora 是一种低阶自适应模型，可以理解为基础模型（如 Checkpoint）的小插件。在生图时可有可无，但对于控制面部、材质、物品等细节有明显价值，旁边的数值是其权重。

以下是关于 Flux 的 Lora 模型训练的详细步骤： 准备工作： 下载所需模型：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意：不使用时模型放置位置不限，只要知道“路径”，后续会引用到“路径”。 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载训练脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 数据集准备： 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 步骤一：创建数据集 在数据集一栏中，点击右上角创建数据集。 输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以上传只有图片的文件（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 步骤二：Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。 等待训练，会显示预览时间和进度条，训练完成会显示每一轮的预览图。 鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集放置位置：.Flux_train_20.4\\train\\qinglong\\train 运行训练：约 1 2 小时即可训练完成。 验证和 lora 跑图：有 ComfyUI 基础的话，直接原版工作流的模型后面，多加一个 LoraloaderModelOnly 的节点就可以，自行选择您的 Lora 和调节参数。

Lora 全称 LowRank Adaptation Models，即低阶自适应模型。它的作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。例如，有利用新版 SDXL 生成的如针线娃娃的 lora，还有如“KIDS ILLUSTRATION”这样用于生成儿童绘本风格插画的 lora 等。

以下是关于 Lora 模型训练数据集的相关内容： 创建数据集： 1. 进入厚德云模型训练数据集（https://portal.houdeyun.cn/sd/dataset）。 2. 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 3. 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），还可以一张一张单独上传照片，但建议提前把图片和标签打包成 zip 上传。 4. Zip 文件里图片名称与标签文件应当匹配，例如：图片名“1.png”，对应的达标文件就叫“1.txt”。 5. 上传 zip 以后等待一段时间，确认创建数据集。返回到上一个页面，等待一段时间后上传成功，可以点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 1. 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集，点击右侧箭头，会跳出所有上传过的数据集。 3. 触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数，厚德云会自动计算训练步数。如果不知道如何设置，可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速，点击开始训练，会显示所需要消耗的算力。然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 用 SD 训练一套贴纸 LoRA 模型的工作流： 1. 原始形象：MJ 初步产出符合设计想法的贴纸原始形象。 2. 二次加工：完成贴纸的白色边线等细节加工。 3. 处理素材：给训练集图片打 tag，修改 tag。 4. 训练模型：将上述处理好的数据集做成训练集，进行训练。 用 SD 训练一套贴纸 LoRA 模型的原始形象：MJ 关键词： A drawing for a rabbit stickers,in the style of hallyu,screenshot,mori kei,duckcore plush doll art exaggerated poses,cry/happy/sad/...ar 3:4 niji 5 style cute s 180 。会得到不同风格的贴图，我们可以先看看自己喜欢哪一种。出图过程可以有意识地总结这一类贴图的特征，比如都是可爱的兔子，有不同的衣服和头饰，都有一双大大的卡通眼睛，会有不同的面部表情。 注意事项： 1. 关键词中限制了颜色，因此 MJ 生成的图片会一种情绪对应一种颜色，所以同一种情绪最好多生成几张不同色系的，可以减少后续训练中模型把情绪和颜色做挂钩（如果需要这样的话，也可以反其道而行之）。 2. 数据集中正面情绪与负面情绪最好比例差不多，如果都是正面积极的，在出一些负面情时（sad，cry）的时候，可能会出现奇怪的问题（如我们训练的是兔子形象，但 ai 认知的 sad 可能是人的形象，可能会出现人物特征）。 3. 如果训练 256266 大小的表情包，这样的素材就已经够用了。如果要训练更高像素的图片，则需要进一步使用 MJ 垫图和高清扩展功能。 高清化： 左（256）→右（1024），输入左图，加入内容描述，加入风格描述，挑选合适的，选出新 30 张图片（卡通二次元类型的 lora 训练集 30 张差不多，真人 60100 张）。

以下是关于 Lora 模型训练的相关内容： 一、用 SD 训练一套贴纸 LoRA 模型的要点 1. 训练数据集准备：包括训练素材处理、图像预处理、打标优化。 2. 训练环境参数配置：选择本地或云端训练环境，进行训练环境配置和训练参数配置。 3. 模型训练：基于 kohyass 训练模型。 4. 模型测试：通过 XYZ plot 测试模型。 二、郑敏轩：Flux 的 Lora 模型训练 1. 所需模型下载：t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意事项： 不使用时，模型放置位置不限，只要知道路径即可。 训练时，建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 2. 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 三、100 基础训练大模型 1. 步骤一·创建数据集 进入厚德云模型训练数据集：https://portal.houdeyun.cn/sd/dataset 在数据集一栏中，点击右上角创建数据集，输入数据集名称。 可以上传包含图片+标签 txt 的 zip 文件，也可以只有图片（之后可在 c 站使用自动打标功能），或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。 上传 zip 以后等待一段时间，确认创建数据集，返回到上一个页面，等待一段时间后上传成功，可点击详情检查，预览数据集的图片以及对应的标签。 2. 步骤二·Lora 训练 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。 选择数据集，点击右侧箭头，选择上传过的数据集。 触发词可有可无，取决于数据集是否有触发词。 模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 训练参数可调节重复次数与训练轮数，厚德云会自动计算训练步数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。 可按需求选择是否加速，点击开始训练，会显示所需要消耗的算力，然后等待训练，会显示预览时间和进度条。 训练完成后会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有个生图，点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。

训练一个智能体来改写新闻标题，您可以按照以下步骤进行： 1. 明确需求和目标：确定您希望智能体改写新闻标题的风格、重点和要求，例如更简洁、更吸引人、突出特定信息等。 2. 收集数据：收集大量的新闻标题样本，包括各种类型和主题的，以便智能体有足够的学习材料。 3. 选择合适的技术和框架：根据您的技术能力和需求，选择适合的人工智能框架和算法，例如自然语言处理相关的技术。 4. 数据预处理：对收集到的数据进行清洗、分词、标记等预处理操作，以便智能体能够更好地理解和学习。 5. 训练模型：使用预处理后的数据训练智能体，调整参数以优化训练效果。 6. 评估和优化：使用测试数据评估智能体的性能，根据评估结果对模型进行优化和改进。 7. 部署和应用：将训练好的智能体部署到实际应用中，并不断监测和改进其表现。 需要注意的是，训练智能体是一个复杂的过程，可能需要一定的技术知识和经验。

训练模型进行标题改写可以参考以下方法： Sora 模型： 对于视频标题改写，首先训练一个能够为视频生成详细描述的视频标题生成器。可利用 CoCa 架构进行视频标题生成，如 VideoCoCa，通过取视频的多个帧并将每个帧输入到图像编码器，产生的帧令牌嵌入被展平并连接成一个长序列的视频表示，再由生成性池化器和对比性池化器处理，与对比损失和标题生成损失一起联合训练。构建视频标题生成器的其他替代方法包括 mPLUG2、GIT、FrozenBiLM 等。为确保用户提示与训练数据中的描述性标题格式一致，执行额外的提示扩展步骤，用 GPT4V 将用户输入扩展为详细的描述性提示。 对于语言指令跟随，通过开发一个能够生成长而详细标题的字幕器，然后用这些标题来训练模型。但收集用于训练此类字幕器的数据的过程未知，且可能需要大量劳动。 DALL·E 3 模型：通过用详细、描述性的标题重新标注现有图像来解决指令遵循问题。首先训练一个图像标题生成器，这是一个视觉语言模型，用于生成精确和描述性的图像标题。然后，使用标题生成器生成的描述性图像标题来微调文本到图像模型。具体来说，DALL·E 3 遵循对比标题生成器（CoCa）的方法，联合训练一个图像标题生成器，该生成器具有 CLIP 架构和一个语言模型目标。进一步在详细描述图像的主要对象、周围环境、背景、文本、风格和颜色方面进行微调后，图像标题生成器能够为图像生成详细的描述性标题。文本到图像模型的训练数据集是由图像标题生成器生成的重新标注数据集和真实人类编写的数据混合而成，通过上采样来解决实际用户提示与训练数据中的描述性图像描述之间的不匹配问题。 关于 Midjourney 的训练 prompt： The issue with DMs is that the powerful ones often consume hundreds of GPU days,and inference is quite expensive due to sequential evaluations.To enable DM training on limited computational resources without compromising their quality as well as flexibility,DMs are applied in the latent space of powerful pretrained autoencoders. Training a diffusion model on such a representation makes it possible to achieve an optimal point between complexity reduction and detail preservation,significantly improving visual fidelity.Introducing a cross attention layer to the model architecture turns the diffusion model into a powerful and flexible generator for generally conditioned inputs such as text and bounding boxes,enabling highresolution convolutionbased synthesis. Midjourney 会例行发布新的模型版本以提高效率、连贯性和质量。最新的模型是默认的，但可以使用 version 或 v 参数或通过 /settings 命令选择其他模型版本。不同的模型在不同类型的图像上表现出色。Midjourney V5 模型是最新和最先进的模型，于 2023 年 3 月 15 日发布。使用此模型，可在 prompt 末尾添加 v 5 参数，或使用 /settings 命令并选择 MJ Version 5。该模型具有很高的连贯性，擅长解释自然语言提示，分辨率更高，并支持诸如 tile 等高级功能。其新特点包括更广泛的风格范围、对提示更敏感、更高的图像质量、更详细的图像、细节更可能正确以及更少不需要的文本。

自己训练 AI 通常包括以下主要步骤： 1. 选择合适的部署方式： 本地环境部署。 云计算平台部署。 分布式部署。 模型压缩和量化。 公共云服务商部署。需根据自身的资源、安全和性能需求来选择。 2. 准备训练所需的数据和计算资源： 确保有足够覆盖目标应用场景的训练数据。 准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础： 可以使用开源的预训练模型如 BERT、GPT 等。 也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练： 根据具体应用场景对预训练模型进行微调训练。 优化模型结构和训练过程以提高性能。 5. 部署和调试模型： 将训练好的模型部署到生产环境。 对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护： 大模型涉及大量数据和隐私信息，要重视安全性和合规性。 总的来说，训练自己的 AI 需要综合考虑多方面因素，包括部署方式、数据准备、模型训练、部署调试以及安全性等。要根据具体需求选择合适的方法，并注意优化各个环节以提高模型性能和应用效果。 在独立游戏开发中，如《玩具帝国》的人机 AI 采用 Unity 的 mlagent 进行训练，有以下经验： 选择自己开发 AI 是因为游戏是离线模式且对决策实时性和本地 AI 运行性能有要求，无法使用线上接口。 通过“即时奖励”和“预测奖励”进行长周期决策 AI 的训练，数学模型可调，可改变 AI 的决策倾向。 为让每次输入的向量等长，对观察的内容进行处理。 先训练掌握基本规则的底模，再在此基础上做分支训练得到适用于不同文明策略的模型。 为避免过拟合，在每个 Episode 前对初始条件进行随机，决策时对 AI 的可选项进行随机 Dropout。 关于判断一张图片是否为 AI 生成，目前已有不少网站通过对大量图片数据的抓取和分析来给出画作属性的判断可能性，例如 ILLUMINARTY 网站。但在测试中存在一些问题，如结构严谨的真实摄影作品可能被误判为 AI 作图，这是因为鉴定 AI 自身的逻辑算法不能像人类一样综合考虑各种不符合逻辑的表现。

要在 Comfy UI 中训练 LoRA 模型，您可以按照以下步骤进行： 1. 下载相关文件并解压放入 custom_nodes 文件夹中，然后安装所需的依赖项。 打开命令提示符，输入相应内容。 确保后面有一个空格，将 requirements_win.txt 文件（Windows 系统）或 requirements.txt 文件（其他系统）拖到命令提示符中，按 Enter 键安装依赖项。如果为 Comfy 使用了虚拟环境，需先激活。 2. 注意一些事项： 图像必须放在以命名的文件夹中，数字应较小，如 5，且下划线必须有。 对于 data_path，必须写入包含数据库文件夹的文件夹路径。 3. 参数设置： 在第一行，可从 checkpoint 文件夹中选择任何模型，但据说进行 LoRA 训练需选择一个基本模型。 4. 训练过程： 选择一个名字为您的 LoRA，如果默认值不好，可更改值（epochs 数应接近 40），然后启动工作流程。 点击 Queue Prompt 后，所有事情会在命令提示符中发生，可查看训练进度。 5. 注意事项： 建议与字幕自定义节点和 WD14 标签一起使用。 制作字幕时禁用 LoRA 训练节点，防止 Comfy 在制作字幕前启动训练。 目前训练会在 Comfy 的根文件夹中的 log 文件夹中创建日志文件，该日志可能可在 Tensorboard UI 中加载。 默认情况下，训练结果直接保存在 ComfyUI 的 lora 文件夹中，训练后只需刷新并选择 LoRA 就可以测试。

国内的 GPU 算力平台中，支持快速搭建 AI 大模型预训练环境和微调环境的有： 1. 阿里云：提供云计算资源，用户可根据需求租用算力服务。 2. 腾讯云：具备相应的算力支持，为用户提供灵活的选择。 3. 亚马逊 AWS：基础设施提供商建立的“算力集市”，可满足用户的算力需求。 在搭建环境时，通常需要考虑以下步骤： 1. 选择合适的部署方式，如本地环境部署、云计算平台部署、分布式部署、公共云服务商部署等，根据自身的资源、安全和性能需求进行选择。 2. 准备训练所需的数据和计算资源，确保有足够的训练数据覆盖目标应用场景，并准备足够的计算资源，如 GPU 服务器或云计算资源。 3. 选择合适的预训练模型作为基础，例如可以使用开源的预训练模型如 BERT、GPT 等，也可以自行训练一个基础模型。 4. 针对目标任务进行模型微调训练，根据具体应用场景对预训练模型进行微调训练，优化模型结构和训练过程以提高性能。 5. 部署和调试模型，将训练好的模型部署到生产环境，并对部署的模型进行在线调试和性能优化。 6. 注意安全性和隐私保护，大模型涉及大量数据和隐私信息，需要重视安全性和合规性。 此外，英伟达还发布了统一的超算平台 DGX B200，用于 AI 模型训练、微调和推理。它包括 8 个 Blackwell GPU 和 2 个第五代 Intel Xeon 处理器，包含 FP4 精度功能，提供高达 144 petaflops 的 AI 性能、1.4TB 的 GPU 内存和 64TB/s 的内存带宽。但模型训练能耗也是一个关键问题，例如由 8 张 A100 GPU 组成的 DGX 服务器，最大功率达到 6.5 千瓦，运行一小时就会消耗 6.5 度电，若有 1000 台这样的服务器同时运行，每天的电费将达到惊人的 20 万元。

大模型的结构和训练方式如下： 整体架构： 基础层：为大模型提供硬件支撑和数据支持，例如 A100、数据服务器等。 数据层：包括静态的知识库和动态的三方数据集。 模型层：分为 LLm（大语言模型，如 GPT，一般使用 transformer 算法实现）和多模态模型（如文生图、图生图等模型，训练数据为图文或声音等多模态数据集）。 平台层：如大模型的评测体系或 langchain 平台等，提供模型与应用间的组成部分。 表现层：即应用层，是用户实际看到的地方。 训练方式： 收集海量数据：如研究人员会收集互联网上的文章、书籍、维基百科条目、社交媒体帖子等各种文本数据。 预处理数据：包括删除垃圾信息、纠正拼写错误、将文本分割成易于处理的片段等。 设计模型架构：通常是一个复杂的神经网络，如可能会使用 Transformer 架构。 训练模型：模型反复阅读数据，尝试预测句子中的下一个词，通过不断重复逐渐学会理解和生成人类语言。 此外，大模型的特点包括预训练数据量大（往往来自互联网，包括论文、代码、公开网页等，一般用 TB 级别的数据进行预训练）和参数多（如 Open 在 2020 年发布的 GPT3 就已达到 170B 的参数）。模型架构方面，有 encoderonly（适用于自然语言理解任务，代表模型是 BERT）、encoderdecoder（同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，代表是 google 的 T5）、decoderonly（更擅长自然语言生成任务，众多 AI 助手采用此结构）。

以下是关于根据给定图片的人脸特征生成写真图片的相关内容： 使用 SD 进行多人物脸部替换生成写真： 先正常生成一张特定内容的图片，如两个古风人物在大漠黄沙下互相对视。正向提示词包括“best quality, official art, 8k wallpaper, highly detailed, illustration, closeup, , upper body, antique style, drifting snow, yellow sand fills the sky, withered tree, desert, gu, <lora:武侠 V2_2.0:1>”，模型使用 majicmixRealistic 及武侠 lora。将生成的图发送到图生图中，调整重绘幅度为 0.4。在 roop 插件中进行脸部替换，如载入至尊宝和紫霞的照片形象。插件强大之处在于仅凭一张照片能复刻角色其他角度和表情。最后可使用 ps 扩图。如需插件，可添加公众号【白马与少年】回复【SD】获取。 给自己做卡通头像： 1. 复杂提示词：如“Disney boy, Low saturation Pixar Super details, clay, anime waifu, looking at viewer, nighly detailedreflections transparent iridescent colors. lonctransparent iridescent RGB hair, art by Serafleurfrom artstation, white background, divine cinematic edgelighting, soft focus. bokeh, chiaroscuro 8K, bestquality.ultradetailultra detail.3d, c4d. blender, OCrenderer. cinematic lighting, ultra HD3D renderino iw 1.5 s 500 v 5”。 2. 不同照片生成：若对照片风格不满意，可更换新照片使用上述提示词重新生成。 3. 其他调整：若觉得 Disney 风格太过卡通，可将提示词中的 Disney 换成 Pixar；若为女孩，可把 boy 换成 girl。每次生成 4 张图片，对满意的某张可点击下方的 U1~U4 生成大图，对风格满意但需调整可点击 V1~V4 进行修改。 快手「可灵」和「Sora」背后的 DiT 技术： DiT 不仅训练高效，在实际应用中图像生成能力强大。输入简单文字描述即可生成逼真图像，如各种自然景观、人物肖像、动物等，甚至能细致到毛发纹理和眼神光彩。还能在图像修复方面表现出色，智能识别瑕疵并修复，如修复老照片中被遮挡的人物面部。此外，能赋予图像不同艺术风格，如将普通照片转换成梵高风格油画或改变白天夜晚效果，为图像创作和编辑提供全新可能。

GPT 可以在一定程度上对图片中的人物进行识别和描述。例如，可以利用 GPT 的识图功能对人物照片的内容进行细致描述，包括人物的年龄、发型、肤色、五官、穿着、表情等方面，还能对人物所处的背景进行分析。但需要注意的是，其识别和描述的准确性可能会受到多种因素的影响，如图片的质量、清晰度、复杂程度等。同时，对于 GPT 是否能准确识别所有人脸和人物，还存在一定的不确定性和局限性。

以下是关于人脸识别的相关信息： 视频模型“可灵”的测试内容包括场景识别（室内和室外）、物体识别（静态和动态）、人物识别（面部、姿态）、动作识别（基本动作）等方面。例如，测试了模型在不同室内环境（办公室、厨房、卧室等）和室外环境（街道、公园、商场等）中的表现，对不同面部特征（不同年龄、性别、种族等）、人物姿态（站立、坐下、躺卧等）和基本动作（走路、跑步、跳跃等）的识别能力。 11 月 24 日的 XiaoHu.AI 日报中提到： DeepFace 是面部识别和分析工具，功能包括面部验证、识别和属性分析，整合多个先进模型，准确率超越人类，支持实时视频分析和外部系统调用。 Comfyui 进行了 SVD Image 2 Video 优化，优化内存占用至 8GB，并提供 workflow 以供在不同显卡上运行。 有泄露的 GPTs 提示大集合，涵盖学术、占卜、医疗咨询等多个应用领域。 PixelDance 是高动态视频生成模型，能通过文本和图片生成复杂场景视频，在连贯性和视频质量方面表现卓越。

要在视频中检测人脸目光是否注视镜头，通常需要使用计算机视觉技术，特别是人脸检测和面部特征点跟踪。以下是一些可能的方法和工具： 1. 使用OpenCV库：OpenCV是一个开源的计算机视觉和机器学习软件库，它提供了多种人脸检测方法，包括使用Haar特征分类器或深度学习方法。你可以使用OpenCV的`CascadeClassifier`进行人脸检测，并通过检测到的人脸区域进一步分析目光方向 。 2. 面部标记和特征点跟踪：更高级的方法是使用面部标记检测，这通常涉及到定位面部的特定特征点，如眼角、瞳孔等。然后，通过分析这些点的位置和相互之间的关系来推断目光方向。dlib库结合OpenCV可以用于这种类型的分析 。 3. 眨眼检测：作为面部特征点跟踪的一部分，眨眼检测也可以提供有关目光注视方向的线索。例如，如果一个人在视频中眨眼，他们的眼皮运动会暂时遮挡视线，这可以作为目光不在镜头上的一个信号 。 4. 眼睛纵横比（EAR）：这是一种评估眼睛开放程度的指标，可以用来检测眨眼或闭眼的状态。EAR是通过计算眼睛特征点之间的距离比值来计算的。如果EAR值低于某个阈值，可以认为眼睛是闭上的，从而推断目光不在镜头上 。 5. 深度学习方法：使用预训练的深度神经网络模型，如基于CNN的架构，可以更准确地检测和分析面部特征，包括目光方向。这些模型可以从大量的图像数据中学习到复杂的表情和视线模式。 6. 集成解决方案：一些商业软件或服务可能提供集成的解决方案，包括人脸检测、面部特征点跟踪和目光检测等功能。 请注意，实际实现时可能需要考虑多种因素，如视频质量、光照条件、人的头部姿态等，这些都可能影响检测的准确性。