Lora训练

以下是关于 AI 增量训练 Lora 的相关知识： 参数理解： 1. 学习步数：指 AI 对每张图片的学习次数。二次元图片的 repeat 一般在 10 15，写实人物图片的 repeat 一般在 30 50，真实世界的景观场景可能要达到 100。理论上讲，图片精细度越高，学习步数越高。 2. 循环次数：AI 将所有图片按照学习步数学习一轮为一次循环，循环次数一般在 10 20 之间。次数并非越多越好，过多会导致过拟合，即画什么都和样图一样。 3. 效率设置：主要控制电脑的训练速度。可保持默认值，也可根据电脑显存微调，但要避免显存过载。 总的训练步数为：图片张数×学习步数×循环次数。 此外，沃尔夫勒姆提到人工智能是基于机器学习（通常通过神经网络实现），根据给出的示例进行增量训练，且这些示例包括大量人类生成的科学文本等，或者关于世界上发生的事情的实际经验。

Lora 全称 LowRank Adaptation Models，即低阶自适应模型，其作用在于影响和微调画面，能够再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高，而 LoRA 采用在原模型中插入新的数据处理层的方式，避免了修改原有模型参数。LORA 模型训练是用特定特征替换大模型中的对应元素，从而生成不同于底模的图片，比如固定的人物相貌、特定的服装或者特定的风格。Lora 训练较为轻量化，所需显存较少，硬件门槛显存达到 6G 即可开启训练。 同时，模型微调方面，提供了 LoRA 微调和全量参数微调代码，关于 LoRA 的详细介绍可参考论文“。 此外，还有利用新版 SDXL 生成的如针线娃娃这样的 lora，它可以把一些常见形象制作成毛线编制的样子，需要使用 SDXL1.0 的模型，触发词是 BJ_Sewing_doll。

LoRA（LowRank Adaptation Models，低阶自适应模型）具有以下应用： 1. 在图像生成方面，如 Stable Diffusion 中，通过影响和微调画面，再现人物或物品的特征。可以用特定特征替换大模型中的对应元素，生成不同于底模的图片。 2. 在语言模型中，如 Alpaca 对 LLaMA6B 的微调，在主路参数固定的基础上，在旁路加一个低秩的 shortcut，训练阶段主路固定，只训练旁路，极大降低参数量。初始化时 B 矩阵为 0，达到 zeroconvolution 的效果，推理时把旁路折叠到主路。 3. 个人可以通过 LoRA 炼制属于自己的模型，例如在 SD 中炼制人物、建筑、画风等方面的 lora 模型。LoRA 训练较为轻量化，硬件门槛显存达到 6G 即可开启训练。

LoRa（Sora）具有以下应用： 1. 增强视觉领域的可访问性：将文本描述转换为视觉内容，使包括视觉障碍者在内的所有人都能参与内容创作和互动，为每个人提供通过视频表达想法的机会，创造更具包容性的环境。 2. 营销领域：营销人员可利用其创建针对特定受众描述的动态广告。 3. 游戏开发：游戏开发者能借助它从玩家叙述中生成定制化的视觉效果甚至角色动作。 4. 电影制作：为电影制作提供创新的视觉生成方式。 5. 教育领域：在教育中发挥作用，例如生成特定的教学视频内容。 6. 自动化内容生成：加速内容生成的自动化进程。 7. 复杂决策支持：为复杂决策过程提供帮助和支持。

以下是关于 Flux 的 lora 模型训练的相关信息： Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时，工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速，有 Lora、Controlnet、IPadpter 相关生态建设，字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。

以下是 Flux 的 Lora 模型训练教程： 首先，您需要下载相关模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，同时还有 GGUF 配套节点插件及 GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的，右键 16G 那个 train_flux_16GLora 的文件；如果您的显卡是 24G 或更高的，右键 24G 那个 train_flux_24GLora 的文件。（DB 全参微调对硬件要求更高，内存 32G 不行）即使是 train_flux_24GLora 的方式，也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件（图中右边红框的两种任意一种均可，没有可以下载一下）。开头的绿色部分不用动，理论上只改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里，路径填写会更简单；如果不在，要准确找到并复制 flux1dev 底模的文件路径，注意检查双引号的使用，避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里，还有部分路径需要设置。

ChatGPT 的训练过程较为复杂，主要包括以下方面： 1. 数据获取：从网络、书籍等来源获取大量人类创作的文本样本，数量达数百万亿字。 2. 硬件支持：使用现代 GPU 硬件，以并行计算数千个示例的结果。 3. 训练方式： 基本概念：训练神经网络生成“类似”的文本，能够从“提示”开始，然后继续生成“类似于训练内容”的文本。 操作过程：神经网络由简单元素组成，基本操作是为每个新单词（或单词部分）生成“输入”，然后将其“通过其元素”。 4. 训练目的：不是记忆，而是学习“提问和回答的通用规律”，以实现举一反三。但可能存在混淆记忆、无法直接查看和更新所学、高度依赖学习材料等缺点，导致缺乏及时性和准确性。 5. 规模与效果：在训练中，一些文本会被重复使用多次，而其他文本只会使用一次。尽管没有根本的理论确定所需的训练数据量和网络规模，但实践中，ChatGPT 成功地从大量文本中进行了训练，其成功表明神经网络在实现基于人类语言算法内容的模型时相当有效。

AI 增量训练和模型微调存在以下区别： 目的：增量训练通常是为了持续更新模型以适应新的数据和任务，而模型微调主要是为了使模型在特定的小领域数据集上针对特定任务达到更好的性能。 范围：增量训练可能涉及对模型的较大范围的更新，而微调往往集中在较小范围的参数调整。 方式：增量训练可能会对全量的模型参数进行训练，而微调存在全量微调（FFT）和参数高效微调（PEFT）两种技术路线，PEFT 只对部分模型参数进行训练，且目前在业界较为流行。 成本和效果：从成本和效果综合考虑，PEFT 是较好的微调方案。微调可以大幅提高模型在特定任务中的性能，但可能会使模型失去一些通用性。 数据使用：增量训练可能需要更多新的数据，而微调是在较小的、特定领域的数据集上进行。 如需了解更多关于微调的内容，可参考 OpenAI 官方微调教程：https://github.com/openai/openaicookbook/blob/main/examples/How_to_finetune_chat_models.ipynb

大模型训练的数据形式主要包括以下方面： 1. 数据来源广泛：往往来自于互联网，涵盖论文、代码以及可爬取的公开网页等。 2. 数据类型多样：包括文本、图像、音频等多模态数据。 3. 数据规模庞大：一般使用 TB 级别的数据进行预训练。 例如，对于大语言模型（LLM），通常使用 Transformer 算法，以大量的文本数据进行训练。而多模态模型，如文生图、图生图等模型，则使用图文或声音等多模态的数据集进行训练。

训练一个个人日程提醒工具通常需要输入以下几类信息： 1. 日程的具体内容：包括活动的名称、描述等。 2. 时间信息：明确日程开始和结束的具体时间。 3. 重复模式：例如是否每天、每周、每月重复等。 4. 提醒方式：如短信、邮件、应用内推送等，以及提前提醒的时间间隔。 输入格式可以是结构化的数据格式，如 JSON 格式，包含上述各个字段的键值对；也可以是表格形式，将不同的信息列在不同的列中；或者是文本形式，但需要有明确的分隔和标识，以便程序能够准确解析。

训练一个智能时间提醒工具可以遵循以下流程： 1. 明确需求：确定提醒工具的具体功能和使用场景，例如是针对个人日程、工作任务还是特定活动的提醒。 2. 数据收集：收集与时间和提醒相关的数据，包括常见的时间模式、任务类型、重要程度等。 3. 选择技术框架：根据需求和自身技术能力，选择适合的人工智能框架和工具，如 TensorFlow、PyTorch 等。 4. 模型设计：设计合适的模型结构，例如可以使用循环神经网络（RNN）或长短时记忆网络（LSTM）来处理时间序列数据。 5. 数据预处理：对收集到的数据进行清洗、预处理和标注，使其适合模型训练。 6. 训练模型：使用预处理后的数据进行训练，调整参数以优化模型性能。 7. 评估模型：使用测试集对训练好的模型进行评估，查看准确率、召回率等指标。 8. 优化调整：根据评估结果对模型进行优化，如调整网络结构、增加训练数据量等。 9. 部署应用：将训练好的模型部署到实际应用环境中，如移动应用、桌面软件等。 10. 持续改进：根据用户反馈和实际使用情况，不断改进和优化提醒工具的性能和功能。