Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

微调训练框架的选择

Answer

以下是关于微调训练框架选择的相关内容：

对于 Stable Diffusion 的微调训练：

  1. 配置文件：
    • 在 config 文件夹中有 config_file.toml 和 sample_prompt.toml 两个配置文件，分别存储着训练超参数与训练中的验证 prompt。
    • config_file.toml 文件包含 model_arguments、optimizer_arguments、dataset_arguments、training_arguments、sample_prompt_arguments 以及 saving_arguments 六个维度的参数信息。
    • 例如，v2 和 v_parameterization 同时设置为 true 时开启 Stable Diffusion V2 版本的训练；pretrained_model_name_or_path 用于读取本地 Stable Diffusion 预训练模型用于微调训练；optimizer_type 可选择多种优化器，如 AdamW（默认）、AdamW8bit（显存不足时可选，会有轻微性能损失）、Lion（最新版本，性能优异但学习率需设置较小）等；学习率方面，单卡推荐设置 2e-6，多卡推荐设置 1e-7。
  2. 训练启动：
    • 将配置好的 config_file.toml 和 sample_prompt.txt 参数传入训练脚本中。
    • 在命令行输入相应命令即可开始训练，训练脚本启动后会打印出 log 方便查看训练过程节奏。
    • 1024 分辨率+FP16 精度+xformers 加速时，SD 模型进行 Batch Size=1 的微调训练约需 17.1G 显存，Batch Size=4 的微调训练约需 26.7G 显存，因此最好配置 24G 以上显卡。
  3. 模型使用：
    • 微调训练完成后，模型权重保存在之前设置的 output_dir 路径下。
    • 使用 Stable Diffusion WebUI 框架加载模型进行 AI 绘画，需将训练好的模型放入/models/Stable-diffusion 文件夹下，并在 Stable Diffusion WebUI 中选用。

对于 OpenAI 的微调训练：

  1. 准备训练数据后，使用 OpenAI CLI 开始微调工作。
  2. 指明从哪个基本模型（ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型名称。
  3. 运行命令后会上传文件、创建微调作业并流式传输事件直到作业完成，通常需要几分钟，也可能因作业排队或数据集大小等因素需要数小时。
  4. 每个微调工作都从默认为 curie 的基本模型开始，模型选择会影响性能和成本。
  5. 开始微调作业后，可能需要排队等待，完成后会显示微调模型的名称。还可以列出现有作业、检索作业状态或取消作业。
Content generated by AI large model, please carefully verify (powered by aily)

References

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

接下来，Rocky将带着大家从头到尾走通SD全参微调训练过程，并讲解训练参数的意义。首先，我们可以看到config文件夹中有两个配置文件config_file.toml和sample_prompt.toml，他们分别存储着SD的训练超参数与训练中的验证prompt。config文件夹中的配置文件config_file.toml和sample_prompt.txt其中config_file.toml文件主要包含了model_arguments，optimizer_arguments，dataset_arguments，training_arguments，sample_prompt_arguments以及saving_arguments六个维度的的参数信息，下面Rocky为大家依次讲解各个超参数的作用：v2和v_parameterization：两者同时设置为true时，开启Stable Diffusion V2版本的训练。pretrained_model_name_or_path：读取本地Stable Diffusion预训练模型用于微调训练。optimizer_type：选择优化器类型。一共有：["AdamW"(default),"AdamW8bit","Lion","SGDNesterov","SGDNesterov8bit","DAdaptation","AdaFactor"]七种优化器可以选择。其中当我们不进行选择优化器类时，默认会启动AdamW优化器；当我们的显存不太充足时，可以选择AdamW8bit优化器，能降低训练时的显存占用，但代价是轻微地性能损失；Lion优化器是目前优化器方向上最新的版本，性能较为优异，但是使用Lion优化器时学习率需要设置较小，比如设置为AdamW优化器下的1/3。learning_rate：训练学习率，单卡推荐设置2e-6，多卡推荐设置1e-7。

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

除了上述的训练环境参数传入，最重要的还是将刚才配置好的config_file.toml和sample_prompt.txt参数传入训练脚本中。接下里，就到了激动人心的时刻，我们只需在命令行输入以下命令，就能开始SD模型的全参微调训练啦：训练脚本启动后，会打印出以下的log，方便我们查看整个训练过程的节奏：当我们设置1024分辨率+FP16精度+xformers加速时，SD模型进行Batch Size=1的微调训练需要约17.1G的显存，进行Batch Size=4的微调训练需要约26.7G的显存，所以想要微调训练SD模型，最好配置一个24G以上的显卡，能让我们更佳从容地进行训练。到此为止，Rocky已经将SD全参微调训练的全流程都做了详细的拆解，等训练完成后，我们就可以获得属于自己的SD模型了！（5）加载自训练SD模型进行AI绘画SD模型微调训练完成后，会将模型权重保存在我们之前设置的output_dir路径下。接下来，我们使用Stable Diffusion WebUI作为框架，加载SD宝可梦模型进行AI绘画。在本文4章中，Rocky已经详细讲解了如何搭建Stable Diffusion WebUI框架，未使用过的朋友可以按照这个流程快速搭建起Stable Diffusion WebUI。要想使用SD模型进行AI绘画，首先我们需要将训练好的SD宝可梦模型放入Stable Diffusion WebUI的/models/Stable-diffusion文件夹下。然后我们在Stable Diffusion WebUI中分别选用SD宝可梦模型即可：

微调（Fine-tuning）

以下假设您已经按照上述说明准备了训练数据。使用OpenAI CLI开始微调工作：您从哪里BASE_MODEL开始的基本模型的名称（ada、babbage、curie或davinci）。您可以使用后缀参数自定义微调模型的名称。运行上面的命令会做几件事：1.使用文件API上传文件（或使用已经上传的文件）2.创建微调作业3.流式传输事件直到作业完成（这通常需要几分钟，但如果队列中有很多作业或您的数据集很大，则可能需要数小时）每个微调工作都从一个默认为curie的基本模型开始。模型的选择会影响模型的性能和运行微调模型的成本。您的模型可以是以下之一：ada、babbage、curie或davinci。请访问我们的定价页面，了解有关微调费率的详细信息。开始微调作业后，可能需要一些时间才能完成。在我们的系统中，您的工作可能排在其他工作之后，训练我们的模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。如果事件流因任何原因中断，您可以通过运行以下命令恢复它：工作完成后，它应该显示微调模型的名称。除了创建微调作业外，您还可以列出现有作业、检索作业状态或取消作业。

Others are asking
微调
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构，然后在特定任务数据上继续训练，使其适应新任务。 例如在情感分类中，可先使用大量语料库预训练模型学会基本语法和单词语义，再用标注过的电影评论继续训练以判断情感。在图像分类中，先使用大量图片预训练模型学会识别基本形状和纹理，再用标注的猫和狗图片继续训练以区分二者。 创建微调模型时，假设已准备好训练数据，可使用 OpenAI CLI 开始微调工作。需确定从哪个基本模型（如 ada、babbage、curie 或 davinci）开始，并可使用后缀参数自定义微调模型名称。运行命令会上传文件、创建微调作业、流式传输事件直至作业完成。每个微调工作默认从 curie 模型开始，模型选择会影响性能和成本。作业开始后可能需几分钟或几小时完成，若事件流中断可恢复。此外，还可列出现有作业、检索作业状态或取消作业。 微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。但调整超参数通常可产生更高质量输出的模型，可能需配置的内容包括：要微调的基本模型名称（如“ada”“babbage”“curie”“davinci”）；训练模型的时期数（n_epochs，默认为 4）；批量大小（batch_size，默认为训练集中示例数量的 0.2%，上限为 256）；微调学习率乘数（learning_rate_multiplier，默认为 0.05、0.1 或 0.2）；是否计算分类指标（compute_classification_metrics，默认为假）。配置这些超参数可通过 OpenAI CLI 上的命令行标志传递。
2025-01-11
微调是什么意思
微调（Finetuning）是一种迁移学习技术，常用于深度学习中。其基本思路是：先有一个在大量数据上预训练过的模型，该模型已学会一些基本模式和结构（如自然语言处理中学会基本语法和单词语义，图像识别中学会基本形状和纹理）。然后，在特定任务数据上继续训练这个模型，使其适应新的任务。 以下是两个例子帮助理解： 1. 情感分类：先使用大量语料库预训练模型，使其学会基本语法和单词语义。再收集标注过的电影评论（一部分积极，一部分消极），在这些评论上继续训练模型，使其学会判断评论情感。 2. 图像分类：先使用大量图片（如 ImageNet 数据集）预训练模型，使其学会识别图片中的基本形状和纹理。再收集标注过的图片（一部分是猫，一部分是狗），在这些图片上继续训练模型，使其学会区分猫和狗。 微调在 LLM 应用中，是在已经训练好的模型基础上进一步调整，让模型的输出更符合预期。Finetune、Finetuning 是常用的英文写法。微调是在较小的、针对特定任务的标注数据集上进一步训练已经预训练过的 LLM 的过程，可调整部分模型参数以优化其在特定任务或任务集上的性能。 微调可让您从 API 提供的模型中获得更多收益，如比即时设计更高质量的结果、能够训练比提示中更多的例子、由于更短的提示而节省 Token、更低的延迟请求。GPT3 已在大量文本上预训练，微调通过训练比提示中更多的示例来改进小样本学习，让您在大量任务中取得更好的结果。对模型进行微调后，您将不再需要在提示中提供示例，这样可以节省成本并实现更低延迟的请求。 微调涉及以下步骤： 1. 准备和上传训练数据。 2. 训练新的微调模型。 3. 使用您的微调模型。 微调目前仅适用于以下基础模型：davinci、curie、babbage 和 ada。这些是原始模型，在训练后没有任何说明（例如 textdavinci003）。您还可以继续微调微调模型以添加其他数据，而无需从头开始。建议使用 OpenAI 命令行界面，安装时需注意相关要求。
2025-01-11
如何微调大模型
微调大模型主要包括以下几个方面： 1. 理解大模型：大模型是通过输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。可以用“上学参加工作”来类比大模型的训练和使用过程，包括找学校（需要大量 GPU 进行训练）、确定教材（需要大量数据）、找老师（选择合适算法）、就业指导（微调）和搬砖（推导）。 2. 准备数据集：数据集是让大模型重新学习的知识。例如，对于 Llama3 的微调，可以参考相关文档获取和了解数据集，如下载数据集。 3. 选择微调方式：从参数规模的角度，大模型的微调分成两条技术路线，全量微调 FFT（Full Fine Tuning）对全量的模型参数进行全量训练，PEFT（ParameterEfficient Fine Tuning）只对部分模型参数进行训练。从成本和效果综合考虑，PEFT 是目前业界较流行的微调方案。 4. 进行微调操作：有了数据集后，将其上传到服务器，编写微调代码并执行，大概 15 分钟左右可完成微调。 5. 参考资源：OpenAI 官方微调教程 。 微调的好处包括提高模型在特定任务中的性能和提高模型效率。经过微调的模型可能会失去一些通用性，但对于特定任务会有更好的表现，同时还能实现更低的延迟和成本。
2025-01-10
微调和增量训练的区别
微调和增量训练是在人工智能领域中用于改进模型性能的两种不同方法，它们有以下区别： 微调： 参数调整范围：分为全量微调（FFT）和参数高效微调（PEFT）。全量微调对全量的模型参数进行全量训练，PEFT 则只对部分模型参数进行训练。 数据使用：在较小的、特定领域的数据集上继续大语言模型（LLM）的训练过程，通过调整模型本身的参数来提高在特定任务中的性能。 效果和优势： 能大幅提高模型在特定任务中的性能，因为可以输入更多示例。 提高模型效率，可通过专门化模型使用更小的模型，且由于只对输入输出对进行训练，能舍弃示例或指令，进一步改善延迟和降低成本。 但经过微调的模型可能会失去一些通用性。 增量训练：文中未明确提及增量训练的相关内容。 总的来说，微调是一种针对特定任务和数据集对模型参数进行调整的有效方法，而增量训练的具体特点和与微调的详细对比在提供的内容中未充分阐述。
2025-01-07
训练以及部署微调模型
以下是关于训练以及部署微调模型的相关信息： 创建微调模型： 假设您已准备好训练数据。使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL（如 ada、babbage、curie 或 davinci）开始，可使用后缀参数自定义微调模型的名称。运行命令后会进行以下操作： 1. 使用文件 API 上传文件（或使用已上传的文件）。 2. 创建微调作业。 3. 流式传输事件直到作业完成，这通常需要几分钟，但如果队列中有很多作业或数据集很大，可能需要数小时。 每个微调工作都从默认为 curie 的基本模型开始，模型的选择会影响性能和成本。您的模型可以是 ada、babbage、curie 或 davinci，可访问定价页面了解微调费率的详细信息。 开始微调作业后，可能需要一些时间才能完成。工作可能排在其他工作之后，训练模型可能需要几分钟或几小时，具体取决于模型和数据集的大小。若事件流中断，可通过运行特定命令恢复。工作完成后，会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。 GPT 助手的训练： 在有监督的微调阶段，收集少量但高质量的数据集，要求人工承包商收集提示和理想响应的数据，通常是几万个或类似数量。然后对这些数据进行语言建模，算法不变，只是训练集从互联网文档变为问答提示响应类型的数据。训练后得到有监督的微调模型（SFT 模型），可实际部署。 大型语言模型的微调： 一旦有了基础模型，进入计算成本相对较低的微调阶段。编写标签说明，明确助手的表现期望，雇佣人员创建文档，如收集 100,000 个高质量的理想问答对来微调基础模型，此过程可能只需一天。然后进行大量评估，部署模型并监控表现，收集不当行为实例并纠正，将正确答案加入训练数据，重复此过程。由于微调成本较低，可每周或每天进行迭代。 例如 Llama2 系列，Meta 发布时包括基础模型和助手模型。基础模型不能直接使用，助手模型可直接用于回答问题。若想自己微调，Meta 完成的昂贵的第一阶段结果可提供很大自由。
2025-01-06
全量微调与少量参数微调
在参数规模的角度，大模型的微调分为全量微调（FFT，Full Fine Tuning）和少量参数微调（PEFT，ParameterEfficient Fine Tuning）两条技术路线。 全量微调是对全量的模型参数进行全量的训练。少量参数微调则只对部分模型参数进行训练。从成本和效果的综合考虑，PEFT 是目前业界较流行的微调方案。 微调是在较小的、特定领域的数据集上继续 LLM 的训练过程，通过调整模型本身的参数，而非像提示工程和 RAG 那样仅更改提示，能大幅提高模型在特定任务中的性能。微调有两大好处：一是提高模型在特定任务中的性能，可输入更多示例，经过微调的模型可能会失去一些通用性，但对于特定任务会有更好表现；二是提高模型效率，实现更低的延迟和成本，可通过专门化模型使用更小的模型，且只对输入输出对进行训练，舍弃示例或指令进一步改善延迟和成本。 关于微调的具体实现，LoRA 微调脚本见：。 在微调的超参数方面，选择了适用于一系列用例的默认超参数，唯一需要的参数是训练文件。调整超参数通常可产生更高质量输出的模型，可能需要配置的内容包括：model（要微调的基本模型的名称，可选择“ada”“babbage”“curie”或“davinci”之一）、n_epochs（默认为 4，训练模型的时期数）、batch_size（默认为训练集中示例数量的 0.2%，上限为 256）、learning_rate_multiplier（默认为 0.05、0.1 或 0.2，具体取决于 final batch_size）、compute_classification_metrics（默认为假，若为 True，为对分类任务进行微调，在每个 epoch 结束时在验证集上计算特定于分类的指标）。要配置这些额外的超参数，可通过 OpenAI CLI 上的命令行标志传递。 OpenAI 官方微调教程：
2025-01-06
提供几篇讲解AI 相关的基本概念、知识框架的文章
以下是为您提供的讲解 AI 相关的基本概念、知识框架的文章： 1. 新手学习 AI 方面： 建议阅读「」部分，熟悉 AI 的术语和基础概念，了解人工智能的主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 在「」中，您将找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 您还可以通过在线教育平台（如 Coursera、edX、Udacity）上的课程按照自己的节奏学习，并获得证书。 2. 书籍推荐方面： 《认知神经学科：关于心智的生物学》（作者:Michael S.Gazzaniga;Richard B.Lvry;George R.Mangun）：世界权威的认知神经科学教材，认知神经科学之父经典力作，系统了解认知神经科学的发展历史、细胞机制与认知、神经解剖与发展、研究方法、感觉知觉、物体识别、运动控制、学习与记忆、情绪、语言、大脑半球特异化、注意与意识、认知控制、社会认知和进化的观点等。 《神经科学原理》（作者：Eric R.Kandel;James H.Schwartz）：让您系统神经元的细胞和分子生物学、突触传递、认知的神经基础、感觉、运动、神经信息的加工、发育及行为的出现、语言、思想、感动与学习。 《神经生物学:从神经元到脑》（作者：John G.Nicholls 等著）：神经生物学领域内的一本世界级名著，涵盖了神经科学的方方面面，系统介绍了神经生物徐的基本概念、神经系统的功能及细胞和分子机制。 3. 相关文章方面： 《》：这是公众号琢磨事翻译的领英工程师的一篇文章，分享了在领英开发 AI 驱动产品的经验，重点探讨了生成式 AI 的相关内容。 《麻省理工科技评论》发布的《》：万字长文探讨了人工智能的定义和发展，详细阐述了人工智能的基本概念、技术背景及其在各个领域的应用，分析了当前的技术挑战和未来的发展方向，还讨论了人工智能对社会、经济和伦理的影响。
2025-02-06
12 个精选 prompt 框架
以下是 12 个精选的 prompt 框架： 1. ICIO 框架： 指令：执行的具体任务。 背景信息：提供执行任务的背景信息、上下文内容，以便大模型更好地回答。 输入信息：大模型需要用到的一些信息。 输出信息：明确输出的具体信息的要求，比如字数、风格、格式。 2. BROKE 框架：通过 GPT 的设计提示，提升整体反馈的效率。 背景：提供足够背景信息，让大模型理解问题的上下文。 角色设定：特定的角色，让 GPT 根据特定的角色能力和特点来形成响应。 目标：明确任务的目标，让大模型知道您想让它做什么。 结果定义：明确可以衡量的结果，让大模型清楚自己做的情况。 调整：根据具体的情况，调整具体的结果。 3. CRISPIE 框架： 能力和角色：您期望大模型扮演的角色洞察，提供幕后洞察力、背景信息和上下文。 声明：简洁明了地说明希望完成的任务。 个性：回应的风格、个性或者方式。 实验：提供多个回答的示例。 4. 课件中的 Prompt 之术“三板斧”： 分配角色。 给出示例（fewshots）。 思维链（ChainofThought）。
2025-02-06
语言框架有哪些
以下为您介绍一种常用的语言框架——LangChain： LangChain 是一个为简化大模型应用开发而设计的开源框架。它通过提供一套模块化的工具和库，允许开发者轻松集成和操作多种大模型，让开发者能将更多精力投入到创造应用的核心价值上。其设计注重简化开发流程，支持广泛的模型，具有良好的可扩展性，能适应不断变化的业务需求。作为一个得到社区广泛支持的开源项目，LangChain 拥有活跃的贡献者和持续的更新，同时提供了全面的文档和示例代码帮助新用户快速掌握。此外，LangChain 在设计时充分考虑了应用的安全性和用户数据的隐私保护，是一个多语言支持的灵活框架，适用于各种规模的项目和不同背景的开发者。 LangChain 官方手册：https://python.langchain.com/docs/get_started/introduction/
2025-01-31
COZE 是基于什么框架
Coze 基于以下框架构成： 1. 提示词：使用了结构化提示词的框架，通过提示要求大模型根据不同的行为调用不同的工作流。 2. 数据库：能够记录不同用户历史记账记录，工作流里会用到。 3. 工作流：增加记账调用 add_accounting_record 工作流；查询账户余额调用 query_accounting_balance 工作流；删除所有记账记录调用 init_accounting_records 。 此外，还有关于 Coze 的其他信息： Coze 是由字节跳动推出的 AI 聊天机器人和应用程序编辑开发平台，专为开发下一代 AI 聊天机器人而设计。 具有多语言模型支持、插件系统、知识库功能、数据库和记忆能力、工作流设计、多代理模式等特点。 目前对用户完全免费，且易于发布和分享。
2025-01-26
12个prompt 框架
以下是 12 种 Prompt 框架： 1. Instruction（指令）：即希望 AI 执行的具体任务，如翻译或写一段文字。 2. Context（背景信息）：给 AI 更多背景信息，引导模型做出更贴合需求的回复。 3. Input Data（输入数据）：告知模型需要处理的数据。 4. Output Indicator（输出引导）：告知模型输出的类型或风格。 5. Capacity and Role（能力和角色）：ChatGPT 应扮演的角色。 6. Insight（见解）：提供请求背后的见解、背景和上下文。 7. Statement（声明）：说明要求 ChatGPT 做什么。 8. Personality（个性）：希望 ChatGPT 以何种风格、个性或方式回应。 9. Experiment（实验）：请求 ChatGPT 回复多个示例。 10. Background（背景）：说明背景，为 ChatGPT 提供充足信息。 11. Role（角色）：希望 ChatGPT 扮演的角色。 12. Objectives（目标）：希望实现的目标。 此外，还有以下框架： 1. TASK（任务）：定义特定任务。 2. ACTION（行动）：描述需要做的事情。 3. GOAL（目标）：解释最终目标。 4. INPUT（输入）：描述信息或资源。 5. STEPS（步骤）：询问详细的步骤。 6. EXPECTATION（期望）：描述所需的结果。 7. REQUEST（请求）：描述您的要求。 8. Key Result（关键结果）：要什么具体效果，试验并调整。 9. Evolve（试验并改进）：三种改进方法自由组合，包括改进输入、改进答案、重新生成。 10. CONTEXT（上下文背景）：为对话设定舞台。 11. OBJECTIVE（目的）：描述目标。 12. SCENARIO（方案）：描述场景。 同时，还有一些特定的框架，如 ICIO 框架、CRISPE 框架、BROKE 框架等。
2025-01-23
dify编排框架是什么意思
Dify 编排框架是一种在 AI 领域中应用的可视化编排框架，例如在 workflow 可视化编排页面中使用（框架：React Flow）。它具有以下特点和优势： 1. 集各家所长，在用户体验方面表现出色。 2. 可以人为编排 Workflow 里的子任务，与 AutoGPT 由大模型编排任务的方式不同，这种手动编排方式带来了明显的优化，如在流程中加入人类 Knowhow 以补足模型知识的不足，通过专家测试试跑减少生产环境中的反复无效反思，引入图的概念灵活组织节点、连接各类工具等。 3. 加入图的概念后，workflow 的天花板变得非常高，可以在流程中任意增加节点和各种类型的节点，不仅能套工具、套其它 agent，还能写代码用硬逻辑处理或接大模型进行判断，能力上限很大程度取决于想象力。 4. 对于个人开发者构建高质量的 AI 数字人很有帮助，有大量开源工作者维护，集成了各种主流的模型供应商、工具以及算法实现等，可以通过它快速编排出自己的 AI Agent，赋予数字人灵魂。利用其编排和可视化交互能任意修改流程，构造不同的 AI Agent，并实现相对复杂的功能，如知识库搭建、工具使用等，无需任何编码和重新部署工作。同时，Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口，基于这两个接口可将数字人的语音识别和语音生成都交由 Dify 控制。如果有更加高度定制的模型，也可以在 Dify 中接入 XInference 等模型管理平台进行部署。此外，数字人 GUI 工程中仍保留了多个模块，能保持更好的扩展。 在使用 Dify 接口时，需要注意必须在应用编排功能中打开文字转语音和语音转文字功能，否则接口会返回未使能的错误。只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商，才会在功能板块中展示出来，Dify 的模型供应商图标下标签有展示该供应商支持哪些功能，可自行选择方便使用的。对于 TTS，不同的模型供应商支持的语音人物不同，可以根据个人喜好添加。
2025-01-21
垂直领域大模型训练指南
以下是一份垂直领域大模型训练指南： 一、大模型入门 通俗来讲，大模型就是输入大量语料，让计算机获得类似人类的“思考”能力，能够进行文本生成、推理问答、对话、文档摘要等工作。 大模型的训练和使用过程可以用“上学参加工作”来类比： 1. 找学校：训练大模型需要大量计算，GPU 更合适，只有购买得起大量 GPU 的才有资本训练自己的大模型。 2. 确定教材：大模型需要的数据量特别多，几千亿序列（Token）的输入基本是标配。 3. 找老师：即用合适的算法讲述“书本”中的内容，让大模型更好理解 Token 之间的关系。 4. 就业指导：为了让大模型更好胜任某一行业，需要进行微调（fine tuning）指导。 5. 搬砖：就业指导完成后，进行如翻译、问答等工作，在大模型里称之为推导（infer）。 在 LLM 中，Token 被视为模型处理和生成的文本单位，可以代表单个字符、单词、子单词等，具体取决于所使用的分词方法。在将输入进行分词时，会对其进行数字化，形成一个词汇表。 二、LLM 开源中文大语言模型及数据集集合 1. 医疗领域 XrayGLM：首个会看胸部 X 光片的中文多模态医学大模型。 地址： 简介：该项目发布了 XrayGLM 数据集及模型，在医学影像诊断和多轮交互对话上显示出非凡潜力。 MeChat：中文心理健康支持对话大模型。 地址： 简介：该项目开源的中文心理健康支持通用模型由 ChatGLM6B LoRA 16bit 指令微调得到，数据集通过调用 gpt3.5turbo API 扩展真实的心理互助 QA 为多轮的心理健康支持多轮对话，提高了通用语言大模型在心理健康支持领域的表现，更加符合在长程多轮对话的应用场景。 MedicalGPT 地址： 简介：训练医疗大模型，实现包括二次预训练、有监督微调、奖励建模、强化学习训练。发布中文医疗 LoRA 模型 shibing624/ziyallama13bmedicallora，基于 ZiyaLLaMA13Bv1 模型，SFT 微调了一版医疗模型，医疗问答效果有提升，发布微调后的 LoRA 权重。 三、100 基础训练大模型 步骤三·Lora 生图： 1. 点击预览模型中间的生图会自动跳转到相应页面。 2. 模型上的数字代表模型强度，可在 0.6 1.0 之间调节，默认为 0.8。 3. 可以自己添加 lora 文件，点击后会显示训练过的所有 lora 的所有轮次。 4. VAE 不需要替换。 5. 正向提示词输入所写的提示词，可以选择基于这个提示词一次性生成几张图。 6. 选择生成图片的尺寸，包括横板、竖版、正方形。 7. 采样器和调度器新手小白可以默认不换。 8. 迭代步数可以按照需求在 20 30 之间调整。 9. CFG 可以按照需求在 3.5 7.5 之间调整。 10. 随机种子 1 代表随机生成图。 11. 所有设置都完成后，点击开始生成，生成的图会显示在右侧。 12. 如果有某次生成结果不错，想要微调或者高分辨率修复，可以点开那张图，往下滑，划到随机种子，复制下来，粘贴到随机种子这里，下次生成的图就会和这次的结果近似。 13. 如果确认了一张很合适的种子和参数，想要高清放大，则点开高清修复，可以选择放大的倍数。新手小白可以默认算法，迭代步数建议在 20 30 之间，重回幅度根据需求在 0.3 0.7 之间调整。 今日作业：按照比赛要求，收集六个主题中一个主题的素材并且训练出 lora 模型后提交 lora 模型与案例图像。 提交链接:https://waytoagi.feishu.cn/share/base/form/shrcnpJAtTjID7cIcNsWB79XMEd
2025-02-07
我们是做小红书笔记的，目前有没有哪个软件可以把我们上千篇以往人工写的笔记，投喂给它，训练出一个能按照以往风格来写笔记的呢？比如扣子或者钉钉，可以吗
目前市面上常见的软件中，豆包暂时未获取到扣子或钉钉有此功能的相关信息。不过，像一些专门的自然语言处理和机器学习平台，如 OpenAI 的 GPT 系列、百度的文心一言等，在一定的技术支持和合规操作下，有可能实现您的需求。但需要注意的是，将大量以往的笔记用于训练模型可能涉及到数据隐私和版权等问题，需要谨慎处理。
2025-02-07
我们是做小红书笔记的，目前有没有哪个软件可以把我们上千篇以往人工写的笔记，投喂给它，训练出一个能按照以往风格来写笔记的呢
目前市面上还没有专门针对小红书笔记且能完全满足您需求的成熟软件。一般来说，使用现有的自然语言处理模型进行这样的训练存在诸多限制和法律风险。小红书对于内容的原创性和合规性有严格要求，使用以往的笔记进行训练可能违反平台规定。但您可以通过学习和借鉴以往笔记的写作风格、结构和主题，人工创作出新的优质笔记。
2025-02-07
你是基于哪个模型训练出来的
以下是为您整合的相关内容： 在 Comfy UI 中训练 LoRA 模型：确保后面有一个空格，将 requirements_win.txt 文件（Windows 系统）或 requirements.txt 文件（非 Windows 系统）拖到命令提示符中，按 Enter 键安装依赖项。若使用虚拟环境，需先激活。图像应放在特定命名格式的文件夹中，data_path 需写入包含数据库文件夹的路径，Python 需要斜杠，节点会自动转换反斜杠，文件夹名称中的空格不是问题。第一行可从 checkpoint 文件夹中选择模型，据说训练需选择基本模型。 训练 Midjourney 的 prompt：V5 是在其 AI 超级集群上训练了 5 个月的第二个模型。基本参数包括：Aspect Ratios 可改变生成的纵横比；Chaos 可改变结果的多样性；No 用于负向提示；Quality 决定渲染质量时间；Seed 用于指定生成图像的起始点，相同种子和提示会产生相似结果；Stop 可在过程中途停止作业。 如何使用 AI 来做事：制作图像时，不同模型创建的图像有比较。这些系统存在内置偏见，可能存在法律和道德问题，目前不能创建真正的文本。
2025-02-06
如何训练一个自己的模型用来识别不同的图片类别
训练自己的模型来识别不同的图片类别可以参考以下方法： 对于扩散模型（如 Midjourney）： 强大的扩散模型训练往往消耗大量 GPU 资源，推理成本高。在有限计算资源下，可在强大预训练自动编码器的潜在空间中应用扩散模型，以在复杂度降低和细节保留间达到平衡，提高视觉保真度。引入交叉注意力层可使其成为灵活的生成器，支持多种条件输入。 Midjourney 会定期发布新模型版本以提升效率、连贯性和质量。最新的 V5 模型具有更广泛的风格范围、更高的图像质量、更出色的自然语言提示解读能力等。 用 SD 训练贴纸 LoRA 模型： 对于原始形象，可通过 MJ 关键词生成不同风格的贴图，总结其特征。注意关键词中对颜色的限制，保持正面和负面情绪数据比例平衡。若训练 25626 大小的表情包，初始素材可能够用，若训练更高像素图片，可能需进一步使用 MJ 垫图和高清扩展功能。 进行高清化时，从 256 到 1024 分辨率，输入左图并加入内容和风格描述，挑选合适的图片。 多模态模型（以 StableDiffusion 为例）： 多模态模型包括文生图、图生图、图生视频、文生视频等，底层逻辑通常从生图片源头开始。 扩散模型（如 StableDiffusion 中使用的）的训练是对图片加减噪点的过程。先对海量带有标注文字描述的图片逐渐加噪点，模型学习每一步图片向量值和文字向量值的数据分布演变规律，完成训练。输入文字后，模型根据文字向量指导充满噪点的图片减噪点生成最终图片。扩散模型加减噪点方式与大脑构思图片方式类似，且多模态模型会关联文字向量值和图片像素点向量值。
2025-01-31
如何对扣子智能体做专属训练
对扣子智能体进行专属训练时，需要注意以下要点： 1. 跳转设置：扣子在节点切换提供了独立和非独立两种识别模式。独立识别模式中每个节点都有一个独立识别模型，非独立模式则直接使用当前智能体模型进行判断，实际使用中推荐独立模式。 2. 独立模式的选择：独立模式有两种选择。第一种是面对通用指令时，选择已经训练好的、专门用于节点切换的大型模型，其优点是经过特定训练，无需额外操心设计。第二种是在遇到非常复杂的情景时，使用自定义的大型模型，可根据需求定制模型和编写特定提示词以适应复杂交互场景，但实际测试效果不理想，所以推荐使用第一种。 3. 关键注意点：在使用专门训练的意图识别模型进行节点切换时，要特别注意两个关键点。一是每个智能体的用途必须清晰明确，在设计和实现时要清楚标注其功能和目的，以确保系统能准确识别和响应用户意图。二是智能体的名称非常重要，应清晰、易于识别，便于系统识别和记忆。
2025-01-27
当我想要解决一个问题，面对如此多的AI站点和AI智能体，我该如何选择？
在面对众多的 AI 站点和 AI 智能体时，您可以从以下几个方面进行选择： 1. 明确自身需求：确定您希望解决的具体问题和期望达到的目标，以便找到与之匹配的 AI 工具。 2. 了解功能特点：不同的 AI 智能体具有不同的功能和优势。例如，有些擅长自然语言处理和回答各种问题，有些则在特定领域如编程、设计等有出色表现。 3. 考虑技术能力：包括模型的性能、上下文窗口长度、响应速度和并发支持等。响应速度快、并发支持高的工具能在多人使用时保持良好性能。 4. 成本因素：关注免费或低价的选项，以降低使用成本。 5. 个性化需求满足：选择能够根据您的业务场景和个性化需求进行定制的 AI 智能体。 例如，字节的扣子（Coze）是新一代一站式 AI Bot 开发平台，无论有无编程基础都能构建各类问答 Bot，并可发布到多种社交平台和通讯软件上。而在开发 AI 插件时，像 AI Share Card 插件会根据需求选择合适的模型，如选用了具有较长上下文窗口、免费且并发支持高的 GLM4flash 模型。 总之，要综合考虑自身需求、功能特点、技术能力、成本和个性化等因素，选择最适合您的 AI 站点和智能体。
2025-02-04
Coze + 飞书 + 飞书多维表格：通过飞书机器人与 Coze 搭建的智能体进行对话，在聊天窗口中完成链接输入和阅读计划输出。由 Coze 调用大模型、插件完成内容的整理、推荐，利用飞书多维表格存储和管理稍后读数据，无需开发任何插件、APP，能实现跨平台的稍后读收集与智能阅读计划的推荐。其设计思路包括简化“收集”，实现跨平台收集和通过输入 URL 完成收集；自动化“整理入库”，自动整理关键信息并支持跨平台查看；智能“选择”推荐，根据收藏记录和用户兴趣生成阅读计划——这个方法具体如何操作？
以下是关于通过飞书机器人与 Coze 搭建的智能体进行对话，并利用飞书多维表格存储和管理稍后读数据，实现跨平台的稍后读收集与智能阅读计划推荐的具体操作方法： 前期准备： 1. 简化“收集”： 实现跨平台收集功能，支持电脑（web 端）、安卓、iOS 多端操作。 输入一个 URL 即可完成收集，借鉴微信文件传输助手的方式，通过聊天窗口完成收集输入。 2. 自动化“整理入库”： 系统在入库时自动整理每条内容的关键信息，包括标题、摘要、作者、发布平台、发布日期、收集时间和阅读状态。 阅读清单支持跨平台查看。 3. 智能“选择”推荐： 根据当前收藏记录和用户阅读兴趣进行相关性匹配，生成阅读计划。 使用飞书·稍后读助手： 1. 设置稍后读存储地址： 首次使用，访问。 点击「更多创建副本」，复制新表格的分享链接。 将新链接发送到智能体对话中。 还可以发送“查询存储位置”、“修改存储位置”来更换飞书多维表格链接，调整稍后读存储位置。 2. 收藏待阅读的页面链接： 在对话中输入需要收藏的页面链接，第一次使用会要求授权共享数据，授权通过后再次输入即可完成收藏。但目前部分页面链接可能小概率保存失败。 3. 智能推荐想看的内容： 在对话中发送“我想看 xx”、“xx 内容”，即可按个人兴趣推荐阅读计划。 至此，专属 AI 稍后读智能体大功告成，您可以尽情享受相关服务。
2025-01-27
AI换衣API推荐， 并多维度对比，选择最适合的API推荐给我
以下为您推荐的 AI 换衣相关的 API 并进行多维度对比： Comfyui_Object_Migration： 特点：可高精度迁移服装样式到目标人物图像，保持高一致性和细节完整性，支持从卡通到写实的风格互相转换，甚至可将平面角色图像转换为可 3D 打印的模型。 应用场景：虚拟角色服装设计迁移到真实照片、为动画角色添加写实服装、微调权重生成独特服装设计。 详细介绍及教程： GitHub： 在选择适合的 AI 大模型 API 服务时，需要考虑以下因素： 对于像开发 AI Share Card 插件这类情况，如果将模板生成功能设计为固定的代码组件，让大模型专注于内容总结的功能，那么对模型的要求就不会过高。 选型要求包括：较长的上下文窗口，因为内容总结类任务需要较大的上下文长度；响应速度要快、并发支持要高，以在多人使用插件时保持良好性能；免费或尽量低价，以减少模型 token 费用。例如，AI Share Card 选用的是 GLM4flash（截至 202412，长达 128k 的上下文窗口，完全免费的调用价格，200 RPM 高并发支持）。
2025-01-08
微调训练框架的选择
以下是关于微调训练框架选择的相关内容： 在 Stable Diffusion 中： 首先，config 文件夹中有两个配置文件 config_file.toml 和 sample_prompt.toml，分别存储着训练超参数与训练中的验证 prompt。 config_file.toml 文件主要包含了 model_arguments、optimizer_arguments、dataset_arguments、training_arguments、sample_prompt_arguments 以及 saving_arguments 六个维度的参数信息。 v2 和 v_parameterization：两者同时设置为 true 时，开启 Stable Diffusion V2 版本的训练。 pretrained_model_name_or_path：读取本地 Stable Diffusion 预训练模型用于微调训练。 optimizer_type：有七种优化器可以选择。不进行选择时默认启动 AdamW 优化器；显存不太充足时，可选择 AdamW8bit 优化器，但会有轻微性能损失；Lion 优化器是较新的版本，性能优异，但学习率需设置较小，比如为 AdamW 优化器下的 1/3。 learning_rate：单卡推荐设置 2e6，多卡推荐设置 1e7。 除了上述的训练环境参数传入，还需将配置好的 config_file.toml 和 sample_prompt.txt 参数传入训练脚本中。 当设置 1024 分辨率+FP16 精度+xformers 加速时，SD 模型进行 Batch Size=1 的微调训练需要约 17.1G 的显存，进行 Batch Size=4 的微调训练需要约 26.7G 的显存，所以最好配置一个 24G 以上的显卡。 微调训练完成后，模型权重会保存在之前设置的 output_dir 路径下。可以使用 Stable Diffusion WebUI 作为框架加载模型进行 AI 绘画，需将训练好的模型放入/models/Stablediffusion 文件夹下。 在 OpenAI 中： 使用 OpenAI CLI 开始微调工作，需指定从哪个 BASE_MODEL 开始（ada、babbage、curie 或 davinci），还可使用后缀参数自定义微调模型的名称。 运行命令后会上传文件、创建微调作业并流式传输事件直到作业完成。 每个微调工作都从一个默认为 curie 的基本模型开始，模型的选择会影响性能和成本。 开始微调作业后，可能需要几分钟或几小时才能完成，工作完成后会显示微调模型的名称。此外，还可以列出现有作业、检索作业状态或取消作业。
2025-01-06
以下是大致可以采用的步骤来实现这样一个能自动在大语言模型网站生成不同场景机器人图片的程序（以下以Python语言示例，不过不同平台具体实现会有差异且需遵循对应网站的使用规则和接口规范）： ### 1. 选择合适的大语言模型网站及确认其API（应用程序编程接口）情况 不同大语言模型网站对于图片生成通常会提供相应的API来允许外部程序与之交互，比如部分知名的AI绘画相关平台。你需要先确定要使用哪些网站，然后去注册开发者账号等，获取对应的API Key以及详细的API文档，了解如何通过代码向其发起图
以下是为您整合的相关内容： Ollama 框架： 1. 支持多种大型语言模型，如通义千问、Llama 2、Mistral 和 Gemma 等，适用于不同应用场景。 2. 易于使用，适用于 macOS、Windows 和 Linux 系统，支持 cpu 和 gpu，用户能轻松在本地环境启动和运行大模型。 3. 提供模型库，用户可从中下载不同模型，这些模型有不同参数和大小以满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 支持用户自定义模型，例如修改模型的温度参数来调整创造性和连贯性，或者设置特定的系统消息。 5. 提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富，包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 7. 安装：访问 https://ollama.com/download/ 进行下载安装。安装完后，确保 ollama 后台服务已启动（在 mac 上启动 ollama 应用程序，在 linux 上通过 ollama serve 启动），可通过 ollama list 确认。 基于 COW 框架的 ChatBot 实现步骤： 1. COW 是基于大模型搭建的 Chat 机器人框架，将多模型塞进自己的微信里实现方案。 2. 基于张梦飞同学的教程： 。 3. 实现内容： 打造属于自己的 ChatBot（文本对话、文件总结、链接访问、联网搜索、图片识别、AI 画图等）。 常用开源插件的安装应用。 4. 正式开始前需知： ChatBot 相较于在各大模型网页端使用区别：本实现思路需要接入大模型 API 的方式实现（API 单独付费）。 风险与注意事项： 微信端因非常规使用，有封号危险，不建议主力微信号接入。 只探讨操作步骤，请依法合规使用。 大模型生成的内容注意甄别，确保所有操作均符合相关法律法规要求。 禁止用于任何非法目的。 处理敏感或个人隐私数据时注意脱敏，以防滥用或泄露。 5. 多平台接入：微信、企业微信、公众号、飞书、钉钉等。 6. 多模型选择：GPT3.5/GPT4.0/Claude/文心一言/讯飞星火/通义千问/Gemini/GLM4/LinkAI 等。 7. 多消息类型支持：能处理文本、语音和图片，以及基于自有知识库进行定制的企业智能客服功能。 8. 多部署方法：本地运行、服务器运行、Docker 的方式。
2024-12-29
我是一位ai初学者，该如何选择学习的方向和材料
对于 AI 初学者，以下是一些选择学习方向和材料的建议： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能的定义、主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，您可以找到一系列为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，您可以根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习之后，实践是巩固知识的关键，尝试使用各种产品做出您的作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎您实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品进行互动，如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人，了解它们的工作原理和交互方式。 如果您偏向技术研究方向，需要学习的内容包括： 1. 数学基础：线性代数、概率论、优化理论等。 2. 机器学习基础：监督学习、无监督学习、强化学习等。 3. 深度学习：神经网络、卷积网络、递归网络、注意力机制等。 4. 自然语言处理：语言模型、文本分类、机器翻译等。 5. 计算机视觉：图像分类、目标检测、语义分割等。 6. 前沿领域：大模型、多模态 AI、自监督学习、小样本学习等。 7. 科研实践：论文阅读、模型实现、实验设计等。 如果您偏向应用方向，需要学习的内容包括： 1. 编程基础：Python、C++等。 2. 机器学习基础：监督学习、无监督学习等。 3. 深度学习框架：TensorFlow、PyTorch 等。 4. 应用领域：自然语言处理、计算机视觉、推荐系统等。 5. 数据处理：数据采集、清洗、特征工程等。 6. 模型部署：模型优化、模型服务等。 7. 行业实践：项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。
2024-12-19