Flux工作流

以下是关于 ComfyUI Flux 的教程： 安装及使用： 模型放置： t5xxl_fp16.safetensors：放在 ComfyUI/models/clip/目录下。 clip_l.safetensors：放在 ComfyUI/models/clip/目录下。 ae.safetensors：放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors：放在 ComfyUI/models/unet/目录下。 下载地址： 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 工作流下载：上面提供的工作流复制即可，或者使用官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将工作流或图片拖拽到 ComfyUI 里。 ComfyUI 共学相关： 插画提效成果显著，原本需要 200 人美术团队一年多完成的 1 万多张动画插画，最终不到 10 人用半年完成。 课程从零基础开始，从认识 config、UI 及行业概念讲起，逐步深入到环境部署、底层技术概念、提示词等内容。 介绍 config 牛角尖大王系列，包括 control net、IP Adapter、图像放大、mask 等部分，阐述了它们的作用和玩法。 具备搭建复杂工作流能力，学习相关知识后初步具备搭建复杂工作流能力，会拆解分析网上热门工作流。 解决 config UI 报错问题，报错问题可分为网络、模型、工作流搭建、环境等方面，安装新插件时可参考项目地址的 requirement 文档。 规划实战案例思路，目前想到了三个实战案例的思路。 关于 config UI 生态及相关技术的分享，郭佑萌介绍课程提纲，包括课程可能的扩充、回顾总结及重点讲解 Flux 模型，实际课程不严格按大纲走，会根据大家接受程度和安排进行共学。

以下是一些可能有助于让 FLUX 生成的人物更像真人照片的建议： 1. 尝试使用特定的提示词，例如“abstract network out of glass made of holographic liquid crystal, dark background, blue light reflections, symmetrical composition, centered in the frame, highly detailed, hyperrealistic, cinematic lighting, in the style of Octane Rende ar 16:9 style raw personalize v 6.1”。 2. 可以训练 FLUX Lora 模型，如褪色胶片风格，推荐权重 0.6 0.8，人像会偏向复古褪色的胶片风格。 3. 对于生成人物，还可以参考 XLabsAI 发布的不同 Lora，如 mjv6_lora（Midjourney 风格）、realism_lora（写实风格）等，并使用相应的示例进行参考和调整。 4. 您还可以从以下地址下载相关的 Lora：https://hfmirror.com/Kijai/fluxlorascomfyui/tree/main/xlabs

在 ComfyUI 中使用 FLUX 大模型让多次生成的人物一致的方法如下： 控制人物在多场景、多个姿势下的一致性有很多方法，课程后期会介绍。 对于多张图输出的显示问题，一次产出多张图在预览窗口目前不能并排显示。 Lora 的刷新：将 Lora 丢到文件夹后，多点几次刷新即可，Web UI 中 Lora 库有刷新按钮。 另外，在 Midjourney 中，人物一致性已上线，其操作如下： DavidH 介绍：Hey @everyone @here we're testing a new "Character Reference" feature today This is similar to the "Style Reference" feature, except instead of matching a reference style it tries to make the character match a "Character Reference" image. 具体操作：Type cref URL after your prompt with a URL to an image of a character. You can use cw to modify reference 'strength' from 100 to 0. strength 100 . 适用范围：This feature works best when using characters made from Midjourney images. It's not designed for real people / photos . 网页端操作：How does it work on the web alpha? Drag or paste an image into the imagine bar, it now has three icons. Selecting these sets whether it is an image prompt, a style reference, or a character reference. Shift + select an option to use an image for multiple categories. 在 ComfyUI 中处理模型连接和提示词相关问题，如让两个模型同时起作用的操作： 加入一个新节点，右键点击 【新建节点】 【实用工具】 【Primitive 元节点】。 在文本节点上单击右键，选择【转换文本为输入】，此时文本节点上就多了一个文本的连接点。 将元节点与文本节点相连接，元节点就变成了正向提示词的输入框。同理，可以将负向提示词框也用元节点代替。 再复制出一套正负提示词节点，一套给 base 模型，一套给 refiner 模型。然后，base 模型的那一套输出给第一个采样器节点，refiner 模型的那一套输出给第二个采样器节点。

以下是关于 Flux 的 lora 模型训练的相关信息： Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时，工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速，有 Lora、Controlnet、IPadpter 相关生态建设，字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。

以下是 Flux 的 Lora 模型训练教程： 首先，您需要下载相关模型，如 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 Flux GGUF 模型可从以下链接获取：https://huggingface.co/city96/FLUX.1devgguf/tree/main ，同时还有 GGUF 配套节点插件及 GGUF 节点包：https://github.com/city96/ComfyUIGGUF 。在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件则搜不到。 如果您的显卡是 16G 的，右键 16G 那个 train_flux_16GLora 的文件；如果您的显卡是 24G 或更高的，右键 24G 那个 train_flux_24GLora 的文件。（DB 全参微调对硬件要求更高，内存 32G 不行）即使是 train_flux_24GLora 的方式，也建议内存尽量高于 32G 以避免意外。 右键用代码编辑器方式打开文件（图中右边红框的两种任意一种均可，没有可以下载一下）。开头的绿色部分不用动，理论上只改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果相关模型在一个文件夹里，路径填写会更简单；如果不在，要准确找到并复制 flux1dev 底模的文件路径，注意检查双引号的使用，避免多双引号、漏双引号或路径错误。训练集的路径要注意是到 train 截止。在 SD3 训练相关参数那里，还有部分路径需要设置。

Flux 模型主要包括以下几种： 1. Lora 模型：训练时需要下载 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors 等模型。 2. 主模型： FLUX.1模型：https://huggingface.co/blackforestlabs/FLUX.1dev FLUX.1模型：https://huggingface.co/blackforestlabs/FLUX.1schnell 3. VAE 模型：下载地址为 https://huggingface.co/blackforestlabs/FLUX.1schnell/blob/main/ae.sft，下载后放在 comfyui\\models\\vae 文件夹中。 4. CLIP 模型：官方提供了 clip_l.safetensors，还有 t5xxl 的 FP8 和 FP16 的两种精度的 clip 模型供选择，可根据电脑配置任选 FP8 或者 FP16 精度下载，下载地址为 https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main，下载后放在 comfyui\\models\\clip 文件夹中。 此外，如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址为 https://huggingface.co/Kijai/fluxfp8/tree/main 。 GitHub 仓库：https://github.com/blackforestlabs/flux 。 百度网盘链接：https://pan.baidu.com/s/1VPQedispwtR29kDrhGR10A?pwd=4iwj 。 最后，还可以下载 dev 的工作流，如上面提到的链接或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，将工作流或图片拖拽到 ComfyUI 里使用。

在 Coze 工作流中，消息节点在 Bot 中的使用如下： 1. 消息节点支持在工作流执行过程中返回响应内容，可解决回复消息内容多或工作流长导致用户无法及时收到响应的问题。它支持流式和非流式两种消息模式。 2. 一个消息节点包含以下配置： 输出变量：配置输出变量，可将其添加到下方的回答内容区域中，Bot 调用工作流时只会回复设定的“回答内容”，这些变量也可在配置卡片时使用。 回答内容：工作流运行时，Bot 将直接用这里指定的内容回复对话，可使用{{变量名}}的方式引用输出参数中的变量。 流式输出： 默认关闭，即采用非流式输出，待接收到全部消息内容后，再一次性输出全部消息内容。 开启流式输出后，上一节点一边生成回复内容，一边通过消息节点进行输出，不需要等待全部内容都加载完后再返回，类似于打字机的效果。 3. 在 Coze 中，消息组件是常用的工作流节点，用于实现工作流在执行途中与用户之间的交互。默认情况下，消息组件的流式输出功能是关闭的，当面对长文本或希望优化用户体验时，可以启用流式输出，以提升用户体验，例如在实时聊天 Agent 中，能显著提高用户的参与度和满意度。

以下是关于 AI 工作流的相关内容： 目前使用 AI 的固定且优化的工作流包括： 1. 起床时，让 AI 如“马云”“马化腾”为自己排 TODO 优先级，并进行私董会的脑暴。 2. 工作中有傲娇的 AI 小助理加油，其 Prompt 为要阳光、会撒娇/卖萌。 3. 重点事项 bot 方面，如内容创作，拆成 bot 团队组，包括选题、标题、框架、扩写等，并分 A/B 组两个 AIbot 互相改，要点是提供反常识、梗，学习喜欢的 UP 创作方法论。 4. 优化的 bot 包括内容选题 bot、短视频脚本 bot、数据分析 bot（GPT4）、网页 Perplexity 的资料库 bot 等。 5. 优化方面： Zion、ChatO 和自动化 AIAgent 分身，基于自身知识库的 bot。 将上述知识库、Prompt 资产，全部放入飞书的知识库+多维表单中维护，等待飞书的 AI 进化。 6. 备选：筛选过的 50 多个生产力 AI，放在工具库里，待命输出。 7. 未来：把整个公司业务全部搬入飞书中，外接 MJ、ChatBot 分身，以及咨询日程预约。 生成式 AI 的人机协同分为 3 种产品设计模式： 1. Embedding（嵌入式）：人类完成大多数工作。 2. Copilot（副驾驶）：人类和 AI 协同工作。 3. Agent（智能代理）：AI 完成大多数工作。 Agentic Workflow 驱动角色工作流变革，使用 Multiagent Collaboration 的方法，让不同角色的 Agent 按照任务要求自主规划选择工具、流程进行协作完成任务。作为产品经理，可通过 Agents 拆解任务，遵循不同工作流，获得大体符合期望的输出结果再修改。 与传统 Prompt 从输入直接到输出的映射方式相比，LangGPT 提示词框架应用了 CoT（Chain of Thought）完成从输入到思维链再到输出的映射，即<input——>reasoning chain——>output>，其思维是“Let's think step by step。”（让我们一步一步思考） 在工作流设计方面： 1. RPA 软件很早就出现，目标是使符合某些适用性标准的基于桌面的业务流程和工作流程实现自动化，现在越来越多的 RPA 软件带上了 LLM。 2. ComfyUI 将开源绘画模型 Stable Diffusion 进行工作流化操作模式，用户在流程编辑器中配置 pipeline，通过不同节点和连线完成模型操作和图片内容生成，提高流程可复用性，降低时间成本，其 DSL 配置文件支持导出导入。 3. Dify.AI 的工作流设计语言与 ComfyUI 有相似之处，都定义了一套标注化的 DSL 语言，方便使用导入导出功能进行工作流复用。

搭建 COZE 智能体工作流通常分为以下步骤： 1. 规划： 制定任务的关键方法。 总结任务目标与执行形式。 将任务分解为可管理的子任务，确立逻辑顺序和依赖关系。 设计每个子任务的执行方法。 2. 实施： 在 Coze 上搭建工作流框架，设定每个节点的逻辑关系。 详细配置子任务节点，并验证每个子任务的可用性。 3. 完善： 整体试运行 Agent，识别功能和性能的卡点。 通过反复测试和迭代，优化至达到预期水平。 此外，在搭建整理入库工作流时，首先新建工作流「url2table」，然后根据弹窗要求自定义工作流信息，并进行工作流全局流程设置。但关于调试飞书多维表格插件的使用方式，由于篇幅原因不在此详述。

40 岁的人是有可能利用 AI 找到工作的。例如，Microsoft 正在将 AI 融入其网络安全产品 Security Copilot，这可能为相关领域的从业者带来新的机遇。同时，像利用 AI 打造的人生重开模拟器这样的应用，也展示了 AI 在创造各种工作相关情境方面的潜力。 然而，能否成功利用 AI 找到工作还取决于多个因素，如个人的技能水平、学习能力、对 AI 技术的掌握程度以及所从事行业对 AI 的应用程度等。如果 40 岁的人能够积极学习和适应 AI 相关的新技术、新工具，并将其应用于自身的职业发展中，那么找到工作的机会是存在的。

学习了 AI 有可能赚钱，但不能保证每个人都能成功。在人工智能领域，存在许多高薪工作，像数据科学家、机器学习工程师等，掌握 AI 技术有机会在这些岗位就业并获取可观收入。而且，AI 技术在金融、医疗、制造业等众多行业均有应用，具备 AI 技能能增加就业机会和促进职业发展。然而，能否赚钱还受多种因素影响，例如个人的学习能力、实际应用能力以及对市场和商业的理解等。仅掌握基础知识可能难以在竞争激烈的市场中胜出，需要持续学习和实践。 同时，随着 AI 变得更强大，创新者探索出更多新的应用方式，其具有巨大的潜力推动经济增长和创造工作岗位，能帮助提高劳动力效率和工作场所安全性，支持人们完成现有的工作。 但要注意，行业曾警告，如果监管不协调，可能导致大量小型企业离开市场，抑制创新和竞争。对于规模较小的企业和初创企业，确保监管负担不过重至关重要，因为它们在 AI 创新生态系统中扮演着重要角色，是经济增长和创造就业的引擎。

在 Coze 的 bot 中调用工作流的方式如下： 采用 32K 的 kimi 模型，只有一条工作流。该工具有 5 个按钮：A、B、C、重新开始、结束并总结。按 A/B/C 时，会直接输入对应的字母文字。按结束并总结时，输入的依旧只是文字：“结束并立即总结医学知识点”。点击“重新开始”时，会直接调用一个工作流“emergency”，且这个工作流有两个必选参数：“疾病设置”和“难度设置”。在实际体验过程中，仅在提供“疾病设置”和“难度设置”时，工作流被调用，其他时候没有触发任何工具和工作流。 在外层 bot 中封装工作流的步骤为：点击「发布」发布工作流后，创建一个 bot 进行最终的工作流封装。具体过程包括：创建 Bot；填写 Bot 介绍；切换 Bot 模式为“单 Agent（工作流模式）”，因为此 Agent 只需在每次输入英文文章时返回精读结果，所以不需要用外层 bot 对输入进行其他任务理解，可直接调用工作流；把配置好的工作流添加到 Bot 中；填写开场白，引导用户使用，并关闭开场白预置问题，因为使用流程里用不到。