Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

webui可以用FLUX模型吗

Answer

WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息：

  • ae.safetensors 和 flux1-dev.safetensors 下载地址：https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main 。
  • flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。
  • flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h 提取码：ub9h 。
  • 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/flux-fp8/tree/main 。
  • 下载 dev 的工作流：dev 的官方原版 workflow.json 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。

郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版：

  • 注意：该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。
  • 需要节点（可以 git clone 方式下载或通过以下网盘）：
    • 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 。
    • 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 。
  • 模型：
    • 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 。
    • 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 。
  • 处理：将模型放到 ComfyUI\models\TheMisto_model 文件夹中。
  • 导入官方工作流example_workflow.json 。所需要的两个模型：
Content generated by AI large model, please carefully verify (powered by aily)

References

工具教程：Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新：（下面准备了夸克和百度的网盘链接，方便部分同学下载）flux相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608bflux相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码：ub9h如果GPU性能不足、显存不够，底模可以使用fp8的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流：[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了，用上面这个就行。或者下面官方原版的图片链接，图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI，把工作流或图片拖拽到ComfyUI里：

工具教程：Flux

https://huggingface.co/black-forest-labs/FLUX.1-dev/tree/main我随后也准备一下百度网盘和夸克网盘。更新：（下面准备了夸克和百度的网盘链接，方便部分同学下载）flux相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608bflux相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW-03ei0g?pwd=ub9h提取码：ub9h如果GPU性能不足、显存不够，底模可以使用fp8的量化版模型，速度会快很多，下载地址：https://huggingface.co/Kijai/flux-fp8/tree/main最后我们再下载dev的工作流：[dev的官方原版workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/KhTAbaxbconU6PxBfJkcAkt8nJc?allow_redirect=1)上面我把工作流复制上了，用上面这个就行。或者下面官方原版的图片链接，图片导入comfyUI就是工作流。https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png我们打开ComfyUI，把工作流或图片拖拽到ComfyUI里：

郑敏轩 ：Flux的controlnet系列

[title]郑敏轩：Flux的controlnet系列[heading2]TheMisto.ai的MistoLine版注意：该ControlNet与Flux1.dev的fp16/fp8以及使用Flux1.dev量化的其他模型兼容。1.需要节点（可以git clone方式下载或下面准备了压缩包）MistoControlNet-Flux-dev在你的\ComfyUI\custom_nodes文件夹里面右键终端命令行，复制下面代码即可下载或者我准备了网盘：夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc提取码：lpvc1.模型夸克网盘：链接：https://pan.quark.cn/s/5551e813db21百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq提取码：zhfq1.处理将模型放到你的ComfyUI\models\TheMisto_model文件夹中1.导入官方工作流[example_workflow.json](https://bytedance.feishu.cn/space/api/box/stream/download/all/B2yWbnwd4oyyDcxgOtCc9FJAn3g?allow_redirect=1)所需要的两个模型：

Others are asking
comy UI FLUX 低显存
ComfyUI FLUX 低显存运行的相关内容如下： 工作流： 目的是让 FLUX 模型能在较低的显存情况下运行。 分阶段处理思路： 先使用 Flux 模型在较低分辨率下进行初始生成以提高效率。 采用两阶段处理，先用 Flux 生成，后用 SDXL 放大，有效控制显存的使用。 使用 SD 放大提升图片质量。 工作流的流程： 初始图像生成（Flux）： UNETLoader：加载 flux1dev.sft 模型。 DualCLIPLoader：加载 t5xxl 和 clip_l 模型。 VAELoader：加载 fluxae.sft。 CLIPTextEncode：处理输入提示词。 BasicGuider 和 RandomNoise：生成初始噪声和引导。 SamplerCustomAdvanced：使用 Flux 模型生成初始图像。 VAEDecode：解码生成的潜在图像。 初始图像预览：PreviewImage 显示 Flux 生成的初始图像。 图像放大和细化（SDXL）： CheckpointLoaderSimple：加载 SDXL 模型（fenrisxl_SDXLLightning.safetensors）。 UpscaleModelLoader：加载 RealESRGAN_x4.pth 用于放大。 VAELoader：加载 sdxl_vae.safetensors。 ImageSharpen：对初始图像进行锐化处理。 UltimateSDUpscale：使用 SDXL 模型和放大模型进行最终的放大和细化。 最终图像预览：PreviewImage 显示最终放大和细化后的图像。 FLUX 模型的选择： 用半精度 fp8 dev 版本（能用单精度 dev 版本的尽量用），也适合 fp8 的 T8 模型，降低对内存的占用。 记得把 weight dtype 也设置为 fp8，降低对显存的使用。 建议：先关闭高清放大部分，等跑出来效果满意的图片后，再开启放大。 ComfyUI 简介： 是一个基于节点流程式的 stable diffusion AI 绘图工具 WebUI，可以想象成集成了 stable diffusion 功能的 substance designer，通过将 stable diffusion 的流程拆分成节点，实现更加精准的工作流定制和完善的可复现性。 优势： 对显存要求相对较低，启动速度快，出图速度快。 具有更高的生成自由度。 可以和 webui 共享环境和模型。 可以搭建自己的工作流程，可以导出流程并分享给别人，报错的时候能清晰发现错误出在哪一步。 生成的图片拖进后会还原整个工作流程，模型也会选择好。 劣势： 操作门槛高，需要有清晰的逻辑。 生态没有 webui 多（常用的都有），也有一些针对 Comfyui 开发的有趣插件。 官方链接：从 github 上下载作者部署好环境和依赖的整合包，按照官方文档安装即可：https://github.com/comfyanonymous/ComfyUI
2025-01-08
flux lora调参数，我训练出来的人物模型和数据集的人物图片不像，出现这种情况的原因都有哪些，应该调整哪些参数，我需要我的flux模型训练出来的模型是一致性还原性，和泛化性比较不错的，按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导： 打标环节： 选择基础大模型，如“麦橘写实”，并为 lora 命名。 将照片导入，选择合适分辨率，可勾选“脸部加强训练”，然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹，且每张照片自动打好 tag 标签。 可为整体添加统一标签，也可单独修改每张图片的标签。标签有助于 AI 理解图片，描述越详细，人物变化可能越多，泛化性可能越好。仔细检查每张图片的标签，其质量会影响人物 lora 的泛化性。 参数调整环节： 大部分参数是固定的，主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节： 例如 18 张脸部图片，20 张整体图片，各训练 50 步，循环训练 10 次，并行步数为 1。训练总步数和时长会有所不同，loss 值可作为参考，但最终效果仍需通过测试判断。 此外，在 Lora 串联方面，多个 Lora 串联时左右顺序不影响结果，可复制并点对点连接。CLIP 层 1 和 2 的效果不同，加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点，选择放大模型，用 resize 节点调整尺寸，再用编码器和采样器处理。放大模型直接放大的图像效果不佳，需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点，从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐，并结合自己调试。Web UI 中 Lora 库有刷新按钮，将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
flux lora训练指南
以下是关于 Flux 的 Lora 模型训练的指南： 准备工作： 需要下载以下模型： t5xxl_fp16.safetensors clip_l.safetensors ae.safetensors flux1dev.safetensors 注意事项： 1. 不使用的话，模型放置位置不限，但要清楚其“路径”，后续会引用到。 2. 训练建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本： 夸克网盘链接：https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接：https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码：pfsq 修改脚本路径和参数： 如果显卡是 16G，右键 16G 的 train_flux_16GLora 文件；如果显卡是 24G 或更高，右键 24G 的 train_flux_24GLora 文件。（DB 全参微调对硬件要求高，内存 32G 可能不行。即使是 train_flux_24GLora 方式，也建议内存高于 32G 以避免意外。） 右键用代码编辑器打开文件，理论上只需修改红色部分：底模路径、VAE 路径、数据集路径，还有下面的 clip 路径和 T5xxl 路径。如果 4 件套在一个文件夹，路径填写更简单；若不在，需准确复制各模型的路径，注意检查格式，避免多双引号、漏双引号或路径错误。 数据集准备： 1. 进入厚德云 模型训练 数据集：https://portal.houdeyun.cn/sd/dataset 2. 创建数据集：在数据集一栏中，点击右上角创建数据集，输入数据集名称。zip 文件可以包含图片+标签 txt，也可以只有图片（之后可在 c 站使用自动打标功能），也可一张一张单独上传照片，但建议提前将图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配，例如：图片名"1.png"，对应的达标文件就叫"1.txt"。上传 zip 后等待一段时间，确认创建数据集，返回到上一个页面，等待上传成功后可点击详情检查，能预览到数据集的图片以及对应的标签。 Lora 训练： 点击 Flux，基础模型会默认是 FLUX 1.0D 版本。选择数据集，点击右侧箭头选择上传过的数据集。触发词可有可无，取决于数据集是否有触发词。模型效果预览提示词可随机抽取数据集中的一个标签填入。训练参数可调节重复次数与训练轮数，若不知如何设置，可默认 20 重复次数和 10 轮训练轮数。可按需求选择是否加速，点击开始训练，会显示所需消耗的算力，然后等待训练，会显示预览时间和进度条。训练完成会显示每一轮的预览图，鼠标悬浮到想要的轮次模型，中间会有生图，点击会自动跳转到使用此 lora 生图的界面，点击下方的下载按钮则会自动下载到本地。
2025-01-04
flux模型风格提示词
以下是关于 Flux 模型风格提示词的相关信息： ComfyUI Flux redux： Redux 模型是轻量级的，可与 Flux.1配合使用，基于 1 个输入图像生成图像变体，无需提示，适合快速生成特定样式图像。 往一张图上融合时，提示词最好描述图片背景颜色。 将 Redux 模型下载到 comfyui/models/style_models，下载 sigclip_patch14384.safetensors 到 ComfyUI/models/clip_vision。 重绘节点为 ComfyUIInpaintEasy，相关链接：https://github.com/CYCHENYUE/ComfyUIInpaintEasy。 ComfyUI FLUX 模型的安装部署： 模型 FLUX.1中，建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，“UNET 加载器”节点中的 weight_dtype 可设置为 fp8 降低显存使用量，但可能稍降质量，默认的 weight_type 显存使用较大。 clip 方面，t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里，相关链接：https://huggingface.co/comfyanonymous/flux_text_encoders/tree/main。可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，有超过 32GB 内存建议用 fp16。 Vae 下载后放入 ComfyUI/models/vae 文件夹，相关链接：https://huggingface.co/blackforestlabs/FLUX.1schnell/tree/main。 T5（/t5xxl_fp16.safetensors）的 clip 原本有输入输出，可能会导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。 STYLE PROMPTS 风格： Stratospheric：关联流派为 Soundtrack、Classical、Orchestral。指高空和极高的音乐风格，具有高亢壮丽特质，典型用于表现高空和极高情感的音乐作品，示例为 Queen 的《Bohemian Rhapsody》。 Streetwise：关联流派为 HipHop、Rap、R&B。指街头和世故的音乐风格，具有现实机智特质，典型用于表现街头和世故情感的音乐作品，示例为 JayZ 的《Empire State of Mind》。 Strength：关联流派为 Rock、Hard Rock、Arena Rock。指力量和坚强的音乐风格，具有强大坚定特质，典型用于表现力量和坚强情感的音乐作品，示例为 Survivor 的《Eye of the Tiger》。 Stressful：关联流派为 Progressive Rock、Psychedelic Rock、Classic Rock。指紧张和压力的音乐风格，具有紧张焦虑特质，典型用于表现紧张和压力情感的音乐作品，示例为 Pink Floyd 的《Time》。 Stretching：指延伸和扩展的音乐风格，具有延展渐进特质，典型用于表现延伸和扩展情感的音乐作品。
2025-01-03
flux-dev提示词
以下是关于 ComfyUI Fluxdev 提示词的相关信息： Redux 模型：是轻量级模型，可与 Flux.1配合使用，基于 1 个输入图像生成图像变体，无需提示，适合快速生成特定样式的图像。若要往一张图上融合，提示词最好描述图片的背景颜色。将 Redux 模型下载到 comfyui/models/style_models，下载 sigclip_patch14384.safetensors 到 ComfyUI/models/clip_vision。重绘节点可使用 ComfyUIInpaintEasy，链接为 https://github.com/CYCHENYUE/ComfyUIInpaintEasy。 低显存运行工作流：目的是让 FLUX 模型能在较低显存情况下运行。分阶段处理思路为：先在较低分辨率下使用 Flux 模型进行初始生成以提高效率，采用两阶段处理，即先用 Flux 生成，后用 SDXL 放大，有效控制显存使用，最后使用 SD 放大提升图片质量。工作流流程包括初始图像生成（Flux）和图像放大和细化（SDXL），各阶段涉及不同的模型加载、处理和预览步骤。 模型的安装部署：FLUX.1中建议选择 dev 版本，显卡可以的用 fp16，显卡不够用的选 fp8，模型下载后放入 ComfyUI/models/unet/文件夹。若爆显存，可在“UNET 加载器”节点中的 weight_dtype 设置为 fp8 降低显存使用量，但可能稍降质量。t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹，可使用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，超过 32GB 内存建议使用 fp16。Vae 下载后放入 ComfyUI/models/vae 文件夹。T5（/t5xxl_fp16.safetensors）的 clip 原本有输入输出，可能导致提示词被吞，短提示效果差，训练 flux 或 sd3 时应尽量用长提示词或自然语言。
2025-01-03
我想问 有没有可以帮忙写 flux 或者其他图像模型 prompt 的 system prompt 模板
以下是为您整理的相关内容： 关于 FLUX 模型的安装部署： 模型选择：FLUX.1 有 dev、dev fp8、schnell 等版本，建议选择 dev 版本，显卡较好可用 fp16，显卡不够选 fp8。模型下载后放入 ComfyUI/models/unet/文件夹中。若爆显存，可在“UNET 加载器”节点中将 weight_dtype 设置为 fp8，降低显存使用量，但可能稍降质量。 clip：t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/文件夹里，也可用 t5xxl_fp8_e4m3fn.safetensors 降低内存使用率，超过 32GB 内存建议用 fp16。 Vae：下载后放入 ComfyUI/models/vae 文件夹。 关于训练 Midjourney 的 prompt： 训练问题：强大的 DMs 通常消耗数百个 GPU 天，推理由于顺序评估而成本高昂。在有限的计算资源上应用 DMs 于强大的预训练自动编码器的潜在空间中训练，可在不影响质量和灵活性的情况下实现复杂度降低和细节保留的最佳点，显著提高视觉保真度。引入交叉注意力层到模型架构使扩散模型成为强大灵活的生成器，支持文本和边界框等一般条件输入，实现高分辨率卷积合成。 版本：Midjourney 定期发布新模型版本以提高效率、连贯性和质量。最新模型为默认，也可通过version 或v 参数或/settings 命令选择其他版本。V5 模型于 2023 年 3 月 15 日发布，具有更广泛的风格范围、更高的图像质量、更详细的图像等优点。 关于 ComfyUI 图片提示词反推提示词生成： 在 ComfyUI 里使用 MiniCPM 做图片提示词反推与文本提示词生成，可和 flux 模型配合生成图片，建议使用量化版本的模型（int4 结尾）节省显存。 安装方法：进入 ComfyUI 自定义节点目录，克隆相关仓库，重启 ComfyUI。 模型下载：网盘 https://pan.quark.cn/s/00b3b6fcd6ca ，下载后放入 ComfyUI 的 models 文件夹下 MiniCPM 文件夹中，没有就新建一个。
2025-01-02
我有一张图像，我要如何用stable Diffusion给它添加噪音。我是一个小白，请给出详细的步骤，用webui来操作。
以下是使用 WebUI 为图像添加噪音的详细步骤： 1. 首先，了解 Stable Diffusion 的加噪原理。从数据集中选择一张干净样本，然后用 random 函数生成 0 3 共 4 种强度的噪声，在每次迭代中随机选择一种强度的噪声添加到干净图片上，完成图片的加噪流程。 2. 在训练过程中，对干净样本进行加噪处理，采用多次逐步增加噪声的方式，直至干净样本转变成为纯噪声。 3. 加噪过程中，每次增加的噪声量级可以不同，假设存在 5 种噪声量级，每次都可以选取一种量级的噪声，以增加噪声的多样性。 4. 与图片生成图片的过程相比，在预处理阶段，先把噪声添加到隐空间特征中。通过设置去噪强度（Denoising strength）控制加入噪音的量。如果去噪强度为 0 ，则不添加噪音；如果为 1 ，则添加最大数量的噪声，使潜像成为一个完整的随机张量。若将去噪强度设置为 1 ，就完全相当于文本转图像，因为初始潜像完全是随机的噪声。
2024-11-18
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行： 1. 安装必要的软件环境： 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本，确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码： 打开命令行工具，输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ，将源代码克隆到本地目录。 3. 运行安装脚本： 进入 stablediffusionwebui 目录，运行 webuiuser.bat 或 webui.sh 脚本，它会自动安装依赖项并配置环境。等待安装完成，命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面： 复制命令行显示的本地 Web 地址，在浏览器中打开，即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作： 了解 Web UI 的各种设置选项，如模型、采样器、采样步数等。尝试生成图像，观察不同参数对结果的影响。学习使用提示词（prompt）来控制生成效果。 6. 探索 Web UI 的扩展功能： 了解 Web UI 支持的各种插件和扩展，如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧，提高工作效率。 在完成了依赖库和 repositories 插件的安装后，还需要进行以下配置： 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下，运行 launch.py 即可。运行完成后，将命令行中出现的输入到本地网页中，即可打开 Stable Diffusion WebUI 可视化界面。进入界面后，在红色框中选择 SD 模型，在黄色框中输入 Prompt 和负向提示词，在绿色框中设置生成的图像分辨率（推荐设置成 768x768），然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角，并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台，需要注意： DallE 缺乏室内设计能力，MidJourney 出图效果好但无法基于现实环境重绘，Stable Diffusion 出图成功率较低，但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后，修改 webuiuser.bat 文件加上 listen 和 API 参数，让 Stable Diffusion 处于网络服务状态。代码如下： @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤： 1. 下载室内设计模型（checkpoint 类型），放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件，使用 MLSD 插件，实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开，API 参考文档可选读。
2024-11-01
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流： 官方原版的图片链接：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI ，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列： TheMisto.ai 的 MistoLine 版，该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点： 可以 git clone 方式下载或通过压缩包。 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流： ，所需要的两个模型。
2024-10-25
相同的参数下，用SD comfyui出图可以和SD webui出图保持图片效果一模一样么？
理论上，在应用完全相同参数（如 Step、CFG、Seed、prompts）的情况下，SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异，比如： 提示词的多个条件下，SD 生成的图像可能无法全部满足，这与提示词引导系数有关，该系数关系到出图与文字的相关程度。 不同的模型和配置也可能影响出图效果，例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型，用于调节图片的画面效果和色彩。 需要注意的是，相同参数下要达到完全一致的出图效果并非绝对，还会受到多种因素的综合影响。
2024-10-14
Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息： Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时，工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速，有 Lora、Controlnet、IPadpter 相关生态建设，字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
我添加flux的模型后，在webui中要从哪里找到
在 webui 中找到添加的 flux 模型的方法如下： 首先，您可以安装 Civitai 助手插件。如果您上不了 C 站，可以去我的百度云盘里下载，然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后，重启 webUI，就可以在上方的标签选项卡中找到这个插件。 另外，下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同： 1. 大模型（Ckpt）：放入 models\\Stablediffusion。 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录。 4. Embedding 模型：放入 embeddings 目录。 模型的类型可以通过检测。安装 Civitai 助手插件后，它可以自动扫描您的所有文件，如果您的模型是从 C 站下载的，它会帮您自动匹配好缩略图。点击刷新旁边的按钮，再把鼠标放在模型的名字上，可以看见新的四个图标：🖼:用当前生成图替换为预览图；🌐:在新标签页打开这个模型的 Civitai 页面；💡:一键添加这个模型的触发词到关键词输入框；🏷:一键使用这个模型预览图所使用的关键词。
2024-08-22
stable diffusion和国内的这些AI绘画的模型有什么区别
Stable Diffusion 和国内的 AI 绘画模型主要有以下区别： 1. 数据集和学习方式： 在线的国内模型可以访问庞大且不断更新扩展的数据集，还能实时从用户的弱监督学习中获得反馈，从而不断调整和优化绘画策略。而 Stable Diffusion 通常受限于本地设备的计算能力，其数据集和学习反馈相对有限。 2. 计算能力： 在线的国内模型能利用云计算资源进行大规模并行计算，加速模型的训练和推理过程。Stable Diffusion 受本地设备计算能力限制，性能可能不如在线模型。 3. 模型更新： 在线的国内模型可以随时获得最新的版本和功能更新，更好地适应不断变化的绘画风格和技巧。Stable Diffusion 的模型更新相对较慢。 4. 协同学习： 在线的国内模型可以从全球范围内的用户中学习，更好地理解各种绘画风格和技巧。Stable Diffusion 则只能依赖于有限的本地模型，对绘画可能性的了解可能不够全面。 例如，Niji·journey 5 在二次元角色设计领域就展现出比 Stable Diffusion 更强大的性能和实用性。同时，国内还有 DeepSeek、阿里巴巴的 Qwen2 系列、清华大学的 OpenBMB 项目等在不同方面表现出色的模型。
2025-01-08
有哪些优质的法律大模型数据集
以下是一些优质的法律大模型数据集： 1. ChatLaw： 地址： 简介：由北大开源的一系列法律领域的大模型，包括 ChatLaw13B（基于姜子牙 ZiyaLLaMA13Bv1 训练而来），ChatLaw33B（基于 Anima33B 训练而来，逻辑推理能力大幅提升），ChatLawText2Vec，使用 93w 条判决案例做成的数据集基于 BERT 训练了一个相似度匹配模型，可将用户提问信息和对应的法条相匹配。 2. LaWGPT： 地址： 简介：该系列模型在通用中文基座模型（如 ChineseLLaMA、ChatGLM 等）的基础上扩充法律领域专有词表、大规模中文法律语料预训练，增强了大模型在法律领域的基础语义理解能力。在此基础上，构造法律领域对话问答数据集、中国司法考试数据集进行指令精调，提升了模型对法律内容的理解和执行能力。 3. LexiLaw： 地址： 简介：LexiLaw 是一个基于 ChatGLM6B 微调的中文法律大模型，通过在法律领域的数据集上进行微调。该模型旨在为法律从业者、学生和普通用户提供准确、可靠的法律咨询服务，包括具体法律问题的咨询，还是对法律条款、案例解析、法规解读等方面的查询。 4. Lawyer LLaMA： 地址： 简介：开源了一系列法律领域的指令微调数据和基于 LLaMA 训练的中文法律大模型的参数。Lawyer LLaMA 首先在大规模法律语料上进行了 continual pretraining。在此基础上，借助 ChatGPT 收集了一批对中国国家统一法律职业资格考试客观题（以下简称法考）的分析和对法律咨询的回答，利用收集到的数据对模型进行指令微调，让模型习得将法律知识应用到具体场景中的能力。
2025-01-08
免费的学术AI大模型
以下是一些免费的学术 AI 大模型： 1. 国内： 阿里、腾讯对新用户提供免费试用服务器，如腾讯云的。服务器系统配置选择【宝塔】系统。 阿里的接口，创建 API key。 也有免费接口，但大都限制一定免费额度的 Token。 2. 国外： 来操作。 此外，ProductHunt 2023 年度最佳产品榜单中的免费 AI 模型有： 1. GPT4（免费可用）——与人类水平相当的 LLM。 2. Midjourney v5（免费）——令人惊叹的逼真 AI 图像以及五指手。 3. DALL·E 3（免费可用）——轻松将想法转化为极其精准的图像。 4. Mistral 7B（免费）——迄今为止最优秀的 70 亿参数模型，Apache 2.0。 智谱·AI 开源模型列表可参考。Token 数代表了模型支持的总 Token 数量，包括输入和输出的所有 token，且一个 token 约等于 1.8 个汉字。
2025-01-08
跑本地大模型有哪些用处？
跑本地大模型具有以下用处： 1. 支持多种大型语言模型：如通义千问、Llama 2、Mistral 和 Gemma 等，可应用于不同场景。 2. 易于使用：适用于 macOS、Windows 和 Linux 系统，支持 CPU 和 GPU，方便在本地环境中启动和运行。 3. 丰富的模型库：提供多种不同参数和大小的模型，满足不同需求和硬件条件，可通过 https://ollama.com/library 查找。 4. 自定义模型：能通过简单步骤修改模型的温度参数等以调整创造性和连贯性，或设置特定系统消息。 5. API 和集成：提供 REST API 用于运行和管理模型，以及与其他应用程序的集成选项。 6. 社区贡献丰富：包括多种集成插件和界面，如 Web 和桌面应用、Telegram 机器人、Obsidian 插件等。 Ollama 是一个开源框架，旨在简化本地运行大型语言模型的过程。它是轻量级、可扩展的，提供简单 API 创建、运行和管理模型，还有预构建模型库，降低使用门槛，适合初学者和非技术人员，适用于自然语言处理研究和产品开发。安装可通过官方下载地址 https://ollama.com/download ，安装后可通过相关链接判断是否成功。运行时在命令行输入相应命令，选择模型如 llama2 ，Ollama 会自动下载模型到本地。
2025-01-08
是不是可以跟任何大模型进行对话
一般来说，可以跟很多大模型进行对话。以下是一些常见的方式： 1. 对于 Llama3 大模型： 下载大模型主要是为了与之对话，或者称为使用其进行推理。 有两种对话方式，可使用 API 或部署简单界面。面向小白，这里主要介绍部署界面的方式。 例如，在 /root/autodltmp 路径下新建 chatBot.py 文件并输入相关内容，然后启动 Webdemo 服务，按照指示映射端口，在浏览器中打开相应链接即可看到聊天界面。 2. 对于 Llama 大模型： 首先编译，为利用 Metal 的 GPU 可用特定命令编译。 去指定网址下载模型。 llama.cpp 还提供了 WebUI 供用户使用，启动 server 后默认监听 8080 端口，打开浏览器就可以对话。 3. 对于通过 Open WebUI 使用大模型： 访问指定网址，使用邮箱注册账号。 登陆成功后，Open WebUI 一般有聊天对话和 RAG 能力（让模型根据文档内容回答问题）两种使用方式。如果要求不高，已实现通过 Web UI 与本地大模型对话的功能。 需要注意的是，不同大模型的访问速度和回答效果可能存在差异，例如 ChatGPT 访问速度快是因为其服务器配置高，回答效果好是因为训练参数多、数据更优以及训练算法更好。
2025-01-07
我想在dify里按照一个reranker模型，推荐哪个
在 Dify 中安装 reranker 模型，推荐使用中转服务商。Dify 的部署版本中，模型需自行配置，官方和中转的都支持，但中转服务商从性价比角度更优，充点小钱就能用上各种模型，价格通常有较大折扣，20 刀普通用户能用很久，还能在不同地方使用。若没有合适的中转服务商，可使用我自用的，点击原文即可。模型设置方面，在 Dify 右上角点击设置模型供应商，填入中转服务商提供的信息（一般包括 API base 或 Base URL 以及 key）并保存。若保存成功，回到主页面创建一个 Agent 测试，正常则大功告成。比如我填的 API base 是‘https://one.glbai.com’。
2025-01-07