Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

flux ae.sft放在哪个文件夹

Answer

在 ComfyUI 中,flux ae.sft 应放在 ComfyUI/models/vae/ 文件夹下。

Flux 模型在 ComfyUI 中的使用,需要将相关模型放在对应的目录下。具体来说,t5xxl_fp16.safetensors 放在 ComfyUI/models/clip/ 目录下,clip_l.safetensors 放在 ComfyUI/models/clip/ 目录下,ae.safetensors 放在 ComfyUI/models/vae/ 目录下,flux1-dev.safetensors 放在 ComfyUI/models/unet/ 目录下。flux1-dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。

Content generated by AI large model, please carefully verify (powered by aily)

References

ComfyUI FLUX低显存运行

这个方法的目的是让FLUX模型能在较低的显存情况下也能运行.分阶段处理的思路:1.使用Flux模型进行初始生成,在较低分辨率下工作以提高效率2.采用两阶段处理:先用Flux生成,后用SDXL放大,效控制显存的使用3.使用SD放大提升图片质量工作流的流程:初始图像生成(Flux):UNETLoader:加载flux1-dev.sft模型DualCLIPLoader:加载t5xxl和clip_l模型VAELoader:加载flux-ae.sftCLIPTextEncode:处理输入提示词BasicGuider和RandomNoise:生成初始噪声和引导SamplerCustomAdvanced:使用Flux模型生成初始图像VAEDecode:解码生成的潜在图像初始图像预览:PreviewImage:显示Flux生成的初始图像图像放大和细化(SDXL):CheckpointLoaderSimple:加载SDXL模型(fenrisxl_SDXLLightning.safetensors)UpscaleModelLoader:加载RealESRGAN_x4.pth用于放大VAELoader:加载sdxl_vae.safetensorsImageSharpen:对初始图像进行锐化处理UltimateSDUpscale:使用SDXL模型和放大模型进行最终的放大和细化最终图像预览:PreviewImage:显示最终放大和细化后的图像

工具教程:Flux

因为上次祐萌刚刚讲过了comfyUI的使用,我们就讲一下在comfyUI中如何使用Flux(在ForgeUI中同样可以使用,国内还可以去哩布哩布、阿里云等众多平台使用,有很多平台可以薅羊毛,这里介绍本地部署comfyUI)把这4个模型,放到对应的目录下就可以了。t5xxl_fp16.safetensors:放在ComfyUI/models/clip/目录下clip_l.safetensors:放在ComfyUI/models/clip/目录下ae.safetensors:放在ComfyUI/models/vae/目录下flux1-dev.safetensors:放在ComfyUI/models/unet/目录下[heading3]怎么记和理解呢?[content]flux1-dev.safetensors是底模,ae.safetensors是VAE,clip_l.safetensors和t5xxl_fp16.safetensors是关于文字语言编码,这么理解就行。

工具教程:Flux

因为上次祐萌刚刚讲过了comfyUI的使用,我们就讲一下在comfyUI中如何使用Flux(在ForgeUI中同样可以使用,国内还可以去哩布哩布、阿里云等众多平台使用,有很多平台可以薅羊毛,这里介绍本地部署comfyUI)把这4个模型,放到对应的目录下就可以了。t5xxl_fp16.safetensors:放在ComfyUI/models/clip/目录下clip_l.safetensors:放在ComfyUI/models/clip/目录下ae.safetensors:放在ComfyUI/models/vae/目录下flux1-dev.safetensors:放在ComfyUI/models/unet/目录下[heading3]怎么记和理解呢?[content]flux1-dev.safetensors是底模,ae.safetensors是VAE,clip_l.safetensors和t5xxl_fp16.safetensors是关于文字语言编码,这么理解就行。

Others are asking
trae的使用指南
以下是 Trae 的使用指南: 一、Trae 简介 Trae 是字节跳动推出的智能编程助手,提供基于 Agent 的 AI 自动编程能力,使用自然语言对话就能实现代码编写。 二、Trae 的功能 1. 提供传统的 IDE 功能,包括代码编写、项目管理、插件管理、源代码管理等。 2. 智能问答:在编写代码时,可随时与 AI 助手对话,获得代码解释、注释和错误修复等帮助。 3. 实时代码建议:AI 助手能理解当前代码并在编辑器中实时提供建议,提升编程效率。 4. 代码片段生成:通过自然语言描述需求,生成相应代码片段,甚至能编写项目级或跨文件的代码。 5. 从 0 到 1 开发项目:告诉 AI 助手想开发的程序,它将提供相关代码或自动创建所需文件。 三、下载 Trae 官网下载地址:https://www.trae.ai/download ,支持 Mac 系统、Windows 系统,未来支持 Linux 系统。 四、使用方法 1. 安装:下载完成后按照界面提示一步步安装。 2. 登录:安装完成后点击右侧登录按钮,程序会自动打开网页提示登录,无账号需先注册。登录完可能会出现“App Unavailable”,此时需要开启科学上网。 3. 网页登录成功后可关闭科学上网,再点击中间大按钮,自动进入 Trae 客户端。 五、模式选择 1. Chat 模式:根据描述进行代码生成、解释、分析问题或解决问题。 2. Builder 模式:可让 Trae 帮助从 0 开发一个完整的项目,对代码文件的任何更改都会自动保存。 六、使用案例 1. 生成一个贪吃蛇游戏 打开 Builder 模式,输入“使用 web 技术栈生成一个贪吃蛇游戏”,排队完成后,Trae 开始思考和代码编写,期间需手动接入进行文件审查,点击“全部接受”。 代码生成完成后,Trae 自动运行命令启动页面,点击运行,在 Webview 中可看到实现的游戏效果,试玩基本无 Bug。 Trae 会进行工作总结,说明已实现的功能,如游戏包含的特性、主要功能和游戏界面等。 2. 生成一个任务清单应用 在输入框中输入:使用 Web 技术开发一个任务清单应用。 3. 根据 UI 设计图自动生成项目代码 从站酷上找一张设计图,输入提示:使用 html 技术实现如图大屏页面。 七、总结 从实际体验来看,Trae 表现可圈可点。 1. 高效代码生成能力:能在几分钟内生成完整框架,代码结构清晰且功能齐全,甚至能自动处理依赖项和运行命令。 2. 多技术栈支持:对 Web 技术掌握远超预期,生成的代码可直接运行且无明显语法错误。 3. 动态调整潜力:能根据用户反馈快速调整样式,自适应布局的实现展现了 AI 的迭代能力。
2025-04-09
trae如何安装
以下是 Trae 的安装步骤: 1. 由于 Trae AI 官网部署在海外,且其本身需要使用海外的大模型,所以需要通过 VPN 等方式科学上网。 2. 在官网(https://www.trae.ai/download)直接点击下载,Trae 会自动识别您的电脑芯片。 3. 下载完成后,如果是 Mac 系统,将左侧的 Trae 应用拖动到右侧的文件夹内;如果是 Windows 系统,双击 Trae 图标,即可完成安装。 4. 安装完成后,点击图标启动,进行以下简单设置: 选择主题背景和默认语言,可选择中文。 对于提供的 Cursor、VS Code 等其他 AI 编程工具的配置和插件迁移,如果是第一次使用类似工具,可直接点“Skip”选项。 对于不理解意思的设置,直接点“Skip”选项。 5. 选择合适的登录方式,登录方式包括 Google 账号登录、Github 账号登录、邮箱登录。如果没有账号,可新注册一个账号。推荐有余力的用户访问 Github 官网(https://github.com/)注册。 注意:Trae 仅在部分地区可用,可能需要开启科学上网。登录完之后,若出现“App Unavailable”提示,可能是所在地区不可用,此时需要开启科学上网。网页登录成功之后可以把科学上网关掉。
2025-04-08
TRAE编程快速入门
以下是 Trae 编程的快速入门指南: 一、Trae 简介 Trae 是字节跳动推出的智能编程助手,提供基于 Agent 的 AI 自动编程能力,通过自然语言对话就能实现代码编写。 二、Trae 的功能 1. 传统 IDE 功能,如代码编写、项目管理、插件管理、源代码管理等。 2. 智能问答:在编写代码时可随时与 AI 助手对话,获得代码解释、注释和错误修复帮助。 3. 实时代码建议:AI 助手能理解当前代码并实时提供建议,提升编程效率。 4. 代码片段生成:通过自然语言描述需求生成相应代码片段,甚至能编写项目级或跨文件代码。 5. 从 0 到 1 开发项目:告知想开发的程序,AI 助手提供相关代码或自动创建所需文件。 三、下载 Trae 官网下载地址:https://www.trae.ai/download ,支持 Mac 系统、Windows 系统,未来支持 Linux 系统。 四、使用方法 1. 安装:下载完成后按界面提示一步步安装。 2. 登录:安装完成后点击右侧登录按钮,程序会自动打开网页提示登录,无账号需先注册。登录完若出现“App Unavailable”提示,因 Trae 仅在部分地区可用,此时需开启科学上网。网页登录成功后可关闭科学上网,再点击中间大按钮。 3. 进入客户端后,查看对话框右下角,有三种大模型可选:Claude3.5Sonnet、Claude3.7Sonnet、GPT4o。Trae 提供两种模式: Chat 模式:根据描述进行代码生成、解释、分析问题或解决问题。 Builder 模式:可让 Trae 从 0 开发完整项目,对代码文件的任何更改会自动保存。 五、使用案例 1. 生成一个贪吃蛇游戏:打开 Builder 模式,输入“使用 web 技术栈生成一个贪吃蛇游戏”,排队完成后,Trae 开始思考和代码编写,期间需手动接入进行文件审查,点击“全部接受”。代码生成完成后,Trae 自动运行命令启动页面,点击运行,在 Webview 中可看到实现的游戏效果,试玩基本无 Bug。Trae 还进行了工作总结,说明了已实现的功能,如游戏包含的特性、主要功能和游戏界面等。 2. 生成一个任务清单应用:输入“使用 Web 技术开发一个任务清单应用”,过程类似。 3. 根据 UI 设计图自动生成项目代码:从站酷上找设计图,输入提示生成,虽不完美但能根据反馈调整。 六、总结 从实际体验看,Trae 表现出色,具有高效代码生成能力、多技术栈支持和动态调整潜力。
2025-03-30
这里有trae的教程吗
以下是关于 Trae 的相关信息: 1. Claude 3.5 免费无限量!字节 AI 编程神器 Trae Win+Mac 版全量上线: Trae Windows 版本已于特定时间上线,即日起全系统可用。 Trae 标配 Claude3.5sonnet 模型免费不限量,而竞品工具同一模型每月收费且限量使用。 Trae 编辑器所有功能原生支持中文,上手门槛低。 Trae 是一款与 AI 深度集成,提供智能问答、代码自动补全以及基于 Agent 的 AI 自动编程能力的 IDE 工具。 2. 来了,AI 编程神器 Trae 的保姆级使用指南: 介绍了控制按钮和游戏说明。 展示了生成任务清单应用的过程和效果。 演示了根据 UI 设计图自动生成项目代码的操作及调整效果。 总结了 Trae 的高效代码生成能力、多技术栈支持和动态调整潜力。 3. AI 编程零门槛:Trae 国内版终于来了: 前段时间学习 AI 编程时发现的初学者前置问题,如今随着 Trae 国内版发布得到解决。 Trae 国内版是国内首个 AI IDE,自带特定模型,免费、快速、稳定。 Trae 是字节跳动旗下类似其他 IDE 工具的 AI 原生编程工具,具有国内用户友好、使用完全免费、内置预览插件等特性,适合新手入门也能提升资深程序员编程速度。
2025-03-27
trae国内版
Trae 国内版是国内首个 AI IDE,具有以下特点和优势: 1. 自带豆包 1.5 pro 和满血版 DeepSeek R1、V3 模型,免费、快速、稳定。 2. 解决了初学 AI 编程时的常见前置问题,如官网打不开、会员购买、中文和预览插件安装等,真正实现了 AI 编程零门槛。 3. 网址为 Trae.com.cn,或可点击文末【阅读原文】直接访问。 4. 是字节跳动旗下的 AI 原生编程工具,类似 Cursor、Windsurf 等 IDE 工具,用户可通过自然语言编写出网页、软件。 5. 具有国内用户友好、使用完全免费、内置预览插件等特性。 6. 相比 IDE 插件类的 AI 代码助手,Trae 这样的 AI 原生 IDE 有两个跨越式的突破:补全不限于向后追加,可多行全方位自动补全;具备 Agent 能力,能自动完成代码生成、调试、运行等工作。 7. 国外版与国内版的主要区别在于模型,国内版使用国内模型,连接稳定快速,界面根据国内用户习惯定制。如果想保留原有 IDE 并增加 AI 编程功能,可选择 MarsCode 插件;若想体验全新围绕 AI 设计的原生 IDE,则可选择 Trae。
2025-03-26
如何使用trae
Trae 是字节跳动推出的智能编程助手,具有以下特点和使用方法: 一、Trae 简介 Trae 提供基于 Agent 的 AI 自动编程能力,使用自然语言对话就能实现代码编写。 二、Trae 的功能 1. 提供传统的 IDE 功能,如代码编写、项目管理、插件管理、源代码管理等。 2. 智能问答:在编写代码时可随时与 AI 助手对话,获得代码解释、注释和错误修复等帮助。 3. 实时代码建议:AI 助手能理解当前代码并实时提供建议,提升编程效率。 4. 代码片段生成:通过自然语言描述需求,生成相应代码片段,甚至能编写项目级或跨文件的代码。 5. 从 0 到 1 开发项目:告诉 AI 助手想开发的程序,它将提供相关代码或自动创建所需文件。 三、下载 Trae 官网下载地址:https://www.trae.ai/download ,支持 Mac 系统、Windows 系统,未来支持 Linux 系统。 四、使用方法 1. 安装:下载完成后按界面提示一步步安装。 2. 登录:安装完成后点击右侧登录按钮,程序会自动打开网页提示登录,无账号需先注册。登录完可能会出现“App Unavailable”,此时需要开启科学上网。网页登录成功后可关闭科学上网,再点击中间大按钮。 3. 进入客户端后,查看对话框右下角,有三种大模型可选:Claude3.5Sonnet、Claude3.7Sonnet、GPT4o 。 4. Trae 提供两种模式: Chat 模式:根据描述进行代码生成、解释、分析问题或解决问题。 Builder 模式:帮助从 0 开发一个完整的项目,对代码文件的任何更改都会自动保存。 五、使用案例 1. 生成一个贪吃蛇游戏 打开 Builder 模式,输入需求。 排队完成后,Trae 开始思考和代码编写,期间需手动接入进行文件审查,点击“全部接受”。 代码生成完成后,Trae 自动运行命令启动页面,点击运行,在 Webview 中可看到游戏效果,试玩基本无 Bug。 Trae 会进行工作总结,说明已实现的功能。 2. 生成一个任务清单应用 在输入框中输入:使用 Web 技术开发一个任务清单应用。 3. 根据 UI 设计图自动生成项目代码 输入提示:使用 html 技术实现如图大屏页面。 六、总结 从实际体验来看,Trae 表现可圈可点: 1. 高效代码生成能力:能在几分钟内生成完整框架,代码结构清晰且功能齐全,甚至能自动处理依赖项和运行命令。 2. 多技术栈支持:对 Web 技术掌握远超预期,生成的代码可直接运行且无明显语法错误。 3. 动态调整潜力:能根据用户反馈快速调整样式,自适应布局的实现展现了 AI 的迭代能力。
2025-03-26
开源flux模型如何快速使用
以下是关于开源 Flux 模型快速使用的方法: 1. 模型的下载: 如果因为环境问题,可以在网盘中下载。 siglipso400mpatch14384(视觉模型):siglip 由 Google 开发的视觉特征提取模型,负责理解和编码图像内容。工作流程包括接收输入图像、分析图像的视觉内容并将这些视觉信息编码成一组特征向量。打开 ComfyUI\models\clip,在地址栏输入 CMD 回车,打开命令行,输入下面的命令拉取模型(也可以在网盘里下载)。 image_adapter.pt(适配器):连接视觉模型和语言模型,优化数据转换。工作流程包括接收来自视觉模型的特征向量、转换和调整这些特征,使其适合语言模型处理。通过 https://huggingface.co/spaces/fancyfeast/joycaptionprealpha/tree/main/wpkklhc6 下载,放到 models 的 Joy_caption 文件夹里,如果该文件夹不存在,就新建一个。 MetaLlama3.18Bbnb4bit(语言模型):大型语言模型,负责生成文本描述。工作流程包括接收经过适配器处理的特征、基于这些特征生成相应的文本描述、应用语言知识来确保描述的连贯性和准确性。打开 ComfyUI\models\LLM,地址栏输入 CMD 回车,在命令行里面输入下面命令。 2. 下载地址: ae.safetensors 和 flux1dev.safetensors 下载地址:https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 准备了夸克和百度的网盘链接,方便部分同学下载: flux 相关模型(体积较大)的夸克网盘链接:https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型(体积较大)的百度网盘链接:https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码:ub9h 。 如果 GPU 性能不足、显存不够,底模可以使用 fp8 的量化版模型,速度会快很多,下载地址:https://huggingface.co/Kijai/fluxfp8/tree/main 。 3. 工作流下载: 最后我们再下载 dev 的工作流: 。或者下面官方原版的图片链接,图片导入 comfyUI 就是工作流:https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png 。我们打开 ComfyUI,把工作流或图片拖拽到 ComfyUI 里。
2025-04-08
我现在是学了一段时间的comfyui+flux,接下来准备学Python开发comfyui节点、对接模型,这样学下去方向有没有问题呢
您学习 ComfyUI 和 Flux 一段时间后准备学习 Python 开发 ComfyUI 节点并对接模型,这个方向是可行的。以下是一些相关的知识和要点供您参考: 工作流方面: 工作流节点可直接拖动单个节点到任意位置,也可按住 Control 键并用鼠标左键滑框选中多个节点,再按 Shift 键一起拖动。 选中节点后右键新建组,可修改组名、颜色等,组被覆盖时可直接拖动组。 选中节点后右键选择对齐方式,如顶部对齐、左边对齐等。 第三方节点的安装方式包括在 customer NODE manager 中安装、在 GitHub 上复制链接安装、通过终端输入指令安装、在秋叶启动器的版本管理中安装。 可通过 group by Parser 节点控制组,也可通过按住节点按 control b 跳过或按 control m 终止执行。 模型方面: 噪声强度由种子调节,种子固定噪声分布方式,噪声与 CLIP 无关,增大噪声设置值会增强模型对图片重绘的程度。 模型版本的提示词差异:1.5 以 tag 为主,XL 论文称以自然语言为主,但实际使用中因模型微调情况可能仍需用 tag。 Flux 模型有时生成黑图,可能有修复方案,需自行查询。图像生成结果为空,可能是 VAE 编码器与大模型未连接,调整连接后问题解决。 安装方面: 自动打标 joy_caption 副本的节点安装地址为 D:\\ComfyUI\\ComfyUI_windows_portable\\ComfyUI\\custom_nodes。 安装步骤包括:(Comfyui evn python.exe)python m pip install rrequirements.txt 或点击 install_req.bat,注意 transformers 版本不能太低。 下载模型或者运行 ComfyUI 自动下载模型到合适文件夹,如从 https://huggingface.co/unsloth/MetaLlama3.18Bbnb4bit 下载并放到 Models/LLM/MetaLlama3.18Bbnb4bit 文件夹内。 新版的 PuLID 解决了模型污染的问题,使用新版的节点需要禁用或者删除之前的 PuLID 节点,不然可能会有冲突问题。模型放在 ComfyUI\\models\\pulid 文件夹里面,注意用新版的。 如果使用 PuLID,还需要安装 EVA CLIP 等模型。
2025-03-21
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型,包括 t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置随意,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程,完成后提示是否下载 hunyuan 模型,选择 n 不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集: 在数据集一栏中,点击右上角创建数据集。 输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。 Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后上传成功,可点击详情检查,预览数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,选择上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。 4. 模型效果预览提示词则随机抽取一个数据集中的标签填入。 5. 训练参数可调节重复次数与训练轮数,厚德云会自动计算训练步数。若不知如何设置,可默认 20 重复次数和 10 轮训练轮数。 6. 按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 7. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。 8. 鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择 Lora 和调节参数。
2025-03-15
ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUI-aki(1)\ComfyUI-aki-v1.6\ComfyUI\models\checkpoints\flux1-dev-fp8.safetensors
很抱歉,根据您提供的错误信息“ERROR: Could not detect model type of: D:\AIruanjian\AIRUANJIAN\ComfyUIaki\ComfyUIakiv1.6\ComfyUI\models\checkpoints\flux1devfp8.safetensors”,暂时无法明确具体的问题原因。可能是模型文件格式不被识别,或者文件路径存在错误等。建议您检查文件的完整性和正确性,确保其符合相关软件的要求。
2025-03-07
midjourney_whisper_flux_lora_v01
以下是关于您提到的“midjourney_whisper_flux_lora_v01”的相关信息: 1. XLabsAI 发布了 6 个不同的 Lora,包括 Midjourney 风格、写实风格、动漫风格、迪斯尼风格、风景风格等,并提供了相应示例。 2. 文生图模型排序(从高到低):Imagen 3 真实感满分,指令遵从强;Recraft 真实感强,风格泛化很好,指令遵从较好(会受风格影响);Midjourney 风格化强,艺术感在线,但会失真,指令遵从较差;快手可图 影视场景能用,风格化较差;Flux.1.1 真实感强,需要搭配 Lora 使用;文生图大模型 V2.1L(美感版) 影视感强,但会有点油腻,细节不够,容易糊脸;Luma 影视感强,但风格单一,糊;美图奇想 5.0 AI 油腻感重;腾讯混元 AI 油腻感重,影视感弱,空间结构不准;SD 3.5 Large 崩。 3. 指定 AI 生图里的文字,有 9 种解决方案,其中 2 种快过时了。包括 Midjourney(v6 版本开始支持文字效果,主要支持英文,中文支持有限)、Ideogram(以图片嵌入文字能力闻名,2.0 模型能力得到进一步加强,支持复杂文本和多种艺术风格,文字与图像能够自然融合,支持英文,中文提示词可自动翻译为英文)、Recraft(V3 开始支持文本渲染能力,是目前唯一能在图像中生成长文本的模型,支持精确的文本位置控制,支持图像编辑功能,支持矢量图生成,支持英文,中文渲染能力较弱)、Flux(FLUX.1 是一款高质量的开源图像生成模型,支持复杂指令,支持文本渲染,支持图像编辑,生成图像的质量很高,主要支持英文)。
2025-03-07
flux 训练lora 教程
以下是关于 Flux 训练 Lora 的教程: 1. 准备模型:需要下载以下几个模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。注意:不使用的话它们放到哪里都可以,甚至放一起一个文件夹,只要知道“路径”,后面要引用到“路径”。因为是训练,不是跑图,训练的话,模型就用 flux1dev.safetensors 这个版本,编码器也用 t5xxl_fp16.safetensors 这个版本最好。 2. 下载脚本: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 3. 安装虚拟环境:下载完解压,在文件中找到 installcnqinglong.ps1 这个文件,右键选择“使用 PowerShell 运行”,新手的话这里就点击“Y”,然后等待 1 2 小时的漫长下载过程,下好了之后最后会提示是否下载 hunyuan 模型,选择 n 不用下载。 4. 0 基础训练大模型: 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 步骤一·创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。zip 文件可以是包含图片 + 标签 txt,也可以只有图片没有打标文件(之后可以在 c 站使用它的自动打标功能),也可以一张一张单独上传照片,但建议提前把图片和标签打包成 zip 上传。Zip 文件里图片名称与标签文件应当匹配,例如:图片名"1.png",对应的达标文件就叫"1.txt"。上传 zip 以后等待一段时间,确认创建数据集,返回到上一个页面,等待一段时间后就会上传成功,可以点击详情检查,可以预览到数据集的图片以及对应的标签。 步骤二·Lora 训练:点击 Flux,基础模型会默认是 FLUX 1.0D 版本,选择数据集,点击右侧箭头,会跳出所有上传过的数据集,触发词可有可无,取决于数据集是否有触发词,模型效果预览提示词则随机抽取一个数据集中的标签填入即可。训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数,如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数,可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力,然后就可以等待训练了,会显示预览时间和进度条,训练完成的会显示出每一轮的预览图,鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 5. ControlNet 作者张吕敏再出新项目 LuminaBrush:基于数据集在 Flux 上训练 LoRA,并用 LoRA 生成的图像来扩展这个图像数据集。使用均匀光照图像作为中间表示具有一些优势,比如避免来自 3D 反照率的过于锐利的网格边界或过于平坦的表面。而这些图像在细节层面也足够细腻,可以处理皮肤纹理、头发、毛发等细节。接下来,通过合成随机法线,将这些均匀光照图像进行随机再光照,以训练一个可以从任何输入图像中提取均匀光照外观的模型。第一阶段的这个模型目前也提供了在线 demo:https://huggingface.co/spaces/lllyasviel/lumina_brush_uniform_lit 。第二阶段,会从数百万张高质量的自然场景图像中提取均匀光照外观图像,以构建成对数据集,用于训练最终的交互式光照绘制模型。
2025-03-04
什么是sft?
SFT 即监督微调(Supervised FineTuning),以下是关于 SFT 的一些相关信息: 在苹果大模型 MM1 的研究中,研究者在预训练模型之上训练了监督微调实验,从不同的数据集中收集了约 100 万个 SFT 样本,并采用扩展到高分辨率的 SFT 方法,监督微调结果显示出了模型的优越性能。 在多模态大模型的训练中,多模态微调包括监督微调(SFT)和 RLHF 两部分,目的是使模型符合人类的意图或偏好,并增强交互能力。SFT 将预训练阶段的数据转换为指令感知的格式,优化目标与预训练相同,SFT 数据可构造为单轮或多轮的 QA。 在 Gemini report 中,指令调优涵盖有监督的微调(SFT)和通过人类反馈的强化学习(RLHF),SFT 需要对“优质”数据进行整理,以进行奖励模型训练和 RLHF,数据混合比例通过较小的模型进行消融,以平衡有用性指标和减少模型危害。
2025-03-26
AI SFT 是什么
AI SFT 即监督微调(Supervised Finetuning)。它是一种在人工智能领域中的技术。例如在自然语言处理中,通过使用有监督的数据对预训练的模型进行微调,以使其更好地适应特定的任务和领域。在一些研究和应用中,如会话式医疗诊断人工智能应用 AMIE 中,SFT 被用于弥补真实世界数据样本的充分性、全面性、深刻性和洞察性。同时,在 Transformer 等模型的发展和应用中,SFT 也发挥着重要作用。
2025-02-05
sft是什么意思
“SFT”可能有多种含义。在音乐领域,它可能指某种特定的音乐风格,如“Swift”指快速和敏捷的音乐风格,常用于表现快速和敏捷的情感,如 Taylor Swift 的《Shake It Off》;“Swirling”指旋转和流动的音乐风格;“Swooning”指陶醉和倾倒的音乐风格;“Syllabic”指音节和节奏的音乐风格;“Symbiotic”指共生和互助的音乐风格。 在语音处理方面,“SFT”可能指短时傅里叶变换(Shorttime Fourier Transform,STFT)。语音通常是短时平稳信号,在进行傅里叶变换前一般要进行分帧,取音频的小片段进行短时傅里叶变换。其结果是一个复数,包括幅度和相位信息。能量频谱是振幅频谱的平方,通过对频域信号进行逆傅里叶变换可恢复时域信号。离散傅里叶变换计算复杂度高,可采用快速傅里叶变换简化。在实际应用中,对语音信号分帧加窗处理,视为短时傅里叶变换。
2024-11-17
有哪些高质量 sft 多轮对话数据集
高质量的SFT(Supervised FineTuning)多轮对话数据集在训练对话系统时至关重要。以下是一些公认的高质量多轮对话数据集: 1. ConvAI2 Dataset ConvAI2数据集是基于PersonaChat数据集构建的,用于ConvAI2挑战赛。它包含了多轮对话,且每个对话都有明确的角色和背景信息,有助于训练更具个性化的对话系统。 链接: 2. DSTC系列数据集 DSTC(Dialogue State Tracking Challenge)系列数据集是多轮对话系统研究中的经典数据集,涵盖了多种任务和领域,如任务导向对话、对话状态跟踪等。 DSTC2: 专注于餐馆预订任务。 DSTC3: 扩展了DSTC2,增加了更多的任务和对话状态。 DSTC6: 涉及对话行为理解和对话状态跟踪。 链接: 3. MultiWOZ Dataset MultiWOZ(MultiDomain Wizard of Oz)是一个大规模、多领域任务导向对话数据集,涵盖了多个对话场景,如餐馆预订、酒店预订、出租车预订等。数据集中的对话是由实际用户和客服人员通过WizardofOz方法生成的,质量较高。 链接: 4. Ubuntu Dialogue Corpus Ubuntu Dialogue Corpus是一个大规模、多轮对话数据集,基于Ubuntu的IRC日志。数据集包含技术支持对话,适用于训练技术支持和问答系统。 链接: 5. CoQA Dataset CoQA(Conversational Question Answering)数据集用于对话式问答系统的训练。数据集中每个对话包含一个给定的文本和相关的问题回答对。 链接: 6. TopicalChat Dataset TopicalChat数据集是微软创建的,用于开发和评估开放领域对话系统。数据集包括不同主题的多轮对话,涉及科技、娱乐、体育等多个领域。 链接: 7. PersonaChat Dataset PersonaChat数据集包含多轮对话,每个对话参与者都有预定义的个人信息或“persona”,旨在开发更具个性化和情感的对话系统。 链接: 总结 这些数据集覆盖了多种对话场景和任务类型,是开发高质量对话系统的重要资源。在使用这些数据集进行训练时,可以结合具体的应用场景和需求,选择合适的数据集进行SFT。
2024-06-13
IP-Adapter放在哪个文件夹
IPAdapter 的存放位置如下: 节点包:下载或 git clone 新的节点包到 ComfyUI/custom_nodes/文件夹下。 模型: /ComfyUI/models/clip_vision:(SDXL)。 /ComfyUI/models/ipadapter:。 如果相应文件夹不存在,需要新建并重命名。
2025-03-07
flux模型放在那个文件夹
FLUX 模型的放置位置如下: FLUX.1等版本的模型应放在 ComfyUI/models/unet/文件夹中。如果爆显存了,“UNET 加载器”节点中的 weight_dtype 可以控制模型中权重使用的数据类型,设置为 fp8 可降低显存使用量,但可能会稍降质量,默认的 weight_type 显存使用较大。 t5xxl_fp16.safetensors 和 clip_l.safetensors 应放在 ComfyUI/models/clip/文件夹里面。可以使用 t5xxl_fp8_e4m3fn.safetensors 来降低内存使用率,若有超过 32GB 内存,建议使用 fp16。 下载的 Vae 模型应放入 ComfyUI/models/vae 文件夹。 同时,以下模型也有对应的放置位置: flux1dev.safetensors 放在 ComfyUI/models/unet/目录下。 t5xxl_fp16.safetensors 和 clip_l.safetensors 放在 ComfyUI/models/clip/目录下。 ae.safetensors 放在 ComfyUI/models/vae/目录下。 flux1dev.safetensors 是底模,ae.safetensors 是 VAE,clip_l.safetensors 和 t5xxl_fp16.safetensors 是关于文字语言编码。
2025-03-03
有没有带有文件夹功能的ai
目前,带有文件夹功能的 AI 仅在 Cursor Chat 中受支持。您还可以将 Cursor 中的整个文件夹作为上下文引用,@Folders 对于希望为 AI 提供大量上下文的长上下文聊天特别有用,相关链接为:https://docs.cursor.com/chat/overviewlongcontextchat 。 此外,能联网检索的 AI 也是存在的。例如,ChatGPT Plus 用户现在可以开启 web browsing 功能实现联网;Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能,允许用户指定希望聊天机器人在制定响应时搜索的源类型;Bing Copilot 作为 AI 助手,旨在简化在线查询和浏览活动;还有如 You.com 和 Neeva AI 等搜索引擎,它们提供了基于人工智能的定制搜索体验,并保持用户数据的私密性。 在 Excel 方面,有以下几种增强数据处理和分析能力的 AI 工具和插件: 1. Excel Labs:是 Excel 插件,新增生成式 AI 功能,基于 OpenAI 技术,可在 Excel 中利用 AI 进行数据分析和决策支持。 2. Microsoft 365 Copilot:微软推出,整合了 Word、Excel、PowerPoint、Outlook、Teams 等办公软件,通过聊天形式,用户告知需求,Copilot 自动完成任务。 3. Formula Bot:提供数据分析聊天机器人和公式生成器两大功能,用户可通过自然语言交互式地进行数据分析和生成 Excel 公式。 4. Numerous AI:支持 Excel 和 Google Sheets 的 AI 插件,除公式生成外,还可根据提示生成相关文本内容、执行情感分析、语言翻译等任务。 以上内容由 AI 大模型生成,请仔细甄别。
2024-12-21
我要整理文件夹中的图片, 请推荐一款适合的AI软件
以下为您推荐适合整理文件夹中图片的 AI 软件: 1. 去水印方面: AVAide Watermark Remover:在线工具,支持多种图片格式,如 JPG、JPEG、PNG、GIF 等。操作简单,上传图片、选择水印区域,保存并下载处理后的图片,还提供去除文本、对象、人物、日期和贴纸等功能。 Vmake:可上传最多 10 张图片,AI 自动检测并移除水印,适合需快速去水印并在社交媒体分享图片的用户。 AI 改图神器:提供 AI 智能图片修复去水印功能,可一键去除图片中多余物体、人物或水印,支持直接粘贴图像或上传手机图像,操作简便。 2. 图生图方面: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感,丰富创作过程。 Retrato:AI 工具,将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计,将上传照片转换为芭比风格,效果佳。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可以根据文本或参考图像生成具有创意且质量不错的相似图像输出,但仍有一些局限,如偶尔会出现性能不稳定、生成内容不当等问题。内容由 AI 大模型生成,请仔细甄别。您可以根据具体需求选择最适合您的工具。
2024-09-03
知识库和文件夹有什么区别
知识库和文件夹有以下区别: 功能和用途:知识库是用于存储和管理外部数据,让 Bot 可以与指定的数据进行交互,并且会自动将文档分割成内容片段进行存储,通过向量搜索检索最相关内容来回答用户问题。而文件夹主要是用于对文件或数据进行分类和组织,方便用户查找和管理。 组成和结构:知识库由大到小可分为知识库、单元和分段。单元是可上传的最小内容单位,可以是一个.txt、.pdf、.csv 文件或一个网页。分段是一个单元切分成的多个部分,是模型查询的最小单位。 与 Bot 的关系:知识库是提前内置在 Bot 内部的,一般只能用作检索使用。而文件夹与 Bot 的交互相对较少。 数据处理:数据库是偏编程的概念,非编程同学可以直接参考官方文档的教程操作一遍。数据库既可以提前内置在 Bot 内部,也可以在和 Bot 互动的过程中将某些数据写入数据库,当作存储组件使用。而知识库主要是提取和存储长期知识。
2024-08-16