Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

layer_xl_bg2ble.safetensors,layer_xl_transparent_conv.safetensors,vae_transparent_encoder.safetensors这一类是大模型,还是Lora?

Answer

layer_xl_bg2ble.safetensors、layer_xl_transparent_conv.safetensors、vae_transparent_encoder.safetensors 这类文件可能是大模型的一部分，也可能是 Lora 模型。

在 AI 模型中：

  • 基础模型（英文名 Checkpoint）是生图必需的，任何生图操作必须要选定一个基础模型才能开始。
  • Lora 是低阶自适应模型，可以理解为基础模型的小插件，生图时可有可无，但在控制面部、材质、物品等细节方面有明显价值。

同时，VAE 是个编码器，功能类似于滤镜，可调整生图的饱和度。

Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

1.首页-模型\帖子\排行榜：发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签，有些模型的标签后面还有第二个XL的标签，这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方，是用这个模型生成的图片，俗称返图区。1.基础模型：生图必需的，英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意，checkpoint区别于lora，这两个东西在模型广场都是混着展示的。checkpoint必选，lora可选可不选，任何主题的作图需求，都可以试着在模型广场上搜索或者浏览，然后收集到模型库中用于生图。1.lora：低阶自适应模型，你可以理解为checkpoint的小插件，生图的时候lora可有可无。但是lora的价值还是很明显的，基本上你看到一些精细的控制，如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet：控制图片中一些特定的图像，可以用于控制人物姿态，或者是生成特定文字、艺术化二维码等等。也是高阶技能，后面再学不迟。1.VAE：是个编码器，功能类似于我们熟悉的滤镜，调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词：想要AI生成的内容（不绝对有效，需要多费功夫学习，哪怕从照抄别人开始）。2.负向提示词Negative Prompt：想要AI避免产生的内容（不绝对有效，也需要费功夫学，哪怕从照抄别人开始）。1.图生图：上传图片之后，sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大，输出的图和输入的图差别就越大。

从 0 到 1 了解大模型安全，看这篇就够了

encoder-only:这些模型通常适用于可以自然语言理解任务，例如分类和情感分析.最知名的代表模型是BERTencoder-decoder:此类模型同时结合了Transformer架构的encoder和decoder来理解和生成内容。该架构的一些用例包括翻译和摘要。encoder-decoder的代表是google的T5decoder-only:此类模型更擅长自然语言生成任务。典型使用包括故事写作和博客生成。这也是我们现在所熟知的众多AI助手的结构我们目前耳熟能详的AI助手基本都来自左侧的灰色分支,当然也包括ChatGPT。这些架构都是根据谷歌2017年发布的论文“attention is all you need”中提出的transformer衍生而来的，在transformer中，包括Encoder，Decoder两个结构目前的大型语言模型就是右侧只使用Decoder的Decoder-only架构的模型大模型又大在哪呢？第一，大模型的预训练数据非常大，这些数据往往来自于互联网上，包括论文，代码，以及可进行爬取的公开网页等等，一般来说，现在最先进的大模型一般都是用TB级别的数据进行预训练。第二，参数非常多，Open在2020年发布的GPT-3就已经达到170B的参数在GPT3中，模型可以根据用户输入的任务描述，或给出详细的例子，完成任务但这与我们熟知的ChatGPT仍然有着很大的差距，使用ChatGPT只需要像和人类一样对话，就可以完成任务。除了形式上的不同之外，还有一个更加重要的差距，那就是安全性上的差别。

Comfyui SD 学社 做一个黏土头像

可以多个lora组合使用,但是需要以一个为主,其他的强度在0.5或者以下,防止冲突CLAYMATE黏土lora(SDXL1.0)https://civitai.com/models/208168?modelVersionId=236248lora触发词claymation迪福森博士的黏土动画风格(SDXL1.0)lora触发词made-of-clayhttps://civitai.com/models/181962/doctor-diffusions-claymation-style-loraClay style(SD1.5)https://civitai.com/models/121119/clay-style[heading5]大模型下载地址迪士尼真实卡通混合(SDXL1.0)[content]DisneyRealCartoonMixhttps://civitai.com/models/212426/disneyrealcartoonmix这个模型与黏土配合测试下来还不错,可能是因为迪士尼的浓眉大眼风格和黏土比较搭吧.模型触发词:modisn disney,modisn disney style大家也可以选择不同的模型测试比如:Playground AI's Playground v2.5 1024pxhttps://civitai.com/models/325263/playground-ais-playground-v25-1024px模型可以自由选择[heading5]这里我们用SDXL来做实验[content]如果不熟悉comfyui的小伙伴,可以先从文生图开始,再到图生图[heading5]文生图

Others are asking
.ckpt还是.safetensors好
在 Stable Diffusion 中，.ckpt 和.safetensors 都是模型文件的后缀。 .ckpt 是序列化过的文件，可能包含恶意代码，加载时存在一定的安全风险。 .safetensors 一般使用 numpy 格式保存，只保存张量数据，没有任何代码，加载时更安全且速度更快。 在使用 WebUI 时，左上角切换的就是主模型，而主模型后缀通常为.ckpt 或者.safetensors，其体积一般在 2G 7G 之间。管理模型需要进入 WebUI 目录下的 models/Stablediffusion 目录。 Checkpoint 包含了 MODEL、CLIP 和 VAE 三个部分，是所有工作流程的起点。
2024-12-18
flux和sdXL出图的区别
Flux 和 SDXL 出图主要有以下区别： 1. 生成人物外观：Flux 存在女生脸油光满面、下巴等相同外观问题，而 SDXL 相对在这方面有改进。 2. 模型构成：SDXL 由 base 基础模型和 refiner 优化模型两个模型构成，能更有针对性地优化出图质量；Flux 中 Dev/Schnell 是从专业版中提取出来，导致多样性丧失。 3. 处理方式：在低显存运行时，可采用先使用 Flux 模型进行初始生成，再用 SDXL 放大的分阶段处理方式，有效控制显存使用。 4. 模型参数和分辨率：SDXL 的 base 模型参数数量为 35 亿，refiner 模型参数数量为 66 亿，总容量达 13G 之多，基于 10241024 的图片进行训练，可直接生成 1000 分辨率以上的图片，拥有更清晰的图像和更丰富的细节；而 Flux 在这方面相对较弱。
2024-12-20
文生图中DiT架构比SDXL架构好在哪
DiT 架构相比 SDXL 架构具有以下优势： 1. Scaling 能力：相比于 Unet，Transformer 结构的 Scaling 能力更受认可，即模型参数量越大，性能越强。 2. 额外信息处理：DiT 在 Vision Transformer 模块基础上做了略微修改，能够在图片生成过程中接受一些额外的信息，如时间步 t 和标签 y。 3. 场景模拟真实性：Sora 背后的 DiT 架构在大数据量情况下具有强大的刻画能力，能展现出类似大语言模型涌现出逻辑推理等能力的现象。 4. 文本编码器：在提升文生图模型的语义理解能力方面，新的文生图模型纷纷优化文本编码器的能力，而 HunyuanDiT 作为使用 DiT 架构的模型，在中文生图方面有一定进展，但开源界中文、细粒度文生图模型的文本编码器仍有较大优化空间。
2024-08-20
forge diffusion的layer diffuse插件不管用是什么原因
Forge Diffusion 的 layer diffuse 插件不管用可能有以下原因： 1. 未正确安装 SD WebUI 的 Forge 版本：在安装 layer diffuse 插件之前，需要确保已安装正确的 。 2. 插件安装步骤有误：应在 Forge 界面点击“Extensions”，选中“layerdiffusion”插件，然后点击安装，并等待安装完成。 3. 部分功能未完成：透明 img2img 功能尚未完成（大约一周内完成）。 4. 代码处于动态变化阶段：插件的代码非常动态，可能在接下来的一个月内发生大幅变化。 此信息来自标记狮社区，原文链接：https://mmmnote.com/article/7e8/03/articlee395010da7c846a3.shtml
2025-01-29
ComfyUI_LayerStyle
ComfyUI_LayerStyle 相关内容如下： 加载模型部分： 下好工作流中的所需三张图片“SeasonYou_Reference、BG、MASK”以及上传自己所需的照片到 Input 部分。右上角放自己的人像图片（非人像会报错提示“no face detected”）。 对于 vae 加载器部分，选择 xl 版本（因为大模型用的 xl）的 vae 即可。 对于 ipadater 部分，倘若加载器部分报错说 model 不存在，将文中画圈部分修改调整到不报错。 Pulid 部分，除了下载好对应的节点以及参考官方网站最下面的安装对应要求外，还要注意对应安装一些内容，具体要求可查看云盘中命名为“pulid 插件模型位置.png”及对应的云盘链接：PulID 全套模型 链接:https://pan.baidu.com/s/1ami4FA4w9mjuAsPK49kMAw?pwd=y6hb 提取码:y6hb ，否则将会报错。 爆肝博主 ZHO 的更新记录： 3 月 7 日：ComfyUI 支持 Stable Cascade 的 Inpainting ControlNet，ComfyUI 作者在示例页面给出了说明和工作流：https://comfyanonymous.github.io/ComfyUI_examples/stable_cascade/ ，博主自己也整理了一版，分享在：https://github.com/ZHOZHOZHO/ComfyUIWorkflowsZHO ，说明第二个 inpainting+composite 是将原图帖回到重绘之后的效果，是非必要项，按需使用。 3 月 6 日：国内作者把 ps 很多功能都迁移到了 ComfyUI 里，项目是：https://github.com/chflame163/ComfyUI_LayerStyle 。最新版 ComfyUI 支持了一系列图像形态学处理，包括 erode 腐蚀（去除小噪点/分离相邻对象）、dilate 膨胀（填补小洞/连接临近对象）、open 开（先腐蚀后膨胀）、close 闭（先膨胀后腐蚀）、gradient 梯度（膨胀与腐蚀之差）、top_hat 顶帽（原图与开之差）、bottom_hat 底帽（原图与闭之差）。使用方法为：1）更新 ComfyUI；2）右键 image/postprocessing/ImageMorphology；3）接上图像输入和输出即可。
2025-01-15