Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

sd基础知识

Answer

Stable Diffusion 是由 Stability AI 和 LAION 等公司共同开发的生成式模型,具有约 1B 的参数量,可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。本文以文生图和图生图任务为例,通俗讲解了 Stable Diffusion 模型的工作流程。文生图任务是将文本输入模型,经过迭代生成符合描述的图片;图生图任务则在输入文本和图片的基础上,根据文本提示重绘图片。此外,文章还介绍了如何将输入的文本信息转化为模型能够理解的机器数学信息。

Content generated by AI large model, please carefully verify (powered by aily)

References

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

1.Stable Diffusion系列资源2.零基础深入浅出理解Stable Diffusion核心基础原理2.1通俗讲解Stable Diffusion模型工作流程(包含详细图解)2.2从0到1读懂Stable Diffusion模型核心基础原理(包含详细图解)2.3零基础读懂Stable Diffusion训练全过程(包含详细图解)2.4其他主流生成式模型介绍3.Stable Diffusion核心网络结构解析(全网最详细)3.1 SD模型整体架构初识3.2 VAE模型3.3 U-Net模型3.4 CLIP Text Encoder模型3.5 SD官方训练细节解析4.从0到1搭建使用Stable Diffusion模型进行AI绘画(全网最详细讲解)4.1零基础使用ComfyUI搭建Stable Diffusion推理流程4.2零基础使用SD.Next搭建Stable Diffusion推理流程4.3零基础使用Stable Diffusion WebUI搭建Stable Diffusion推理流程4.4零基础使用diffusers搭建Stable Diffusion推理流程4.5 Stable Diffusion生成示例5.Stable Diffusion经典应用场景5.1文本生成图像5.2图片生成图片5.3图像inpainting5.4使用controlnet辅助生成图片5.5超分辨率重建6.从0到1上手使用Stable Diffusion训练自己的AI绘画模型(全网最详细讲解)6.0 Stable Diffusion训练资源分享6.1 Stable Diffusion模型训练初识6.2配置训练环境与训练文件6.3 SD训练数据集制作6.4 Stable Diffusion微调(finetune)训练

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

因此本文中,Rocky将以AI绘画开源社区中最为火爆的Stable Diffusion 1.5模型为例,对Stable Diffusion模型的全维度各个细节做一个深入浅出的分析与总结(SD模型结构解析、SD模型经典应用场景介绍、SD模型性能优化、SD模型从0到1保姆级训练教程,SD模型不同AI绘画框架从0到1推理运行保姆级教程、最新SD模型资源汇总分享、SD相关配套工具使用等),和大家一起交流学习,让我们能快速地入门Stable Diffusion及其背后的AIGC领域,在AIGC时代中更好地融入和从容。

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

Stable Diffusion(SD)模型是由Stability AI和LAION等公司共同开发的生成式模型,总共有1B左右的参数量,可以用于文生图,图生图,图像inpainting,ControlNet控制生成,图像超分等丰富的任务,本节中我们以文生图(txt2img)和图生图(img2img)任务展开对Stable Diffusion模型的工作流程进行通俗的讲解。文生图任务是指将一段文本输入到SD模型中,经过一定的迭代次数,SD模型输出一张符合输入文本描述的图片。比如下图中输入了“天堂,巨大的,海滩”,于是SD模型生成了一个美丽沙滩的图片。SD模型的文生图(txt2img)过程而图生图任务在输入本文的基础上,再输入一张图片,SD模型将根据文本的提示,将输入图片进行重绘以更加符合文本的描述。比如下图中,SD模型将“海盗船”添加在之前生成的那个美丽的沙滩图片上。SD模型的图生图(img2img)过程那么输入的文本信息如何成为SD模型能够理解的机器数学信息呢?

Others are asking
sd教程
以下是关于 SD 的一些教程: 用 SD 做二维码: 好看的二维码欣赏:第一个就是 qrbtf。 最近新出了融合二维码教程。 方法原文地址:https://stablediffusionart.com/qrcode/ 相关帖子展示了使用 Stable Diffusion 创建的艺术二维码,是使用定制训练的 ControlNet 模型生成的,人们也想出了在无自定义模型情况下制作 QR 码的方法。 用 SD 做中文文字(持续更新中): 制作思路: 将中文字做成白底黑字,存成图片样式。 使用文生图的方式,使用大模型真实系,作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 输入关键词,如奶油的英文单词,Cream+Cake(加强质感),反关键词:Easynegative(负能量),反复刷机,得到满意的效果即可。 同理可输出 C4D 模型,可自由贴图材质效果,3d,blender,oc rendering。 如果希望有景深效果,也可以打开 depth(增加阴影和质感)。 打开高清修复,分辨率联系 1024 以上,步数:2960。 参考视频教程:【“牛逼”的教程来了!一次学会 AI 二维码+艺术字+光影光效+创意 Logo 生成,绝对是 B 站最详细的 Stable Diffusion 特效设计流程教学!AI 绘画进阶应用哔哩哔哩】https://b23.tv/c33gTIQ SD 的各种实践教程: 线稿上色 Midjourney+Stable Diffusion:https://waytoagi.feishu.cn/wiki/AsbYwmfS6ikhr3kNsCocdPMEnUd 猫咪狗狗 lora:https://waytoagi.feishu.cn/wiki/JiQewVbOHi7tzakS23ecprxsnfg 字体设计机甲战士:https://waytoagi.feishu.cn/wiki/GUQ3w52elisr9ukIgkBc42UmnWd 做盲盒平面变 3D:https://waytoagi.feishu.cn/wiki/SCK8wV4PTiHQVKkvGRUcx0fcnTe MJ 出图 SD 放大:https://waytoagi.feishu.cn/wiki/E88nwOtk9ilRQskg3Qlc6ZHpnTf 七夕字体和图:https://waytoagi.feishu.cn/wiki/BjQ1wLRv0ivCLtk136VchSCqnpU 可爱毛粘字体:https://waytoagi.feishu.cn/wiki/NjhbwF1cTiQ5Xjkd3tNc1OWynZd
2025-04-08
绘画工具sd怎么使用?
以下是关于绘画工具 SD 的使用方法: 1. 生成超大图像: 若想用 SD 绘制超高分辨率图片(如 10000x768 的清明上河图),直接调分辨率不可行,会爆显存,正常尺寸设置最高到 2048。 先在 PS 中设置所需大尺寸画布,保存为 jpg 图片。 将图片放入 ControlNet 中,点击右下角箭头,将图片尺寸信息发送到生成设置。 填入正反向提示词,启用 Tiled Diffusion 插件,其中方案选择 Mixture of Diffusers,可防止接缝产生。 2. 提示词标签选择: 按顺序选择标签词,如女孩、白头发、蓝眼睛等。 选择画质和视角,如最好的质量、杰作、从人物角度往下看等。 选择艺术风格,如皮克斯动画、轮廓光。 填写负面提示词,点击选框结尾的“负面”。 模型选择“revAnimated”,调整尺寸后点击生图。 3. 真人转二次元及图生图: 使用【X/Y/Z plot】脚本做参数对比,设置 X 轴为提示词相关性(取值范围 130,每次增加 5),Y 轴为重绘幅度(取值范围 01,每次增加 0.2)。 提示词相关性在 6—11 中间为最佳,重绘幅度大小可控制生成图与原图相似度。 可使用绘图功能增加或修改元素,如增加红色眼镜、去掉衣服图案、更换头部或修改帽子部分等。
2025-04-01
sd 换脸
以下是关于 SD 换脸插件 Roop 的详细步骤: 1. 勾选包含 Python 和 C++包等相关项目,更改安装位置后点击右下角安装。安装时间较长,需耐心等待。 2. 安装好后,打开 SD 文件目录下的相关文件夹,在地址栏输入“cmd”并回车,在打开的 dos 界面粘贴“python m pip install insightface==0.7.3 user”代码,自动安装 insightface。若此阶段出错,建议下载最新的秋叶 4.2 整合包(6 月 23 号更新),在云盘后台回复【SD】可下载。 3. 安装完成后,重新打开启动器,后台会继续下载一些模型,全程要保证科学上网。 4. 选用真实系模型“realisticVisionV20”,关键词描述相关内容生成照片。 5. 启用 ROOP 插件,选择要替换的人物照片,面部修复选择“GFPGAN”,根据需求设置右边的参数数值和放大算法,点击生成。 6. 若生成的人脸像素偏低、模糊,可将图发送到“图生图”,开较小的重绘幅度,然后使用 controlnet 中的 tile 模型进行重绘。 此插件主要适用于真实人脸替换,对二次元人物作用不大。在使用时要谨慎,切勿触犯法律。若想要此插件,可添加公众号【白马与少年】,回复【SD】即可。推荐使用最新的秋叶整合包,出错概率最小,且科学上网很重要。
2025-03-19
你有内置sd吗
Stable Diffusion(SD)相关知识如下: SD 内置了 LyCORIS,使用 LoRA 模型较多,其与 LyCORIS 相比可调节范围更大。LoRA 和 LyCORIS 的后缀均为.safetensors,体积较主模型小,一般在 4M 300M 之间。管理模型时可进入 WebUl 目录下的 models/LoRA 目录,在 WebUl 中使用时,可在 LoRA 菜单中点击使用,也可直接使用 Prompt 调用。 SD 的安装:系统需为 Win10 或 Win11。Win 系统查看配置,包括查看电脑系统(在桌面上找到“我的电脑”,鼠标右键点击,点击“属性”,查看 Windows 规格)和查看电脑配置(需要满足电脑运行内存 8GB 以上、是英伟达(NVIDA)的显卡、显卡内存 4GB 以上。打开任务管理器:同时按下 ctrl + shift + esc,查看电脑运行内存和显卡内存)。配置达标可跳转至对应安装教程页,如 【SD】无需 Lora,一键换脸插件 Roop:勾选相关项目,确保包含 Python 和 C++包。更改安装位置,点击右下角安装。安装时间长需耐心等待。安装好后,打开 SD 文件目录下的相关文件夹,在地址栏输入“cmd”回车,在打开的 dos 界面粘贴“python m pip install insightface==0.7.3 user”安装 insightface。若此阶段出错,建议下载最新的秋叶 4.2 整合包(6 月 23 号更新),后台回复【SD】下载。安装完成后,重新打开启动器,后台会继续下载模型,需全程科学上网。Roop 插件主要适用于真实人脸替换,对二次元人物作用不大。选用真实系模型,设置相关参数后生成,若人脸像素偏低模糊,可发送到“图生图”进行重绘。
2025-03-06
sd的关键词可以用中文吗
在 Stable Diffusion 中,通常只能识别英语关键词。但不用担心,您可以直接使用翻译工具将中文关键词翻译成英语后输入。比如,若您想生成一个漂亮的小姐姐站在大街上,可以写成“1 girl, beautiful, standing, street”这样的形式。输入关键词时,常用一个个单词并用英文状态下的逗号隔开。不过,对于中文字体的处理,也有一些方法,如将中文字做成白底黑字存成图片样式,再使用文生图的方式等。在输入关键词时,还可以先写一些提升照片质量的词语,使生成的照片更加精致。
2025-03-06
中文可以用sd吗
中文可以使用 Stable Diffusion(SD)。以下是使用 SD 制作中文文字的一些方法和步骤: 1. 将中文字做成白底黑字,存成图片样式。 2. 使用文生图的方式,使用大模型真实系,作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 3. 输入关键词,如奶油的英文单词“Cream+Cake”(加强质感),反关键词:“Easynegative”(负能量),反复刷机,得到满意的效果即可。 4. 同理可输出 C4D 模型,可自由贴图材质效果,如“3d,blender,oc rendering”。 5. 如果希望有景深效果,也可以打开“depth”(增加阴影和质感)。 6. 打开高清修复,分辨率联系 1024 以上,步数:29 60。 SD 是 Stable Diffusion 的简称,是由初创公司 StabilityAI、CompVis 与 Runway 合作开发,2022 年发布的深度学习文本到图像生成模型。它主要用于根据文本的描述产生详细图像,是一种扩散模型(diffusion model)的变体,叫做“潜在扩散模型”(latent diffusion model;LDM)。其代码模型权重已公开发布,可以在大多数配备有适度 GPU 的电脑硬件上运行。当前版本为 2.1 稳定版(2022.12.7),源代码库:github.com/StabilityAI/stablediffusion 。
2025-03-06
介绍一下AI视频的基础知识
以下是关于 AI 视频的基础知识: 1. 概念 生成式 AI 生成的内容称为 AIGC。 2. 相关技术名词 AI:即人工智能。 机器学习:电脑找规律学习,包括监督学习、无监督学习、强化学习。 监督学习:使用有标签的训练数据,算法目标是学习输入和输出之间的映射关系,包括分类和回归。 无监督学习:学习的数据没有标签,算法自主发现规律,经典任务如聚类。 强化学习:从反馈中学习,以最大化奖励或最小化损失,类似训小狗。 深度学习:一种参照人脑的方法,具有神经网络和神经元,因层数多而称为深度,神经网络可用于监督学习、无监督学习、强化学习。 生成式 AI:可以生成文本、图片、音频、视频等内容形式。 LLM:大语言模型。对于生成式 AI,生成图像的扩散模型不是大语言模型;对于大语言模型,生成只是其中一个处理任务,如谷歌的 BERT 模型,可用于语义理解(不擅长文本生成),如上下文理解、情感分析、文本分类。 3. 技术里程碑 2017 年 6 月,谷歌团队发表论文《Attention is All You Need》,首次提出了 Transformer 模型,它完全基于自注意力机制(SelfAttention)处理序列数据,不依赖于循环神经网络(RNN)或卷积神经网络(CNN)。
2025-04-12
AI的基础知识了解
以下是关于 AI 基础知识的介绍: AI 背景知识: 基础理论:明确人工智能、机器学习、深度学习的定义以及它们之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等基本概念。 概率论:掌握基础的概率论知识,如条件概率、贝叶斯定理。 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:了解其基本概念。 评估和调优: 性能评估:知道如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习使用网格搜索等技术优化模型参数。 神经网络基础: 网络结构:理解包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)等基本结构。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。 对于新手学习 AI,建议: 了解 AI 基本概念:阅读「」部分,熟悉术语和基础概念,了解其主要分支及联系,浏览入门文章。 开始学习之旅:在「」中找到为初学者设计的课程,推荐李宏毅老师的课程,通过在线教育平台按自己节奏学习并获取证书。 选择感兴趣的模块深入学习:AI 领域广泛,可根据兴趣选择特定模块,如掌握提示词技巧。 实践和尝试:理论学习后进行实践,尝试使用各种产品并分享作品。 体验 AI 产品:与如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动,了解其工作原理和交互方式。
2025-04-09
作为一个产品经理,我现在要设计一个企业内的销售培训智能体,我手里有产品知识、销售基础知识,我该怎么设计,是只做rag还是做多智能体协同?
以下是为您设计企业内销售培训智能体的一些建议: 首先,了解多智能体模式的设置。它包括全局设置和多个代理之间的编排协调两个核心部分。全局设置涵盖角色设定与回复逻辑、记忆管理以及对话体验等,其中人物设定与回复逻辑应侧重于角色塑造。在智能体的交互流程设计上,要形成完整的互动链条,当用户意图未满足跳转条件时,保持与当前智能体的沟通。设计多轮协作的智能体时,应将其交互设计为闭环结构,以确保用户能自由切换。 其次,动手实践制作智能体。对于 Chat GPT 版本,可按以下步骤:点击“浏览 GPTs”按钮,点击“Create”按钮创建,使用自然语言对话或手工设置进行具体配置,然后调试并发布。对于 Chat GLM 版本,点击“创建智能体”按钮,输入智能体描述,可粘贴准备好的提示词模板,其配置可自动生成,可根据需求调整并上传本地文件作为知识库。 然后,考虑多智能体协同的概念。在处理复杂任务时,单智能体可能面临提示词修改和逻辑不清晰的问题。多智能体协作如吴恩达所举例,每个智能体被赋予不同身份,互相合作对话,能模拟现实工作场景,成为复杂系统,但可能存在效率不高的情况。 最后,您可以根据实际情况选择是采用 RAG 还是多智能体协同。如果任务相对简单,RAG 可能足够;若任务复杂,涉及多个环节和角色的协作,多智能体协同可能更合适。您还可以通过具体的例子,如旅游场景中负责景点推荐、路线规划和食宿安排的三个智能体,来更好地理解和设计。
2025-03-16
怎么学习AI基础知识
以下是学习 AI 基础知识的方法: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能的定义、主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。 浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,比如图像、音乐、视频等,根据自己的兴趣选择特定的模块进行深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 对于中学生学习 AI,建议如下: 1. 从编程语言入手学习: 可以从 Python、JavaScript 等编程语言开始学习,学习编程语法、数据结构、算法等基础知识,为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台: 可以使用 ChatGPT、Midjourney 等 AI 生成工具,体验 AI 的应用场景。 探索一些面向中学生的 AI 教育平台,如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识: 了解 AI 的基本概念、发展历程、主要技术如机器学习、深度学习等。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目: 可以参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题,培养动手能力。 5. 关注 AI 发展的前沿动态: 关注 AI 领域的权威媒体和学者,了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响,培养对 AI 的思考和判断能力。 如果您不会代码但希望在 20 分钟上手 Python + AI,可以尝试了解以下内容作为基础: 1. AI 背景知识: 基础理论:了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展:简要回顾 AI 的发展历程和重要里程碑。 2. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 3. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 4. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 5. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-03-03
我是AI小白,希望到这里学习AI基础知识
以下是为您整理的 AI 基础知识学习内容: 1. 了解 AI 基本概念: 阅读「」部分,熟悉 AI 的术语和基础概念,包括人工智能、机器学习、深度学习的定义及其之间的关系,以及其主要分支和联系。 浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅: 在「」中,找到为初学者设计的课程,特别推荐李宏毅老师的课程。 通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 3. 选择感兴趣的模块深入学习: AI 领域广泛,如图像、音乐、视频等,可根据兴趣选择特定模块深入学习。 掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试: 理论学习后,实践是巩固知识的关键,尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享,欢迎您实践后的分享。 5. 体验 AI 产品: 与现有的 AI 产品进行互动,如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解其工作原理和交互方式,获得对 AI 在实际应用中表现的第一手体验,并激发对 AI 潜力的认识。 6. 数学基础: 统计学基础:熟悉均值、中位数、方差等统计概念。 线性代数:了解向量、矩阵等线性代数基本概念。 概率论:基础的概率论知识,如条件概率、贝叶斯定理。 7. 算法和模型: 监督学习:了解常用算法,如线性回归、决策树、支持向量机(SVM)。 无监督学习:熟悉聚类、降维等算法。 强化学习:简介强化学习的基本概念。 8. 评估和调优: 性能评估:了解如何评估模型性能,包括交叉验证、精确度、召回率等。 模型调优:学习如何使用网格搜索等技术优化模型参数。 9. 神经网络基础: 网络结构:理解神经网络的基本结构,包括前馈网络、卷积神经网络(CNN)、循环神经网络(RNN)。 激活函数:了解常用的激活函数,如 ReLU、Sigmoid、Tanh。
2025-02-12
对于编程纯小白,如果我想使用cursor之类的AI软件进行编程,实现自己的一些想法,那么我需要具备哪些编程或者计算机方面的基础知识
对于编程纯小白,如果想使用 Cursor 之类的 AI 软件进行编程实现自己的想法,需要具备以下编程或计算机方面的基础知识: 1. 下载 Cursor:访问 https://www.cursor.com/ 进行下载。 2. 注册账号:可以使用自己的邮箱(如 google、github、163、qq 邮箱)直接登录,接受二维码登录。 3. 安装中文包插件。 4. 在设置中进行 Rule for AI 配置。 5. 清晰表达需求:例如做一个贪吃蛇游戏,在网页中玩。需要明确游戏的规则和逻辑,如游戏界面是在矩形网格上进行,玩家控制蛇的移动方向(上、下、左、右),游戏界面上会随机出现食物,蛇吃到食物身体增长,存在撞墙或撞自己的死亡条件,吃到食物可得分,游戏难度会递增,游戏结束时能看到得分等。 对于纯小白,如果需求远比 AI 直出的内容复杂,无法一次性直出,那就需要耐下性子,在 AI 的帮助下一步一步来,并在这个过程中学会一点点编程。
2025-02-08