直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

我有一张图像，我要如何用stable Diffusion给它添加噪音。我是一个小白，请给出详细的步骤，用webui来操作。

回答

以下是使用 WebUI 为图像添加噪音的详细步骤：

  1. 首先，了解 Stable Diffusion 的加噪原理。从数据集中选择一张干净样本，然后用 random 函数生成 0 - 3 共 4 种强度的噪声，在每次迭代中随机选择一种强度的噪声添加到干净图片上，完成图片的加噪流程。
  2. 在训练过程中，对干净样本进行加噪处理，采用多次逐步增加噪声的方式，直至干净样本转变成为纯噪声。
  3. 加噪过程中，每次增加的噪声量级可以不同，假设存在 5 种噪声量级，每次都可以选取一种量级的噪声，以增加噪声的多样性。
  4. 与图片生成图片的过程相比，在预处理阶段，先把噪声添加到隐空间特征中。通过设置去噪强度（Denoising strength）控制加入噪音的量。如果去噪强度为 0 ，则不添加噪音；如果为 1 ，则添加最大数量的噪声，使潜像成为一个完整的随机张量。若将去噪强度设置为 1 ，就完全相当于文本转图像，因为初始潜像完全是随机的噪声。
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

下图是一个简单的加噪声流程，可以帮助大家更好地理解SD训练时数据是如何加噪声的。首先从数据集中选择一张干净样本，然后再用random函数生成0-3一共4种强度的噪声，然后每次迭代中随机一种强度的噪声，增加到干净图片上，完成图片的加噪流程。SD训练集的加噪声流程【2】SD训练中加噪与去噪具体地，在训练过程中，我们首先对干净样本进行加噪处理，采用多次逐步增加噪声的方式，直至干净样本转变成为纯噪声。SD训练时的加噪过程接着，让SD模型学习去噪过程，最后抽象出一个高维函数，这个函数能在纯噪声中不断“优化”噪声，得到一个干净样本。其中，将去噪过程具像化，就得到使用U-Net预测噪声，并结合Schedule算法逐步去噪的过程。SD训练时的去噪过程我们可以看到，加噪和去噪过程都是逐步进行的，我们假设进行K K步，那么每一步，SD都要去预测噪声，从而形成“小步快跑的稳定去噪”，类似于移动互联网时代的产品逻辑，这是足够伟大的关键一招。与此同时，在加噪过程中，每次增加的噪声量级可以不同，假设有5种噪声量级，那么每次都可以取一种量级的噪声，增加噪声的多样性。多量级噪声

教程：SD 做二维码

此方法首先使用img2img生成类似于QR码的图像。但这还不足以生成有效的二维码。ControlNet在采样步骤中打开，以将QR码压印到图像上。在采样步骤接近尾声时，ControlNet被关闭以提高图像的一致性。[heading3]分步指南[content]在AUTOMATIC1111 WebUI中，导航到Img2img页面。第1步：选择检查点模型。我们将使用[GhostMix](https://civitai.com/models/36520/ghostmix)。第2步：输入提示和否定提示。提示对您的成功非常重要。一些提示与您的二维码自然融合。我们将使用以下提示词。a cubism painting of a town with a lot of houses in the snow with a sky background,Andreas Rocha,matte painting concept art,a detailed matte painting以及下面的否定提示。ugly,disfigured,low quality,blurry,nsfw第3步：上传二维码到img2img画布。第4步：输入以下图像到图像设置。Resize mode:Just resizeSampling method:DPM++2M KarrasSampling step:50Width:768Height:768CFG Scale:7Denoising strength:0.75第5步：将二维码上传到ControlNet的图像画布。第6步：输入以下ControlNet设置。Enable:YesControl Type:TilePreprocessor:tile_resampleModel:control_xxx_tileControl Weight:0.87Starting Control Step:0.23Ending Control Step:0.9第7步：按生成。第8步：用手机查看二维码。确保检查屏幕上的不同尺寸。当它们很大时，有些往往会出现问题。您不会获得包含每张图片的功能性QR码。成功率大约是四分之一。

教程：深入浅出完整解析Stable Diffusion（SD）核心基础知识 - 知乎

输入：prompt输出：图像其中Load Checkpoint模块代表对SD模型的主要结构进行初始化（VAE，U-Net），CLIP Text Encode表示文本编码器，可以输入prompt和negative prompt，来控制图像的生成，Empty Latent Image表示初始化的高斯噪声，KSampler表示调度算法以及SD相关生成参数，VAE Decode表示使用VAE的解码器将低维度的隐空间特征转换成像素空间的生成图像。[heading3]5.2图片生成图片[content]输入：图像+ prompt输出：图像其中Load Checkpoint模块代表对SD模型的主要结构进行初始化（VAE，U-Net），CLIP Text Encode表示文本编码器，可以输入prompt和negative prompt，来控制图像的生成，Load Image表示输入的图像，KSampler表示调度算法以及SD相关生成参数，VAE Encode表示使用VAE的编码器将输入图像转换成低维度的隐空间特征，VAE Decode表示使用VAE的解码器将低维度的隐空间特征转换成像素空间的生成图像。与文字生成图片的过程相比，图片生成图片的预处理阶段，先把噪声添加到隐空间特征中。我们设置一个去噪强度（Denoising strength）控制加入多少噪音。如果它是0，就不添加噪音。如果它是1，则添加最大数量的噪声，使潜像成为一个完整的随机张量，如果将去噪强度设置为1，就完全相当于文本转图像，因为初始潜像完全是随机的噪声。去噪强度（Denoising strength）控制噪音的加入量

其他人在问
我有一张图像，我要如何用stable Diffusion给它添加噪音
要使用 Stable Diffusion 给一张图像添加噪音，以下是相关的原理和过程： 在 Stable Diffusion 中，与 GAN 等生成式模型一样，它学习拟合训练集分布，并能够生成与训练集分布相似的输出结果。但与 GAN 相比，SD 模型训练过程更稳定，且具备更强的泛化性能，这归功于其核心的前向扩散过程和反向扩散过程。 在前向扩散过程中，SD 模型持续对一张图像添加高斯噪声直至变成随机噪声矩阵。而在反向扩散过程中，SD 模型进行去噪声过程，将一个随机噪声矩阵逐渐去噪声直至生成一张图像。 Stable Diffusion 的整个训练过程在最高维度上可以看成是如何加噪声和如何去噪声的过程，并在针对噪声的“对抗与攻防”中学习到生成图片的能力。 其训练逻辑为： 1. 从数据集中随机选择一个训练样本。 2. 从 K 个噪声量级随机抽样一个 timestep t。 3. 将 timestep t 对应的高斯噪声添加到图片中。 4. 将加噪图片输入 UNet 中预测噪声。 5. 计算真实噪声和预测噪声的 L2 损失。 6. 计算梯度并更新 SD 模型参数。 在训练时，需要把加噪的数据集输入模型中，每一次迭代用 random 函数生成从强到弱各个强度的噪声，通常会生成 0 1000 一共 1001 种不同的噪声强度，通过 Time Embedding 嵌入到训练过程中。Time Embedding 由 Timesteps（时间步长）编码而来，引入 Timesteps 能够模拟一个随时间逐渐向图像加入噪声扰动的过程。每个 Timestep 代表一个噪声强度（较小的 Timestep 代表较弱的噪声扰动，而较大的 Timestep 代表较强的噪声扰动），通过多次增加噪声来逐渐改变干净图像的特征分布。 以下是一个简单的加噪声流程示例：首先从数据集中选择一张干净样本，然后再用 random 函数生成 0 3 一共 4 种强度的噪声，然后每次迭代中随机一种强度的噪声，增加到干净图片上，完成图片的加噪流程。 在训练过程中，首先对干净样本进行加噪处理，采用多次逐步增加噪声的方式，直至干净样本转变成为纯噪声。接着，让 SD 模型学习去噪过程，最后抽象出一个高维函数，这个函数能在纯噪声中不断“优化”噪声，得到一个干净样本。其中，将去噪过程具像化，就得到使用 UNet 预测噪声，并结合 Schedule 算法逐步去噪的过程。加噪和去噪过程都是逐步进行的，假设进行 K 步，那么每一步，SD 都要去预测噪声，从而形成“小步快跑的稳定去噪”。与此同时，在加噪过程中，每次增加的噪声量级可以不同，假设有 5 种噪声量级，那么每次都可以取一种量级的噪声，增加噪声的多样性。
2024-11-18
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 消除图像中的噪点： 以消除图像噪点为基础来生成艺术作品。它比手机图像编辑器中的噪点消除滑块复杂得多，不仅了解世界的样子和书面语言，还能利用这些来指导噪点消除过程。例如，就像平面艺术家利用对特定风格和事物的了解来清理图像一样，稳定扩散本质上做着类似的事情。 大多数艺术生成工具中有“推理步骤”滑块，稳定扩散是逐步去除噪点的。 起始方式： 为了生成艺术，给稳定扩散提供的初始图像实际上只是纯噪点，但声称这是一幅特定风格的画，让其进行清理。在最简单层面，它作为计算机程序会执行任务。更深层次，稳定扩散等 AI 模型基于统计数据，估计所有选项的概率，即使概率极低，也会选择概率最高的路径，例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次输入不同纯噪点图像，都会创作出不同艺术作品。 ComfyUI 的生图原理： Pixel Space（像素空间）：图的左边表示输入图像的像素空间，在 ComfyUI 中，对应于可能通过“图像输入”模块或直接从文本提示生成的随机噪声图像，生成过程结束时会将处理后的潜在表示转换回像素空间生成最终图像。 Latent Space（潜在空间）：ComfyUI 中的许多操作都在潜在空间中进行，如 KSampler 节点执行采样过程，图像被映射到潜在空间后，扩散过程在这个空间中进行，可通过节点调整对潜在空间的操作，如噪声添加、去噪步数等，通常由潜在空间操作模块实现。 扩散过程（Diffusion Process）： 噪声的生成和逐步还原：扩散过程表示从噪声生成图像的过程，在 ComfyUI 中通常通过调度器控制，如 Normal、Karras 等，可通过“采样器”节点选择不同调度器来控制如何在潜在空间中处理噪声及逐步去噪回归到最终图像。 时间步数：在生成图像时，扩散模型会进行多个去噪步，在 ComfyUI 中可通过控制步数来影响图像生成的精细度和质量。
2024-11-15
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 消除图像中的噪点： 如同在太暗环境拍照产生的颗粒状噪点，Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像，它比手机图像编辑器中的噪点消除滑块复杂得多，它了解世界的样子和书面语言，并以此指导噪点消除过程。例如，给它一幅以 H.R. Giger 风格描绘的外星人弹吉他的画，它能像熟练的平面艺术家一样进行清理。 大多数艺术生成工具中有“推理步骤”滑块，稳定扩散是逐步去除噪点的。 起始运作方式：为生成艺术，给稳定扩散提供纯噪点的初始图像，它基于统计数据估计所有选项的概率，即使正确概率极低，仍会选择概率最高的路径。例如，它对吉他在图像中的位置有一定理解，会寻找噪点中最可能像吉他边缘的部分进行填充，且每次给不同的纯噪点图像都会创作出不同作品。 相关组件和模型： UNET 是从噪音中生成图像的主要组件，在预测过程中通过反复调用 UNET，将其预测输出的 noise slice 从原有的噪声中去除，得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数，以 float32 的精度编码大概需要 3.4G 的存储空间。 CLIP 将用户输入的 Prompt 文本转化成 text embedding，UNET 进行迭代降噪，在文本引导下进行多轮预测。 传统扩散模型在处理大尺寸图像和大量扩散步骤时存在计算效率问题，稳定扩散（最初称为潜在扩散模型）是为解决此问题提出的新方法。 存放路径和模型实例： ComfyUI 存放路径：models/checkpoints/SD 基础预训练模型，包括 SD1.5、SDXL 以及 SD 微调模型。 模型实例有【majicMIX realistic 麦橘写实 V7】（sd1.5 微调）、【LEOSAM HelloWorld 新世界】（SDXL 微调）等。 训练方法：DreamBooth（by Google） 格式：EMAonly & pruned 只画图，Full 可画图和微调训练。
2024-11-09
stable diffusion 绘画
以下是关于 Stable Diffusion 绘画的相关内容： 如果您是运营网店的女装店主，在没有资金请模特的情况下，可以用 Stable Diffusion 来制作商品展示图。具体步骤如下： 1. 真人穿衣服拍照，并获取具有真实质感的照片。若身材方面有问题，可借助美图秀秀或 PS 处理。 2. 选好底模，一定要是 realistic 的、真人照片风格的底模，如 majicmixRealistic_v7。 3. 进行换头操作，根据不同平台需求更换，如面向海外市场换白女头，面向中老妇女换妈妈头。 4. 在图生图下的局部重绘选项卡下涂抹自己替换的部分，并设置好 prompts 和 parameters，如“breathtaking cinematic photo, masterpiece, best quality, , blonde hair, silver necklace, carrying a white bag, standing, full body, detailed face, big eyes, detailed hands”。 关于 Stable Diffusion 的工作原理，就像学习画画临摹梵高的作品一样。您花四十年学习的梵高风格相当于 Stable Diffusion 的大模型——Checkpoint。人们将成千上万美术风格的作品练成模型放入 AI 中，AI 就能依照模型画出类似风格的作品。要画出符合心意的作品，首先要选对合适的大模型。大模型可在 C 站（https://civitai.com/）下载，但需要科学上网。有真实系的（Chillmixout）、二次元的（anything）、游戏 CG 风（ReV Animated）等。 用 Stable Diffusion 时，可以把自己想象成画家。在起笔前要确定照片风格，如二次元动漫、三次元现实照片或盲盒模型。确定风格后切换大模型，不同模型代表不同照片风格，即 SD 界面左上角的“Stable Diffusion 模型”。若想生成真人 AI 小姐姐，可选用 chilloutmix 的大模型。关于模型的获取和存放位置，后续会详细介绍。
2024-11-08
stable diffusion
稳定扩散（Stable Diffusion）的运作原理如下： 消除图像中的噪点： 如同在太暗环境拍照产生的颗粒状噪点，Stable Diffusion 用于生成艺术作品时会在幕后“清理”图像。它比手机图像编辑器中的噪点消除滑块复杂得多，不仅了解世界的样子和书面语言，还能利用这些来指导噪点消除过程。例如，就像平面艺术家利用对特定风格和事物的了解来清理图像一样，Stable Diffusion 本质上也在做类似的事情。 对于“推理步骤”，它是逐步去除噪点的。例如运行 25 步的例子中，起始图像可能完全无法辨认，但它实际上是从完全的噪点开始的。 开始生成的方式：为了生成艺术，给 Stable Diffusion 提供的初始图像实际上只是纯噪点，然后让其进行清理。从简单层面看，它作为计算机程序会执行任务并生成内容。更深层次来说，它基于统计数据，估计所有选项的概率，即使正确概率极低，也会选择概率最高的路径，例如寻找噪点中最可能像吉他边缘的部分来填充物体。每次给它不同的纯噪点图像，都会创作出不同的艺术作品。 此外，UNET 是从噪音中生成图像的主要组件，通过反复调用 UNET 去除噪声得到逐步去噪后的图像表示。Stable Diffusion Model 的 UNET 包含约 860M 的参数。CLIP 将用户输入的 Prompt 文本转化成 text embedding，UNET 在文本引导下进行多轮迭代降噪预测。稳定扩散最初称为潜在扩散模型，是为解决传统扩散模型在计算效率上的挑战而提出的。ComfyUI 中存放路径为 models/checkpoints/，有 SD 基础预训练模型如 SD1.5、SDXL 以及微调模型，训练方法有 DreamBooth 等，格式包括 EMAonly & pruned 和 Full 等。
2024-11-08
Mac部署stable diffusion
在 Mac 上部署 Stable Diffusion 存在一定限制，功能可能不全且出错率偏高，严重影响使用体验。个人建议升级设备或者采用云服务器玩耍。 如果您仍想在 Mac 上部署，可以参考以下步骤： 1. 电脑硬件要求： 系统：无明确针对 Mac 的特定系统要求。 显卡：未明确针对 Mac 的显卡要求。 硬盘：留有足够的空间，最低 100G 起步（包括模型）。 2. 环境安装： 未提供 Mac 系统下的具体环境安装步骤。 由于 Mac 系统的特殊性，更推荐您采用云端部署的方式，相关教程可参考：https://qa3dhma45mc.feishu.cn/wiki/A6WYw1Nm0ikGplkuO9Ecwomqnnd
2024-11-06
我要用数字人AI做教学讲课
数字人 AI 用于教学讲课具有诸多优势： 1. 突破时空限制：可以让历史人物如牛顿亲自授课《牛顿运动定律》，白居易讲述《长恨歌》背后的故事，学生能与任何历史人物对话交流，不受时空约束。 2. 个性化教学：能根据学生的学习情况、兴趣和偏好提供定制化学习计划和资源，因材施教，提高学习效率和成果，缓解教育资源不平等问题。 3. 提高参与感：数字教师博学多能、善解人意且不受情绪左右，基本可实现一对一辅导，让学生参与感更高。 4. 丰富教学形式：如卡尔的 AI 沃茨的数字人课程，包含 15 节视频课，持续更新并增加最新内容，还有课外社群辅导。课程回顾了 2023 年数字人领域的破圈事件，如 AI 马斯克对谈 AI 乔布斯等。 5. 优化工作流：数字人的出现能在制作个人 IP 短视频、配音、直播、智能客服、虚拟偶像等领域完成赋能。 关于数字人课程的学习： 1. 推荐卡尔的 AI 沃茨的数字人课程，建立了完整的数字人学习体系。 2. 报名方式可通过扫码查看课程详细内容和介绍。 在与 AI 交互方面： 1. 对于提示词工程和学习提示词，有人持反对观点，认为像打字和写作一样，不断尝试和大模型交互是最佳方法。 2. 和大模型交互不一定需要遵循规则，未达成目的可锲而不舍地开新窗口再尝试，或更换模型。 3. 用 Markdown 格式清晰表达问题有助于提高与大模型交流的效率和精确性，其具有结构清晰、格式化强调、适用性广等优点。
2024-11-17
我现在是一个AI小白，我想学习AI相关知识，我要怎么进阶学习？
对于 AI 小白的进阶学习，您可以参考以下步骤： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括人工智能、机器学习、深度学习等主要分支及其之间的联系。 浏览入门文章，了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅： 在「」中找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）按照自己的节奏学习，并争取获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，根据自身兴趣选择特定模块深入学习。 掌握提示词的技巧，因其上手容易且实用。 4. 实践和尝试： 理论学习后，通过实践巩固知识，尝试使用各种产品创作自己的作品。 分享实践后的经验和成果。 5. 体验 AI 产品： 与 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人互动，了解其工作原理和交互方式，获取实际应用中的体验，激发对 AI 潜力的认识。 同时，您还需要掌握以下基础知识： AI 背景知识： 基础理论：了解人工智能、机器学习、深度学习的定义及其之间的关系。 历史发展：简要回顾 AI 的发展历程和重要里程碑。 数学基础： 统计学基础：熟悉均值、中位数、方差等统计概念。 线性代数：了解向量、矩阵等线性代数基本概念。 概率论：基础的概率论知识，如条件概率、贝叶斯定理。 算法和模型： 监督学习：了解常用算法，如线性回归、决策树、支持向量机（SVM）。 无监督学习：熟悉聚类、降维等算法。 强化学习：简介强化学习的基本概念。 评估和调优： 性能评估：了解如何评估模型性能，包括交叉验证、精确度、召回率等。 模型调优：学习如何使用网格搜索等技术优化模型参数。 神经网络基础： 网络结构：理解神经网络的基本结构，包括前馈网络、卷积神经网络（CNN）、循环神经网络（RNN）。 激活函数：了解常用的激活函数，如 ReLU、Sigmoid、Tanh。
2024-11-14
我要用Sd做图片细化，要怎么做？给出具体方法
以下是使用 SD 做图片细化的具体方法： 1. 对于更精确的蒙版，如人物的眼睛或配饰等，可使用 Segment Anything 中的 GroundingDINO。启用 GroundingDINO 后，AI 会自动下载模型，若没有魔法，可去云盘下载并放到指定文件目录下。在检测提示词中输入相关内容，如“eye”，AI 可自动检测并设置蒙版，还可通过预览箱体得到编号来选择调整单一部分。选择要修改的蒙版上传到重绘蒙版中，并添加提示词，如“闭眼”，点击生成即可完成修改。 2. 给人物换背景时，加载生成的背景蒙版。大模型选择 revAnimated_v122，正向提示词可设为“简单背景、花、国画、工笔”，蒙版模式选择“重绘非蒙版内容”。若头发部分没抠好，可将其放入图生图中，使用 tile 模型做整体细化，还能给人物衣服添加国风元素。 3. SD 扩图时，若原本图片尺寸为 1152x1152 需增高高度，可设置为（1152x1526）。ControlNet 设置方面，若无法识别处理，可采取以下措施：提高 ControlNet 的权重（增加预处理权重，降低引导介入时机直到为 0，增加引导终止时机直到为 1）；降低重绘幅度（高清修复大图时使用）；把原始的黑白二维码叠加在二维码上方（正片叠底，保留 4 个定位点，擦去其他地方），调节透明度；使劲抽卡。 4. SD 放大通常重绘幅度设置在 0.3 以下，使用 tile 模型时可提高重绘幅度，如保持重绘幅度为 1 放大 1.5 倍绘图，能加强画面细节且不崩坏。对于草图，可将其导入 ControlNet 中，添加提示词进行细化，还可通过改变控制模式和增加关键词来优化效果，如实现随机提示词转换，用提示词对参考图做出调整。
2024-11-09
我要按怎样的步骤学习AI
以下是学习 AI 的步骤： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，比如图像、音乐、视频等，可根据自己的兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库查看大家实践后的作品、文章分享，并分享自己的实践成果。 5. 体验 AI 产品： 与现有的 AI 产品（如 ChatGPT、Kimi Chat、智谱、文心一言等）进行互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 对于中学生学习 AI，建议如下： 1. 从编程语言入手学习： 可以从 Python、JavaScript 等编程语言开始，学习编程语法、数据结构、算法等基础知识，为后续的 AI 学习打下基础。 2. 尝试使用 AI 工具和平台： 使用 ChatGPT、Midjourney 等 AI 生成工具，体验 AI 的应用场景。 探索面向中学生的 AI 教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识： 了解 AI 的基本概念、发展历程、主要技术（如机器学习、深度学习等）。 学习 AI 在教育、医疗、金融等领域的应用案例。 4. 参与 AI 相关的实践项目： 参加学校或社区组织的 AI 编程竞赛、创意设计大赛等活动。 尝试利用 AI 技术解决生活中的实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态： 关注 AI 领域的权威媒体和学者，了解 AI 技术的最新进展。 思考 AI 技术对未来社会的影响，培养对 AI 的思考和判断能力。 为了在医疗保健中让 AI 产生真正的改变，应投资创建一个模型生态系统，让“专家”AI 像优秀的医生和药物开发者那样学习。成为顶尖人才通常从多年的密集信息输入开始，通过正规学校教育和学徒实践，从该领域出色的实践者那里学习，获得有助于在复杂情况下确定最佳答案的直觉。对于 AI，应通过使用彼此堆叠的模型来训练，而不是仅依靠大量数据和期望一个生成模型解决所有问题。例如，先训练生物学的模型，再是化学的模型，然后添加特定于医疗保健或药物设计的数据点。预医学生的课程从化学和生物学基础开始，设计新疗法的科学家也需要经历多年相关学习和研究，这种学习方式有助于培养处理涉及细微差别决策的直觉。
2024-11-08
我要怎么用waytoAGI学东西
WaytoAGI 是一个由热爱 AI 的专家和爱好者共同建设的开源 AI 知识库，具有以下功能和特点： 1. 学习途径：参加如 AJ 组织的 wayto AGI 活动，可以认识很多小伙伴和前辈，从中学习到很多 AI 相关知识。 2. 网站功能： 和 AI 知识库对话，可询问任何关于 AI 的问题。 提供集合的精选 AI 网站，按需求找到适合的工具。 集合精选的提示词，可复制到 AI 对话网站使用。 呈现知识库的精华内容。 3. 离谱村：是由 WaytoAGI 孵化的千人共创项目，参与者不分年龄层，都可以通过 AI 工具创作出各种作品。离谱村是一个没有被定义的地方，是灵魂的避风港，激励着人们发挥想象力，创造独特生活方式。 您可以通过参与相关活动、使用网站的各项功能以及参与离谱村的共创等方式，在 WaytoAGI 学习到丰富的 AI 知识。
2024-11-08
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行： 1. 安装必要的软件环境： 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本，确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码： 打开命令行工具，输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ，将源代码克隆到本地目录。 3. 运行安装脚本： 进入 stablediffusionwebui 目录，运行 webuiuser.bat 或 webui.sh 脚本，它会自动安装依赖项并配置环境。等待安装完成，命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面： 复制命令行显示的本地 Web 地址，在浏览器中打开，即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作： 了解 Web UI 的各种设置选项，如模型、采样器、采样步数等。尝试生成图像，观察不同参数对结果的影响。学习使用提示词（prompt）来控制生成效果。 6. 探索 Web UI 的扩展功能： 了解 Web UI 支持的各种插件和扩展，如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧，提高工作效率。 在完成了依赖库和 repositories 插件的安装后，还需要进行以下配置： 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下，运行 launch.py 即可。运行完成后，将命令行中出现的输入到本地网页中，即可打开 Stable Diffusion WebUI 可视化界面。进入界面后，在红色框中选择 SD 模型，在黄色框中输入 Prompt 和负向提示词，在绿色框中设置生成的图像分辨率（推荐设置成 768x768），然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角，并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台，需要注意： DallE 缺乏室内设计能力，MidJourney 出图效果好但无法基于现实环境重绘，Stable Diffusion 出图成功率较低，但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后，修改 webuiuser.bat 文件加上 listen 和 API 参数，让 Stable Diffusion 处于网络服务状态。代码如下： @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤： 1. 下载室内设计模型（checkpoint 类型），放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件，使用 MLSD 插件，实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开，API 参考文档可选读。
2024-11-01
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 flux 相关模型（体积较大）的夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 。 flux 相关模型（体积较大）的百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 。 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 下载 dev 的工作流： 或者官方原版的图片链接 https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列中 TheMisto.ai 的 MistoLine 版： 注意：该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 需要节点（可以 git clone 方式下载或通过以下网盘）： 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 。 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 。 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 。 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 。 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流 。所需要的两个模型：
2024-10-25
webui可以用FLUX模型吗
WebUI 可以使用 FLUX 模型。以下是相关的下载和使用信息： ae.safetensors 和 flux1dev.safetensors 的下载地址：https://huggingface.co/blackforestlabs/FLUX.1dev/tree/main 。 夸克网盘链接：https://pan.quark.cn/s/b5e01255608b 百度网盘链接：https://pan.baidu.com/s/1mCucHrsfRo5SttW03ei0g?pwd=ub9h 提取码：ub9h 如果 GPU 性能不足、显存不够，底模可以使用 fp8 的量化版模型，下载地址：https://huggingface.co/Kijai/fluxfp8/tree/main 。 dev 的工作流： 官方原版的图片链接：https://comfyanonymous.github.io/ComfyUI_examples/flux/flux_dev_example.png ，打开 ComfyUI ，把工作流或图片拖拽到 ComfyUI 里。 郑敏轩的 Flux 的 controlnet 系列： TheMisto.ai 的 MistoLine 版，该 ControlNet 与 Flux1.dev 的 fp16/fp8 以及使用 Flux1.dev 量化的其他模型兼容。 节点： 可以 git clone 方式下载或通过压缩包。 夸克网盘：链接：https://pan.quark.cn/s/ad43dd5152a6 百度网盘：链接：https://pan.baidu.com/s/1NcOdG4AV68xTup8FvphsYA?pwd=lpvc 提取码：lpvc 模型： 夸克网盘：链接：https://pan.quark.cn/s/5551e813db21 百度网盘：链接：https://pan.baidu.com/s/1Ntf4MbTCGJ5TYDv6mgvqNQ?pwd=zhfq 提取码：zhfq 处理：将模型放到 ComfyUI\\models\\TheMisto_model 文件夹中。 导入官方工作流： ，所需要的两个模型。
2024-10-25
相同的参数下，用SD comfyui出图可以和SD webui出图保持图片效果一模一样么？
理论上，在应用完全相同参数（如 Step、CFG、Seed、prompts）的情况下，SD ComfyUI 出图和 SD WebUI 出图应当能保持图片效果一模一样。但在实际操作中可能会存在一些差异，比如： 提示词的多个条件下，SD 生成的图像可能无法全部满足，这与提示词引导系数有关，该系数关系到出图与文字的相关程度。 不同的模型和配置也可能影响出图效果，例如 SDXL 的大模型分为 base、refiner 以及配套的 VAE 模型，用于调节图片的画面效果和色彩。 需要注意的是，相同参数下要达到完全一致的出图效果并非绝对，还会受到多种因素的综合影响。
2024-10-14
Flux 的lora模型训练教程，我想用用diffuser代码训练，而不是webui或comfyui
以下是关于 Flux 的 lora 模型训练的相关信息： Flux GGUF 模型：https://huggingface.co/city96/FLUX.1devgguf/tree/main GGUF 配套节点插件：https://github.com/city96/ComfyUIGGUF 在最新版本的 ComfyUI 中，GGUF 的节点插件可在 Manager 管理器中搜到下载安装，但 NF4 的配套节点插件搜不到。 注意使用精度优化的低配模型时，工作流和原版不同。把官方的 fp8 工作流中底模的节点换成 NF4 或者 GUFF 即可。 相关生态发展迅速，有 Lora、Controlnet、IPadpter 相关生态建设，字节最近发布的 Flux Hyper lora 可用于 8 步快速生图。下节将先讲讲 Flux 的 lora 训练。
2024-09-05
我添加flux的模型后，在webui中要从哪里找到
在 webui 中找到添加的 flux 模型的方法如下： 首先，您可以安装 Civitai 助手插件。如果您上不了 C 站，可以去我的百度云盘里下载，然后放在“……\\sdwebuiakiv4\\extensions”路径文件夹下。安装完成后，重启 webUI，就可以在上方的标签选项卡中找到这个插件。 另外，下载模型后需要将之放置在指定的目录下，不同类型的模型放置目录不同： 1. 大模型（Ckpt）：放入 models\\Stablediffusion。 2. VAE 模型：一些大模型需要配合 vae 使用，对应的 vae 同样放置在 models\\Stablediffusion 或 models\\VAE 目录，然后在 webui 的设置栏目选择。 3. Lora/LoHA/LoCon 模型：放入 extensions\\sdwebuiadditionalnetworks\\models\\lora，也可以在 models/Lora 目录。 4. Embedding 模型：放入 embeddings 目录。 模型的类型可以通过检测。安装 Civitai 助手插件后，它可以自动扫描您的所有文件，如果您的模型是从 C 站下载的，它会帮您自动匹配好缩略图。点击刷新旁边的按钮，再把鼠标放在模型的名字上，可以看见新的四个图标：🖼:用当前生成图替换为预览图；🌐:在新标签页打开这个模型的 Civitai 页面；💡:一键添加这个模型的触发词到关键词输入框；🏷:一键使用这个模型预览图所使用的关键词。
2024-08-22