直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

stablediffusion和midjourney有啥关系

回答

Stable Diffusion 和 Midjourney 是 AI 绘画领域的两个重要模型,它们有以下关系和区别:

  • 关系:都是用于 AI 绘画的工具。
  • 区别:
    • Stable Diffusion 是完全开源的项目,包括模型、代码、训练数据、论文、生态等全部开源,能快速构建强大繁荣的上下游生态,吸引了众多 AI 绘画爱好者加入,推动 AIGC 领域的发展。但它需要较好的电脑配置,尤其是显卡。
    • Midjourney 操作简单方便,创作内容丰富,但需要科学上网并且付费,每月使用费大概在 200 多元。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

Stable Diffusion(简称SD)是AI绘画领域的一个核心模型,能够进行文生图(txt2img)和图生图(img2img)等图像生成任务。与Midjourney不同的是,Stable Diffusion是一个完全开源的项目(模型、代码、训练数据、论文、生态等全部开源),这使得其能快速构建强大繁荣的上下游生态(AI绘画社区、基于SD的自训练AI绘画模型、丰富的辅助AI绘画工具与插件等),并且吸引了越来越多的AI绘画爱好者加入其中,与AI行业从业者一起推动AIGC领域的发展与普惠。也正是Stable Diffusion的开源属性、繁荣的上下游生态以及各行各业AI绘画爱好者的参与,使得AI绘画火爆出圈,让AI绘画的影响触达到了全球各行各业人们的生活中。可以说,AI绘画的ToC普惠在AIGC时代的早期就已经显现,这是之前的传统深度学习时代从未有过的。而ToC普惠也是最让Rocky兴奋的AIGC属性,让Rocky相信未来的十五年会是像移动互联网时代那样,充满科技变革与机会的时代。Rocky从传统深度学习时代走来,与图像分类领域的ResNet系列、图像分割领域的U-Net系列以及目标检测领域的YOLO系列模型打过多年交道,Rocky相信Stable Diffusion是AI绘画领域的“YOLO”。Stable Diffusion生成图片示例

如何使用 AI 来做事:一份带有观点的指南

1.Stable Diffusion,它是开源的,你可以在任何高端计算机运行。开始需要付出努力,因为你必须学会正确制作提示,但一旦你做到了,它可以产生很好的结果。它特别适合将AI与来自其他源的图像结合在一起。[如果你走这条路,这里有一个很好的Stable Diffusion指南(请务必阅读第1部分和第2部分)。](https://www.jonstokes.com/p/stable-diffusion-20-and-21-an-overview)2.DALL-E,来自OpenAI,已纳入Bing(您必须使用创意模式)和Bing图像创建器。这个系统很可靠,但比Midjourney差。3.Midjourney,这是2023年中期最好的系统。它的学习曲线最低:只需键入“thing-you-want-to-see --v 5.2”(末尾的--v 5.2很重要,它使用最新的模型),你就会得到一个很好的结果。Midjourney需要Discord。这是[使用Discord的指南](https://www.pcworld.com/article/540080/how-to-use-discord-a-beginners-guide.html)。4.Adobe Firefly内置在各种Adobe产品中,但在质量方面落后于DALL-E和Midjourney。然而,虽然其他两个模型还不清楚他们用于训练人工智能的源图像,但Adobe宣布它只使用它有权使用的图像。以下是它们的比较(每张图像都有模型标记):

【SD】软件原理傻瓜级理解

目前市面上主流的AI绘图软件有两个:Stable Diffusion和Midjourney。Stable Diffusion的优势在于开源免费、可以本地化部署、创作自由度很高,缺点是需要比较好的电脑配置,尤其是显卡;Midjourney的优势是操作简单方便,创作内容相当丰富,但是需要科学上网并且付费,目前的使用费大概在每月200多元左右。如果可以融入工作流,这个月费也不算高,毕竟它带来的效率是惊人的,当然前期想要了解玩一玩的,可以试试Stable Diffusion,关于具体的安装方法可以去看看B站的【秋葉aaaki】这个Up主的视频。很多还没有接触过AI绘画的朋友会觉得这个东西很神秘,哪怕装好了软件也会看着一堆英文和参数而一头雾水。今天我就用最傻瓜的方式来讲述一下Stable Diffusion的工作原理和基本功能。

其他人在问
midjourney中如何结合A图片的人物和B图片的动作和内容
在 Midjourney 中结合 A 图片的人物和 B 图片的动作和内容,可以使用新上线的“Character Reference”(cref)功能。以下是一些关键方法和示例: 1. 锚定细节:您可以掌控姿势、表情、情感、服装、道具、场景、动作等细节。例如:“Jo is a young woman with blue curly hair, pink sunglasses, and a colorful scarf around her neck. She waits in line at the bank. cref https://my.image.host/joisstanding.jpg”。 2. 让 cref 处理大部分工作:提示无需加强标志性细节,只是“操纵”或“定位”角色。例如:“有人正在银行排队等候。 cref https://my.image.host/joisstanding.jpg”。 3. 只提供场景:如果您的 cref 图像已包含想要的姿势和其他细节,您可以仅描述环境、周围环境、背景或情境,Midjourney 将努力将角色融入场景中。但可能会出现不连贯的结果,此时可尝试使用更高值的样式化,如“s 800”。 需要注意的是,此功能在使用 Midjourney 生成的图像人物时效果最佳,不太适用于真实人物或照片。同时,在 Midjourney V6 的 Web Alpha 版本中,您可以通过拖放或粘贴图像到想象栏,并选择相应图标来设置图像为图像提示、风格参考或角色参考。
2024-11-18
midjourney怎么使用
Midjourney 的使用方法如下: 1. 模型个性化(Personalization 或 'p'): 工作原理:模型个性化会学习您的喜好,以更符合您的口味生成图像。 要求:目前从成对排名中的投票和您喜欢的探索页面上的图像中学习,需要大约 200 个成对排名/喜欢才能生效。您可以在排名页面查看评分数量,或在 Discord 上输入 /info。 使用方法:在提示后输入 p,或使用提示栏中的设置按钮为所有提示启用个性化功能。启用时会在提示后添加一个“代码”,您可以分享此代码让他人使用应用于该图像的个性化效果。还可以使用 s 100 控制个性化效果的强度(0 为关闭,1000 为最大,100 为默认)。 注意事项:个性化目前不是稳定功能,会随您进行更多成对排名而变化,且可能会有算法更新。 2. 角色一致性功能: 如何使用:在您的提示后输入 `cref URL` 并附上一个人物图像的 URL。注意一定要在提示词后面,您可以使用 `cw` 来修改参考“强度”从 100 到 0。强度 100(`cw 100`)是默认值,会使用面部、头发和衣服;在强度 0(`cw 0`)时,只会关注面部(适合改变服装/发型等)。 3. 喂图: 意义:从第一张起,可反复上传优化图片,以达到想要的图片。 喂图过程:上传单张或者一组(4 到 5 张,目前没有限制,但一般 4 张刚好)到 Midjourney 输入框里。上传有两种方法: 点击输入框前方的加号上传。 鼠标选择图片或一组拖到软件里,回车,点击上传后的图片,在左下角“在浏览器打开链接“打开后复制浏览器上的链接,返回主界面,在输入框里“/imagine:粘贴刚才复制的链接+您所描述的关键词。 常见问题: 新手找不到输入框频道。答:找到 Midjourney 白色图标,点击进去,找带数字结尾的频道,或者在自己社区里添加 Midjourney 机器人。可在官方白色图标频道或社区频道添加 Midjourney 机器人,然后搜索并选择第一个,添加到自己服务器,点击授权即可。
2024-11-18
midjourney 人物正面
以下是关于 Midjourney 人物相关的内容: 关于人物正面的描述:可以描述人物第一次出现的场景,如在一个水草丰美的地方,一身白色长裙的部落少女。 群像人物一致性保持及空间深度控制: 针对构图有空间深度场景的需求,共分七步。 第一步,优先生成“构图”为主的画面,再进行细化修改。 第二步,利用风格参考图让 Midjourney 理解空间关系。 第三步,垫图加 prompt 抽图。 第四步,重绘面部及侧身幅度。 Midjourney V6 更新角色一致性命令“cref”: Midjourney 努力在 cref 起作用时保留面部,无论 cw 的值如何。 当 cw 设置为 0 时,Midjourney 只转移面部到新图像中,会始终保留面部标志性属性。 若要改变面部,可按以下步骤操作: 使用 /settings 确保处于 模式且 Remix 设置为打开。 选择带有要更改面部的图像,使用 分离,选择 。 开启 Remix 后编辑提示,删除 cref 和 cw 后修改提示以对面部进行更改。 对更改满意时,确保不再添加 cref 到提示中。 某些部分看起来怪异或破碎时,可尝试将 stylize增加到 800 1000,或将 cw 降低到低于 100 的值。
2024-11-17
Midjourney提示词 中文分析器
以下是一些与 Midjourney 提示词相关的网站和提示词基本格式的介绍: 相关网站: MidLibrary:Midjourney 最全面的流派、艺术技巧和艺术家风格库,网址: MidJourney Prompt Tool:类型多样的 promot 书写工具,点击按钮就能生成提示词修饰部分,网址: OPS 可视化提示词:有 Mid Journey 的图片风格、镜头等写好的词典库,方便快速可视化生成自己的绘画提示词,网址: AIart 魔法生成器:中文版的艺术作品 Prompt 生成器,网址: IMI Prompt:支持多种风格和形式的详细的 MJ 关键词生成器,网址: Prompt Hero:好用的 Prompt 搜索,适用于 Stable Diffusion、ChatGPT 和 Midjourney,网址: OpenArt:AI 人工智能图像生成器,网址: img2prompt:根据图片提取 Prompt,网址: MidJourney 提示词工具:专门为 MidJourney 做的提示词工具,界面直观易用,网址: PromptBase:Prompt 交易市场,可以购买、使用、销售各种对话、设计 Prompt 模板,网址: AiTuts Prompt:精心策划的高质量 Midjourney 提示数据库,提供广泛的不同风格供选择,网址: 提示词基本格式: 可以总结为“形容词+主语+环境+行为+构图+参考风格+渲染程度+后缀”。首先对人物进行详细描述,包括情绪、发型、穿着等;然后描写环境,如天气、地理位置等;接着描述摄影、灯光和成像质量;最后用后缀词规定绘图比例。遵循这样的逻辑输入提示词,有助于生成更符合期望的高质量绘图。
2024-11-10
midjourney Prompt 编写指南
以下是关于 Midjourney Prompt 编写的指南: 1. 基本结构 与 Niji·journey 5 相似,Midjourney Prompt 结构为:<产出属性要求+设计主体描述+风格要求+效果要求> 2. 产出属性要求 例如:Anime, AAA character concept art, many details, full body view 等,需首先明确属性要求。 3. 设计主体描述 如:a blonde twintail short little Girl wear inside cyberpunk latex tiny tight Pilot suit, wear outside an ultra detailed Futuristic fashion oversized cyberpunk short coat with big wide sleeves, big cyberpunk boots 。可以参考相关特征进行描述,注意规避屏蔽词汇,通过描述年龄控制角色年龄段。 4. 风格要求 可以使用各种风格描述词汇,或直接写上参考游戏设计的名字,出于知识产权尊重,不建议写设计师名字。 5. 效果要求 包括:lineart, beautiful linework, high contrast, frisky, gradient, manga, hd 等。还可以写上 Midjourney 三视图关键词、背景颜色、不要生成文字 logo 等具体要求。 6. 其他相关 若公共频道消息刷太快,可在私信 Midjourney Bot 使用 /imagine 命令,私信创建的图像仍受内容和管理规则限制,且可在 Midjourney 网站查看。 Prompts 是 Midjourney Bot 中的指令,可简单或详细,Bot 会根据 Prompt 生成图像网格,可选择并修改操作。了解编写基础提示信息可参考 https://docs.midjourney.com/prompts ,探索通过艺术媒介、地点和时期描述改变图像可参考 https://docs.midjourney.com/exploreprompting 。 /blend 命令允许使用 Midjourney 的 AI 图像生成将多个图像混合,需上传至少两张图像,输入命令加上图像 ID 和选项,可调整混合设置,生成新图像。学习上传和混合自己的图片可参考 https://docs.midjourney.com/v1/docs/blend 。
2024-11-07
如何安装MIDJOURNEY
安装 Midjourney 可以参考以下步骤: 1. 接入模式选择: 有两种接入模式,分别是:https://github.com/mouxangithub/midjourneyproxyonwechat ;https://github.com/zhayujie/chatgptonwechat/tree/master/plugins/linkai 。选用第二种相对简单且便宜。 2. 实操准备: 在此之前需要安装 chatgptonwechat 和 sum4all 的插件。接入 Midjourney 也是将插件安装在 chatgptonwechat 的 plugins 库中,通过填写模型、key 来实现调用,此次还多了一个 code,操作可能较麻烦,但请相信不难。 3. 注册 Linkai: 打开 https://linkai.tech/home?share=iaPC2x ,在应用接入中创建您的 API Key 。 打开应用市场选择 Midjourney 右上角分享中有 code 地址。 4. 修改相关配置文件: 修改/root/chatgptonwechat/plugins/linkai 中的 config.j 。 修改/root/chatgptonwechat/plugins 中的 config.json 。 修改/root/chatgptonwechat 中的 config.json 。 调试好以上步骤后,即可进入微信对话页面开启插件。
2024-11-03
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
stablediffusion3.5最新资讯
以下是关于 Stable Diffusion 3.5 的最新资讯: Stability AI 刚刚发布了 Stable Diffusion 3.5,其中 8B 的 Large 和 Turbo 已经开放,2B 的 Medium 会在 10 月 29 日发布。 ComfyUI 官方提供了示例工作流,尤其对于 RAM 低于 32GB 的用户,comfyanonymous 制作了额外的 scaled fp8 clip。 如何使用:https://blog.comfy.org/sd35comfyui/ 工作流:https://huggingface.co/ComfyOrg/stablediffusion3.5fp8/tree/main scaled fp8 clip:https://huggingface.co/ComfyOrg/stablediffusion3.5fp8/blob/main/sd3.5_large_fp8_scaled.safetensors 10 月 29 日将公开发布 Stable Diffusion 3.5 Medium。不久之后,ControlNets 也将推出,为各种专业用例提供先进的控制功能。 Stability AI 社区许可证关键组成部分: 免费用于非商业用途:个人和组织可以免费将该模型用于非商业用途,包括科学研究。 免费用于商业用途(年收入高达 100 万美元):初创公司、中小型企业和创作者可以免费将该模型用于商业目的,只要其年总收入低于 100 万美元。 输出的所有权:保留所生成媒体的所有权,不受限制性许可影响。 对于年收入超过 100 万美元的组织,请在此处联系咨询企业许可证:https://stability.ai/enterprise 访问模型的更多方式: 稳定性 AI API:https://platform.stability.ai/docs/apireferencetag/Generate/paths/~1v2beta~1stableimage~1generate~1sd3/post Replicate 复制:https://replicate.com/stabilityai/stablediffusion3.5large ComfyUI 舒适用户界面:http://blog.comfy.org/sd35comfyui/ DeepInfra 深基础设施 Stability AI 相信安全、负责任的人工智能实践,并采取审慎措施确保诚信从开发的早期阶段开始。这意味着已经并将继续采取合理的措施来防止不良行为者滥用 Stable Diffusion 3.5。有关安全方法的更多信息,请访问稳定安全页面:https://stability.ai/safety
2024-10-23
请用StableDiffusion生成一幅画,钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主
很抱歉,目前我无法直接使用 StableDiffusion 为您生成这幅画。但您可以通过以下步骤来实现: 1. 准备好 StableDiffusion 软件,并确保您的计算机满足其运行要求。 2. 了解 StableDiffusion 的相关设置和参数调整方法。 3. 在输入描述中详细准确地描述您想要的画面,如“钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主”,同时可以补充更多细节,比如光线、色彩、物体的具体特征等,以获得更符合您期望的结果。 希望这些信息对您有所帮助。
2024-09-03
如何画热力图,帮助我们分析数据相关系数
以下是关于如何画热力图来分析数据相关系数的步骤: 1. 完成前面的 MMM 运行步骤。 2. 进行关联性分析,可绘制热力图(颜色可自行调整)。 3. 计算相关性,注意在真实场景中,若出现负相关性,需考虑是否缩减投入或进行其他决策。 4. 模型流程主要在前几步,后面的可视化和其他分析自由度较高。 您可以在 Colab 上的部署地址(https://colab.research.google.com/drive/1vzMbUuGsaFHlnl9CKFXgxXn8aqWaw60I?usp=sharing)直接进行测试,并欢迎提出新的优化意见。
2024-11-22
ldap和ad之间是什么关系
LDAP(轻型目录访问协议)是一种用于访问和管理目录服务的开放协议。AD(Active Directory)是微软基于 LDAP 协议开发的一种目录服务。 AD 利用了 LDAP 协议的特性来实现对网络资源和用户的集中管理、认证和授权等功能。可以说 AD 是基于 LDAP 协议构建的一个具体的、功能丰富的目录服务系统。 总的来说,LDAP 是一种通用的协议,而 AD 是基于 LDAP 协议的特定实现,并针对微软的环境进行了优化和扩展。
2024-11-12
ChatGLM3 及相关系列产品有哪些
2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。其中,智谱清言是基于 ChatGLM 大模型的产品。 智谱清言的特点包括:在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。总体更擅长专业能力,但代码能力还有优化空间,知识百科与其他第一梯队模型相比稍显不足。 其适合的应用场景相对广泛,根据 SuperCLUE 测评结果,可优先推进在 AI 智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景。在较复杂推理应用上效果不错,在广告文案、文学写作方面也是很好的选择。
2024-11-04
用户体验设计与大模型的关系
用户体验设计与大模型密切相关。 在构建基于大模型的应用方面: 开发大模型应用复杂,涉及众多步骤和环节,包括框架选择、提示词设计等。 提示词的精心设计和调试至关重要,直接影响模型输出质量和应用效果。 构建有效的大型语言模型应用需要遵循一系列要点,如进行工程化、选择合适框架、了解业务需求、设计提示词、遵守安全和伦理标准、测试迭代、持续维护更新等。 在 AI 战场的发展趋势方面: 2023 年认为训练最好的模型就能吸引用户,但 2024 年大量消费者 AI 应用将通过提供最佳用户体验而非单纯提升模型性能来竞争,大模型可作为差异化优势之一,但老式护城河仍可能决定长期赢家。 关于大模型的道德观念: 大型语言模型本身不具有真正的道德观念或意识,它们是通过大量数据训练模拟语言统计规律的。 开发者和研究人员会采取多种方法确保模型输出符合社会道德和伦理标准,如数据清洗、算法设计、制定准则、保持透明度、用户反馈、持续监控、人工干预、教育和培训等,但这仍是复杂且持续的挑战。
2024-11-04
多模态AI是什么,和深度学习的关系
多模态 AI 是指能够处理和生成多种数据类型(如文本、图像、音频、视频等)交互的人工智能技术,从而能够提供更接近人类感知的场景。 多模态 AI 与深度学习有着密切的关系。在深度学习时期,深度神经网络等技术的发展为多模态 AI 提供了基础。当前,多模态 AI 是 AI 领域的前沿技术之一。 多模态 AI 具有以下特点和应用: 1. 能够无缝地处理和生成多种音频或视觉格式的内容,将交互扩展到超越语言的领域。 2. 像 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已经能够处理和生成图像、音频等模态,但能力还比较基础,不过进展迅速。 3. 多模态模型可以为消费者提供更加引人入胜、连贯和全面的体验,使用户能够超越聊天界面进行互动。 4. 多模态与工具使用密切相关,能够使用设计给人类使用但没有自定义集成的工具。 5. 从长远来看,多模态(特别是与计算机视觉的集成)可以通过机器人、自动驾驶车辆等应用程序,将大语言模型扩展到物理现实中。
2024-10-28
claude和chatgpt是什么关系,哪个好用
Claude 和 ChatGPT 没有直接的关系。 Claude 是由 Anthropic 开发的语言模型,ChatGPT 是由 OpenAI 开发的。 关于哪个好用,这取决于具体的使用场景和个人需求。在一些情况下,Claude 可能因其某些特点而更适合某些用户,例如在阅读 PDF 和长文方面。而 ChatGPT 也有其优势,比如在输出内容品质上可能给人较好的感觉。 但需要注意的是,它们的性能和适用性会因用户的具体任务和期望而有所不同。
2024-10-27