直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

stablediffusion和midjourney有啥关系

回答

Stable Diffusion 和 Midjourney 是 AI 绘画领域的两个重要模型,它们有以下关系和区别:

  • 关系:都是用于 AI 绘画的工具。
  • 区别:
    • Stable Diffusion 是完全开源的项目,包括模型、代码、训练数据、论文、生态等全部开源,能快速构建强大繁荣的上下游生态,吸引了众多 AI 绘画爱好者加入,推动 AIGC 领域的发展。但它需要较好的电脑配置,尤其是显卡。
    • Midjourney 操作简单方便,创作内容丰富,但需要科学上网并且付费,每月使用费大概在 200 多元。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

教程:深入浅出完整解析Stable Diffusion(SD)核心基础知识 - 知乎

Stable Diffusion(简称SD)是AI绘画领域的一个核心模型,能够进行文生图(txt2img)和图生图(img2img)等图像生成任务。与Midjourney不同的是,Stable Diffusion是一个完全开源的项目(模型、代码、训练数据、论文、生态等全部开源),这使得其能快速构建强大繁荣的上下游生态(AI绘画社区、基于SD的自训练AI绘画模型、丰富的辅助AI绘画工具与插件等),并且吸引了越来越多的AI绘画爱好者加入其中,与AI行业从业者一起推动AIGC领域的发展与普惠。也正是Stable Diffusion的开源属性、繁荣的上下游生态以及各行各业AI绘画爱好者的参与,使得AI绘画火爆出圈,让AI绘画的影响触达到了全球各行各业人们的生活中。可以说,AI绘画的ToC普惠在AIGC时代的早期就已经显现,这是之前的传统深度学习时代从未有过的。而ToC普惠也是最让Rocky兴奋的AIGC属性,让Rocky相信未来的十五年会是像移动互联网时代那样,充满科技变革与机会的时代。Rocky从传统深度学习时代走来,与图像分类领域的ResNet系列、图像分割领域的U-Net系列以及目标检测领域的YOLO系列模型打过多年交道,Rocky相信Stable Diffusion是AI绘画领域的“YOLO”。Stable Diffusion生成图片示例

如何使用 AI 来做事:一份带有观点的指南

1.Stable Diffusion,它是开源的,你可以在任何高端计算机运行。开始需要付出努力,因为你必须学会正确制作提示,但一旦你做到了,它可以产生很好的结果。它特别适合将AI与来自其他源的图像结合在一起。[如果你走这条路,这里有一个很好的Stable Diffusion指南(请务必阅读第1部分和第2部分)。](https://www.jonstokes.com/p/stable-diffusion-20-and-21-an-overview)2.DALL-E,来自OpenAI,已纳入Bing(您必须使用创意模式)和Bing图像创建器。这个系统很可靠,但比Midjourney差。3.Midjourney,这是2023年中期最好的系统。它的学习曲线最低:只需键入“thing-you-want-to-see --v 5.2”(末尾的--v 5.2很重要,它使用最新的模型),你就会得到一个很好的结果。Midjourney需要Discord。这是[使用Discord的指南](https://www.pcworld.com/article/540080/how-to-use-discord-a-beginners-guide.html)。4.Adobe Firefly内置在各种Adobe产品中,但在质量方面落后于DALL-E和Midjourney。然而,虽然其他两个模型还不清楚他们用于训练人工智能的源图像,但Adobe宣布它只使用它有权使用的图像。以下是它们的比较(每张图像都有模型标记):

【SD】软件原理傻瓜级理解

目前市面上主流的AI绘图软件有两个:Stable Diffusion和Midjourney。Stable Diffusion的优势在于开源免费、可以本地化部署、创作自由度很高,缺点是需要比较好的电脑配置,尤其是显卡;Midjourney的优势是操作简单方便,创作内容相当丰富,但是需要科学上网并且付费,目前的使用费大概在每月200多元左右。如果可以融入工作流,这个月费也不算高,毕竟它带来的效率是惊人的,当然前期想要了解玩一玩的,可以试试Stable Diffusion,关于具体的安装方法可以去看看B站的【秋葉aaaki】这个Up主的视频。很多还没有接触过AI绘画的朋友会觉得这个东西很神秘,哪怕装好了软件也会看着一堆英文和参数而一头雾水。今天我就用最傻瓜的方式来讲述一下Stable Diffusion的工作原理和基本功能。

其他人在问
Midjourney提示词 中文分析器
以下是一些与 Midjourney 提示词相关的网站和提示词基本格式的介绍: 相关网站: MidLibrary:Midjourney 最全面的流派、艺术技巧和艺术家风格库,网址: MidJourney Prompt Tool:类型多样的 promot 书写工具,点击按钮就能生成提示词修饰部分,网址: OPS 可视化提示词:有 Mid Journey 的图片风格、镜头等写好的词典库,方便快速可视化生成自己的绘画提示词,网址: AIart 魔法生成器:中文版的艺术作品 Prompt 生成器,网址: IMI Prompt:支持多种风格和形式的详细的 MJ 关键词生成器,网址: Prompt Hero:好用的 Prompt 搜索,适用于 Stable Diffusion、ChatGPT 和 Midjourney,网址: OpenArt:AI 人工智能图像生成器,网址: img2prompt:根据图片提取 Prompt,网址: MidJourney 提示词工具:专门为 MidJourney 做的提示词工具,界面直观易用,网址: PromptBase:Prompt 交易市场,可以购买、使用、销售各种对话、设计 Prompt 模板,网址: AiTuts Prompt:精心策划的高质量 Midjourney 提示数据库,提供广泛的不同风格供选择,网址: 提示词基本格式: 可以总结为“形容词+主语+环境+行为+构图+参考风格+渲染程度+后缀”。首先对人物进行详细描述,包括情绪、发型、穿着等;然后描写环境,如天气、地理位置等;接着描述摄影、灯光和成像质量;最后用后缀词规定绘图比例。遵循这样的逻辑输入提示词,有助于生成更符合期望的高质量绘图。
2024-11-10
midjourney Prompt 编写指南
以下是关于 Midjourney Prompt 编写的指南: 1. 基本结构 与 Niji·journey 5 相似,Midjourney Prompt 结构为:<产出属性要求+设计主体描述+风格要求+效果要求> 2. 产出属性要求 例如:Anime, AAA character concept art, many details, full body view 等,需首先明确属性要求。 3. 设计主体描述 如:a blonde twintail short little Girl wear inside cyberpunk latex tiny tight Pilot suit, wear outside an ultra detailed Futuristic fashion oversized cyberpunk short coat with big wide sleeves, big cyberpunk boots 。可以参考相关特征进行描述,注意规避屏蔽词汇,通过描述年龄控制角色年龄段。 4. 风格要求 可以使用各种风格描述词汇,或直接写上参考游戏设计的名字,出于知识产权尊重,不建议写设计师名字。 5. 效果要求 包括:lineart, beautiful linework, high contrast, frisky, gradient, manga, hd 等。还可以写上 Midjourney 三视图关键词、背景颜色、不要生成文字 logo 等具体要求。 6. 其他相关 若公共频道消息刷太快,可在私信 Midjourney Bot 使用 /imagine 命令,私信创建的图像仍受内容和管理规则限制,且可在 Midjourney 网站查看。 Prompts 是 Midjourney Bot 中的指令,可简单或详细,Bot 会根据 Prompt 生成图像网格,可选择并修改操作。了解编写基础提示信息可参考 https://docs.midjourney.com/prompts ,探索通过艺术媒介、地点和时期描述改变图像可参考 https://docs.midjourney.com/exploreprompting 。 /blend 命令允许使用 Midjourney 的 AI 图像生成将多个图像混合,需上传至少两张图像,输入命令加上图像 ID 和选项,可调整混合设置,生成新图像。学习上传和混合自己的图片可参考 https://docs.midjourney.com/v1/docs/blend 。
2024-11-07
如何安装MIDJOURNEY
安装 Midjourney 可以参考以下步骤: 1. 接入模式选择: 有两种接入模式,分别是:https://github.com/mouxangithub/midjourneyproxyonwechat ;https://github.com/zhayujie/chatgptonwechat/tree/master/plugins/linkai 。选用第二种相对简单且便宜。 2. 实操准备: 在此之前需要安装 chatgptonwechat 和 sum4all 的插件。接入 Midjourney 也是将插件安装在 chatgptonwechat 的 plugins 库中,通过填写模型、key 来实现调用,此次还多了一个 code,操作可能较麻烦,但请相信不难。 3. 注册 Linkai: 打开 https://linkai.tech/home?share=iaPC2x ,在应用接入中创建您的 API Key 。 打开应用市场选择 Midjourney 右上角分享中有 code 地址。 4. 修改相关配置文件: 修改/root/chatgptonwechat/plugins/linkai 中的 config.j 。 修改/root/chatgptonwechat/plugins 中的 config.json 。 修改/root/chatgptonwechat 中的 config.json 。 调试好以上步骤后,即可进入微信对话页面开启插件。
2024-11-03
Midjourney生成知名动漫或卡通形象受限制了么?
Midjourney 在生成知名动漫或卡通形象时存在一定的限制。例如,在生成角色方面,最好不要生成过多角色,过多甚至可能指 2 个。做人、做动物的情况还好,但对于有拟人角色需求的情况,可能难以生成满意的结果。比如小龙喷火到小兔子举着的礼物盒这种看似简单的需求,可能无法达到满意效果,可能出现动物不拟人或龙的体型超大等情况。对于像中国龙这种数据样本较少的形象,生成符合要求的图很有挑战性。 在视频生成方面,如果想让角色做出一些较大的动作,比如转头、掉眼泪、抬手或更生动的表情变化,现有的技术还不够成熟,还需要更先进的技术、更丰富的数据和更强大的计算能力。此时的策略是尽量规避制作需要大动作表现的视频,如果实在避免不了,可以尝试制作一些只涉及小动作的场景,然后通过加入台词和场景描述来补充细节和深度,帮助观众更好地理解场景背景和角色心理,以弥补视觉上的不足。
2024-10-29
如何用Midjourney实现hello kitty主题的室内设计
以下是一些可能有助于您使用 Midjourney 实现 Hello Kitty 主题室内设计的提示词示例: 一个充满 Hello Kitty 元素的温馨卧室,粉色调,可爱的家具,有 Hello Kitty 形状的窗户,柔软的地毯 ar 2:3 Hello Kitty 主题的客厅,有巨大的 Hello Kitty 沙发,粉色和白色的墙壁,Hello Kitty 图案的吊灯 ar 3:2 以 Hello Kitty 为主题的儿童房,有 Hello Kitty 床,Hello Kitty 衣柜,彩色的地板,充满童趣的装饰 ar 4:3 Hello Kitty 风格的厨房,粉色的橱柜,Hello Kitty 形状的炉灶,可爱的餐具 ar 1:1 Hello Kitty 主题的浴室,粉色的浴缸,Hello Kitty 图案的瓷砖,温馨的灯光 ar 9:16 您可以根据自己的需求对这些提示词进行调整和修改,以获得更符合您期望的设计效果。
2024-10-29
midjourney最新功能介绍
Midjourney 的最新功能包括: 1. 风格参考和个性化模型混合使用: 可以混合不同的风格参考融入到混合中,最终风格的强度取决于提示中分配给每种风格的顺序。 能混合多个sref 代码,也能将风格参考图像 URL 和 sref 随机代码混合使用,还可为单个代码或 URL 加权。 能混合多个模型个性化代码,并使用相同的符号进行加权混合。 2. 编辑器更新: 图像编辑器:允许从计算机上传图像,然后进行扩展、裁剪、重绘、添加或修改场景中的元素。还推出了“图像重纹理化模式”,会估算场景的形状,然后重新应用纹理,使所有光照、材质和表面都发生变化。所有图像编辑操作都可以通过文本提示和区域选择来控制,且编辑器兼容模型个性化、风格参考、角色参考和图像提示功能。 AI 审核系统:正在测试一个更加智能、更加细致的 V2 AI 审核系统,会从整体上检查提示、图像、绘制蒙版以及生成的输出图像。 3. 使用规则:由于这些功能非常新,在第一个发布阶段,将这些功能开放给已生成至少 10,000 张图像的用户(年度会员可用)和过去 12 个月内一直是月度订阅用户的用户。
2024-10-25
stablediffusion在线webui如何开发
开发 Stable Diffusion 在线 Web UI 可以按照以下步骤进行: 1. 安装必要的软件环境: 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码: 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git ,将源代码克隆到本地目录。 3. 运行安装脚本: 进入 stablediffusionwebui 目录,运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面: 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作: 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。尝试生成图像,观察不同参数对结果的影响。学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能: 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。学习如何导入自定义模型、VAE、embedding 等文件。掌握图像管理、任务管理等技巧,提高工作效率。 在完成了依赖库和 repositories 插件的安装后,还需要进行以下配置: 将 Stable Diffusion 模型放到/stablediffusionwebui/models/Stablediffusion/路径下。然后到/stablediffusionwebui/路径下,运行 launch.py 即可。运行完成后,将命令行中出现的输入到本地网页中,即可打开 Stable Diffusion WebUI 可视化界面。进入界面后,在红色框中选择 SD 模型,在黄色框中输入 Prompt 和负向提示词,在绿色框中设置生成的图像分辨率(推荐设置成 768x768),然后点击 Generate 按钮进行 AI 绘画。生成的图像会展示在界面右下角,并保存到/stablediffusionwebui/outputs/txt2imgimages/路径下。 如果选用 Stable Diffusion 作为 AIGC 后台,需要注意: DallE 缺乏室内设计能力,MidJourney 出图效果好但无法基于现实环境重绘,Stable Diffusion 出图成功率较低,但可调用 controlnet 的 MLSD 插件捕捉现实环境线条特征做二次设计。安装 Stable Diffusion WEB UI 后,修改 webuiuser.bat 文件加上 listen 和 API 参数,让 Stable Diffusion 处于网络服务状态。代码如下: @echo off set PYTHON= set GIT= set VENV_DIR= set COMMANDLINE_ARGS=xformers nohalfvae listen api git pull call webui.bat 让 Stable Diffusion 具有 AI 室内设计能力的步骤: 1. 下载室内设计模型(checkpoint 类型),放到 stable diffusion 目录/models/stablediffusion 下面。 2. 安装 controlnet 插件,使用 MLSD 插件,实现空间学习。 通过 API 方式让前端连接到 Stable Diffusion 后台的具体代码在前端开发详细展开,API 参考文档可选读。
2024-11-01
stablediffusion3.5最新资讯
以下是关于 Stable Diffusion 3.5 的最新资讯: Stability AI 刚刚发布了 Stable Diffusion 3.5,其中 8B 的 Large 和 Turbo 已经开放,2B 的 Medium 会在 10 月 29 日发布。 ComfyUI 官方提供了示例工作流,尤其对于 RAM 低于 32GB 的用户,comfyanonymous 制作了额外的 scaled fp8 clip。 如何使用:https://blog.comfy.org/sd35comfyui/ 工作流:https://huggingface.co/ComfyOrg/stablediffusion3.5fp8/tree/main scaled fp8 clip:https://huggingface.co/ComfyOrg/stablediffusion3.5fp8/blob/main/sd3.5_large_fp8_scaled.safetensors 10 月 29 日将公开发布 Stable Diffusion 3.5 Medium。不久之后,ControlNets 也将推出,为各种专业用例提供先进的控制功能。 Stability AI 社区许可证关键组成部分: 免费用于非商业用途:个人和组织可以免费将该模型用于非商业用途,包括科学研究。 免费用于商业用途(年收入高达 100 万美元):初创公司、中小型企业和创作者可以免费将该模型用于商业目的,只要其年总收入低于 100 万美元。 输出的所有权:保留所生成媒体的所有权,不受限制性许可影响。 对于年收入超过 100 万美元的组织,请在此处联系咨询企业许可证:https://stability.ai/enterprise 访问模型的更多方式: 稳定性 AI API:https://platform.stability.ai/docs/apireferencetag/Generate/paths/~1v2beta~1stableimage~1generate~1sd3/post Replicate 复制:https://replicate.com/stabilityai/stablediffusion3.5large ComfyUI 舒适用户界面:http://blog.comfy.org/sd35comfyui/ DeepInfra 深基础设施 Stability AI 相信安全、负责任的人工智能实践,并采取审慎措施确保诚信从开发的早期阶段开始。这意味着已经并将继续采取合理的措施来防止不良行为者滥用 Stable Diffusion 3.5。有关安全方法的更多信息,请访问稳定安全页面:https://stability.ai/safety
2024-10-23
请用StableDiffusion生成一幅画,钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主
很抱歉,目前我无法直接使用 StableDiffusion 为您生成这幅画。但您可以通过以下步骤来实现: 1. 准备好 StableDiffusion 软件,并确保您的计算机满足其运行要求。 2. 了解 StableDiffusion 的相关设置和参数调整方法。 3. 在输入描述中详细准确地描述您想要的画面,如“钻井现场,旁边的风景很优美,以柳江盆地的地形和风景为主”,同时可以补充更多细节,比如光线、色彩、物体的具体特征等,以获得更符合您期望的结果。 希望这些信息对您有所帮助。
2024-09-03
ldap和ad之间是什么关系
LDAP(轻型目录访问协议)是一种用于访问和管理目录服务的开放协议。AD(Active Directory)是微软基于 LDAP 协议开发的一种目录服务。 AD 利用了 LDAP 协议的特性来实现对网络资源和用户的集中管理、认证和授权等功能。可以说 AD 是基于 LDAP 协议构建的一个具体的、功能丰富的目录服务系统。 总的来说,LDAP 是一种通用的协议,而 AD 是基于 LDAP 协议的特定实现,并针对微软的环境进行了优化和扩展。
2024-11-12
ChatGLM3 及相关系列产品有哪些
2023 年 10 月 27 日,智谱 AI 于 2023 中国计算机大会(CNCC)上推出了全自研的第三代基座大模型 ChatGLM3 及相关系列产品。其中,智谱清言是基于 ChatGLM 大模型的产品。 智谱清言的特点包括:在工具使用排名国内第一,在计算、逻辑推理、传统安全能力上排名国内前三。总体更擅长专业能力,但代码能力还有优化空间,知识百科与其他第一梯队模型相比稍显不足。 其适合的应用场景相对广泛,根据 SuperCLUE 测评结果,可优先推进在 AI 智能体方面相关的应用,包括任务规划、工具使用及一些长文本记忆相关的场景。在较复杂推理应用上效果不错,在广告文案、文学写作方面也是很好的选择。
2024-11-04
用户体验设计与大模型的关系
用户体验设计与大模型密切相关。 在构建基于大模型的应用方面: 开发大模型应用复杂,涉及众多步骤和环节,包括框架选择、提示词设计等。 提示词的精心设计和调试至关重要,直接影响模型输出质量和应用效果。 构建有效的大型语言模型应用需要遵循一系列要点,如进行工程化、选择合适框架、了解业务需求、设计提示词、遵守安全和伦理标准、测试迭代、持续维护更新等。 在 AI 战场的发展趋势方面: 2023 年认为训练最好的模型就能吸引用户,但 2024 年大量消费者 AI 应用将通过提供最佳用户体验而非单纯提升模型性能来竞争,大模型可作为差异化优势之一,但老式护城河仍可能决定长期赢家。 关于大模型的道德观念: 大型语言模型本身不具有真正的道德观念或意识,它们是通过大量数据训练模拟语言统计规律的。 开发者和研究人员会采取多种方法确保模型输出符合社会道德和伦理标准,如数据清洗、算法设计、制定准则、保持透明度、用户反馈、持续监控、人工干预、教育和培训等,但这仍是复杂且持续的挑战。
2024-11-04
多模态AI是什么,和深度学习的关系
多模态 AI 是指能够处理和生成多种数据类型(如文本、图像、音频、视频等)交互的人工智能技术,从而能够提供更接近人类感知的场景。 多模态 AI 与深度学习有着密切的关系。在深度学习时期,深度神经网络等技术的发展为多模态 AI 提供了基础。当前,多模态 AI 是 AI 领域的前沿技术之一。 多模态 AI 具有以下特点和应用: 1. 能够无缝地处理和生成多种音频或视觉格式的内容,将交互扩展到超越语言的领域。 2. 像 GPT4、Character.AI 和 Meta 的 ImageBind 等模型已经能够处理和生成图像、音频等模态,但能力还比较基础,不过进展迅速。 3. 多模态模型可以为消费者提供更加引人入胜、连贯和全面的体验,使用户能够超越聊天界面进行互动。 4. 多模态与工具使用密切相关,能够使用设计给人类使用但没有自定义集成的工具。 5. 从长远来看,多模态(特别是与计算机视觉的集成)可以通过机器人、自动驾驶车辆等应用程序,将大语言模型扩展到物理现实中。
2024-10-28
claude和chatgpt是什么关系,哪个好用
Claude 和 ChatGPT 没有直接的关系。 Claude 是由 Anthropic 开发的语言模型,ChatGPT 是由 OpenAI 开发的。 关于哪个好用,这取决于具体的使用场景和个人需求。在一些情况下,Claude 可能因其某些特点而更适合某些用户,例如在阅读 PDF 和长文方面。而 ChatGPT 也有其优势,比如在输出内容品质上可能给人较好的感觉。 但需要注意的是,它们的性能和适用性会因用户的具体任务和期望而有所不同。
2024-10-27
智能体和工作流的关系是什么
智能体和工作流密切相关。工作流就像是一个可视化的拼图游戏,由多个小块块(节点)组成,如大语言模型 LLM、用户自己写的代码、做判断的逻辑等,这些小块块可以是工作流的基本单元。工作流有开始和结束的小块块,开始的小块块包含输入的信息,结束的小块块展示运行结果。不同小块块可能需要不同信息才能工作,包括引用前面小块块给出的信息和用户自己设定的信息。 在具体应用中,技能设定分为“智能体分析”和“智能体模板构建”等核心部分。依据这些技能点审视工作流程,流程前半部分用于执行智能体分析,后半部分用于实现智能体模板构建。示例与工作流程相呼应,具象了流程中的每一步工作内容,且能灵活适配和生成结构化提示词模板。 对于 Bot 智能体,其由不同的工作流组成,在不同情况下会根据用户输入调用不同工作流完成自动化任务。例如,用户在 Bot 中直接输入查询需求去抓取热点时,采用 hotspot_direct_output 工具;在特定复杂需求下,会调用相应的工具实现从简单到复杂的不同流程的自动化,以及多平台获取用户需求和发送结果。 总之,智能体的实现离不开工作流的合理编排和有效执行,工作流的设计要与智能体所需的技能相匹配,以确保任务的顺利完成。
2024-10-16