Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

有什么AI模型可以制作瞬息宇宙?比如Stable Diffusion,还有别的吗?

Answer

以下是一些可以用于制作类似效果的 AI 模型:

  1. Adobe Firefly:内置在各种 Adobe 产品中,不过在质量方面稍逊于 DALL-E 和 Midjourney,但它只使用有权使用的图像进行训练。
  2. Stable Diffusion:开源模型,可以在任何高端计算机运行。开始时需要学会正确制作提示,一旦掌握能产生很好的结果,尤其适合将 AI 与其他源的图像结合。
  3. DALL-E:来自 OpenAI,已纳入 Bing(需使用创意模式)和 Bing 图像创建器,系统可靠但效果比 Midjourney 稍差。
  4. Midjourney:2023 年中期最好的系统,学习曲线最低,只需键入特定指令就能得到很好的结果,需要 Discord。 此外,在游戏制作领域,已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从 3D 模型到角色动画,再到对话和音乐。但文中未提及具体的模型名称。
Content generated by AI large model, please carefully verify (powered by aily)

References

生成式AI在游戏领域的机会(市场假设+预测)

那么,如果我们将《荒野大镖客:救赎2》与《微软模拟飞行》相比,《微软模拟飞行》这个游戏更为巨大...因为微软飞行模拟器的玩家能够在游戏中围绕整个地球飞行,所有1.97亿平方英里的地方。那么,微软是如何打造这样一个大型游戏的呢?主要是通过人工智能来完成,微软公司与blackshark.ai合作,对人工智能进行训练,从二维卫星图像生成无限逼真的三维世界。blackshark.ai是个啥公司?blackshark.ai是通过机器学习技术,提取全球范围内的地球基础设施的公司,从全球的卫星和航空图像中提取数据,用人工智能基于目前地理数据的数字孪生场景,这些结果可用于可视化、模拟、绘图、混合现实环境和其他企业解决方案,而技术本身具备的云计算更新能力,能够实时更新这些数据。这仅仅是一个例子,如果不使用人工智能技术,《微软模拟飞行》这款游戏实际上是不可能制作完成的。除此之外,游戏的成功还要归功于这些模型可以随着时间的推移不断改进,例如,可以加强"highway cloverleaf overpass"模型,通过人工智能运行整个建造过程,游戏中的整个地球上的所有的高速公路立交桥都可以立马得到改进。3.游戏制作中涉及的每一个资产都会有一个生成的AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器,由于其能够生成的图像十分抢眼,占据了目前生成式人工智能的大部分流行的兴奋点。而现在已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从3D模型到角色动画,再到对话和音乐。(下一篇文章会讲一下具体公司的市场生态Market Map)4.内容成本将持续下降,某些情况下的内容的成本会降为零当我们和尝试将生成式AI人工智能整合到制作场景的游戏开发者交谈时,最大的兴奋点在于,制作游戏的时间和成本都会大幅降低。一位开发者告诉我们,为一张图片生成概念图的时间从3周下降到1小时。我们相信,在整个游戏流程的制作过程中也可以实现类似的“降本增效”。

游戏中的生成式 AI 革命

现在,将《Red Dead Redemption 2》与[Microsoft Flight Simulator](https://www.flightsimulator.com/)进行比较,后者不仅仅是大,它是巨大的。Microsoft Flight Simulator允许玩家飞越整个地球,所有的1.97亿平方英里。微软是如何构建这样一个巨大的游戏的呢?通过让AI来做。微软与[blackshark.ai](https://blackshark.ai/)合作,并训练了一个AI从2D卫星图像[生成逼真的3D世界](https://blackshark.ai/solutions/)。这是一个不使用AI就不可能构建的游戏示例,此外,这些模型可以随着时间的推移不断改进这一事实中受益。例如,他们可以增强“高速公路三叶草立交桥”模型,重新运行整个建造过程,突然整个星球上的所有高速公路立交桥都得到了改善。1.游戏制作中涉及的每个资产都将有一个生成性AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器由于它们可以生成的图像的吸引力而获得了大量的受欢迎度。但已经有了生成性AI模型,几乎涉及到游戏中的所有资产,从3D模型、角色动画到对话和音乐。这篇博客文章的第二部分包括了一个市场地图,突出显示了一些专注于每种类型内容的公司。1.内容的价格将大幅下降,某些情况下将接近于零。与正在尝试将生成性AI集成到其生产流程中的游戏开发者交谈时,他们最兴奋的是生产时间和成本的大幅降低。有一位开发者告诉我们,他们生成单张概念艺术图像的时间,从开始到完成,从3周减少到了一个小时:减少了120倍。我们相信在整个生产流程中都有可能实现类似的节省。

如何使用 AI 来做事:一份带有观点的指南

最透明的选项:[Adobe Firefly](https://www.adobe.com/sensei/generative-ai/firefly.html)开源选项:[Stable Diffusion](https://stable-diffusion-ui.github.io/)最佳免费选项:Bing或[Bing Image Creator](https://www.bing.com/images/create)(使用DALL-E),[Playgound](https://playgroundai.com/)(允许您使用多个模型)最佳质量图像:[MidJourney](https://midjourney.com/)大多数人可以使用四个大型图像生成器:1.Stable Diffusion,它是开源的,你可以在任何高端计算机运行。开始需要付出努力,因为你必须学会正确制作提示,但一旦你做到了,它可以产生很好的结果。它特别适合将AI与来自其他源的图像结合在一起。[如果你走这条路,这里有一个很好的Stable Diffusion指南(请务必阅读第1部分和第2部分)。](https://www.jonstokes.com/p/stable-diffusion-20-and-21-an-overview)2.DALL-E,来自OpenAI,已纳入Bing(您必须使用创意模式)和Bing图像创建器。这个系统很可靠,但比Midjourney差。3.Midjourney,这是2023年中期最好的系统。它的学习曲线最低:只需键入“thing-you-want-to-see--v 5.2”(末尾的--v 5.2很重要,它使用最新的模型),你就会得到一个很好的结果。Midjourney需要Discord。这是[使用Discord的指南](https://www.pcworld.com/article/540080/how-to-use-discord-a-beginners-guide.html)。4.Adobe Firefly内置在各种Adobe产品中,但在质量方面落后于DALL-E和Midjourney。然而,虽然其他两个模型还不清楚他们用于训练人工智能的源图像,但Adobe宣布它只使用它有权使用的图像。

Others are asking
有论文大纲怎么ai生成一篇完整的论文且文献要真实
利用 AI 生成一篇完整且文献真实的论文,您可以参考以下步骤和建议: 1. 确定课题主题:明确您的研究兴趣和目标,选择一个具有研究价值和创新性的主题。 2. 收集背景资料:使用 AI 工具如学术搜索引擎(如 Semantic Scholar)和文献管理软件(如 Zotero)来搜集相关的研究文献和资料。 3. 分析和总结信息:利用 AI 文本分析工具来分析收集到的资料,提取关键信息和主要观点。 4. 生成大纲:使用 AI 写作助手生成课题的大纲,包括引言、文献综述、方法论、结果和讨论等部分。 5. 撰写文献综述:利用 AI 工具(如 Quillbot)来帮助撰写文献综述部分,确保内容的准确性和完整性。 6. 构建方法论:根据研究需求,利用 AI 建议的方法和技术来设计研究方法。 7. 数据分析:如果课题涉及数据收集和分析,可以使用 AI 数据分析工具(如 Google Colab、Knitro)来处理和解释数据。 8. 撰写和编辑:利用 AI 写作工具(如 Grammarly)来撰写课题的各个部分,并进行语法和风格的检查。 9. 生成参考文献:使用 AI 文献管理工具来生成正确的参考文献格式。 10. 审阅和修改:利用 AI 审阅工具来检查课题的逻辑性和一致性,并根据反馈进行修改。 11. 提交前的检查:最后,使用 AI 抄袭检测工具(如 Turnitin、Crossref Similarity Check)来确保课题的原创性,并进行最后的格式调整。 需要注意的是,AI 工具可以作为辅助,但不能完全替代研究者的专业判断和创造性思维。在使用 AI 进行课题写作时,应保持批判性思维,并确保研究的质量和学术诚信。 在论文写作领域,以下是一些常用的 AI 工具和平台: 1. 文献管理和搜索: Zotero:结合 AI 技术,可以自动提取文献信息,帮助研究人员管理和整理参考文献。 Semantic Scholar:一个由 AI 驱动的学术搜索引擎,能够提供相关的文献推荐和引用分析。 2. 内容生成和辅助写作: Grammarly:通过 AI 技术提供文本校对、语法修正和写作风格建议,帮助提高论文的语言质量。 Quillbot:一个基于 AI 的重写和摘要工具,可以帮助研究人员精简和优化论文内容。 3. 研究和数据分析: Google Colab:提供基于云的 Jupyter 笔记本环境,支持 AI 和机器学习研究,便于进行数据分析和可视化。 Knitro:一个用于数学建模和优化的软件,可以帮助研究人员进行复杂的数据分析和模型构建。 4. 论文结构和格式: LaTeX:虽然不是纯粹的 AI 工具,但结合了自动化和模板,可以高效地处理论文格式和数学公式。 Overleaf:一个在线 LaTeX 编辑器,提供丰富的模板库和协作功能,简化论文编写过程。 5. 研究伦理和抄袭检测: Turnitin:一个广泛使用的抄袭检测工具,帮助确保论文的原创性。 Crossref Similarity Check:通过与已发表作品的比较,检测潜在的抄袭问题。 使用这些工具时,重要的是要结合自己的写作风格和需求,选择最合适的辅助工具。
2025-04-13
飞书+AI的应用案例
以下是飞书+AI的应用案例: 在企业运营方面,包括日常办公文档材料撰写整理、营销对话机器人、市场分析、销售策略咨询,以及法律文书起草、案例分析、法律条文梳理和人力资源简历筛选、预招聘、员工培训等。 在教育领域,协助评估学生学习情况,为职业规划提供建议,针对学生情况以及兴趣定制化学习内容,论文初稿搭建及论文审核,帮助低收入国家/家庭通过 GPT 获得平等的教育资源。 在游戏/媒体行业,有定制化游戏、动态生成 NPC 互动、自定义剧情、开放式结局,出海文案内容生成、语言翻译及辅助广告投放和运营,数字虚拟人直播,游戏平台代码重构,AI 自动生成副本。 在零售/电商领域,包括舆情、投诉、突发事件监测及分析,品牌营销内容撰写及投放,自动化库存管理,自动生成或完成 SKU 类别选择、数量和价格分配,以及客户购物趋势分析及洞察。 在金融/保险行业,有个人金融理财顾问、贷款信息摘要及初始批复、识别并检测欺诈活动风险、客服中心分析及内容洞。 线下活动方面: 活动宣传:用飞书文档制作活动宣传页面,用 AI 快速制作海报,用 GPTs 写人员分配和主持人台词,活动从策划到开始仅用 2 天时间。 活动报名:使用飞书的多维表格完成报名表及数据统计。 活动过程:大家在线协同,一起编辑文档,演示时共同展示一个文档。 活动记录:有相关的记录页面。 办活动的初衷是宣扬 AI 不只是降本增效的工具,还有很多乐趣等待挖掘,例如大理户外圆桌讨论、清迈的 AI 逛古城、杭州的 AI 玄学小组。
2025-04-13
党媒平台能用ai做什么?
党媒平台在以下方面可以利用 AI : 1. 生成广告语:输入品牌信息,即可一键生成广告语及进行 AI 评分,生成质量高,内置联网搜索和 RAG 检索增强,生成符合分众的高质量广告语。 2. 创意设计: 基于分众广告海报和视频案例,利用 AIGC 的多模态能力进行批量高效的广告图生成、设计、编辑。 包含 AI 设计,通过对话方式表达设计需求,一键生成可编辑的图文音视频的多模态创意。 具备 AI 生图能力,利用文生图/图生图能力,并集成了 AI 抠图、扩图、改图、商品图等能力,解决各类营销场景素材生成需求。 拥有模板中心,基于广告营销的各类场景,内置数十万精选模板并支持强大易用的在线拖拽模式,极大降低了创意制作门槛。
2025-04-13
,AI agent 发展趋势,技术状态,商业模式
以下是关于 AI Agent 的发展趋势、技术状态和商业模式的相关信息: 发展趋势: 2024 年内,办公场景“AI 助手”开始有良好使用体验,实时生成的内容开始在社交媒体内容、广告中出现。 2025 2027 年,接近 AGI 的技术出现,人与 AI 配合的工作方式成为常态,很多日常决策开始由 AI 来执行。 技术状态: 目标实现基于 ReAct、SFT、RAG、强化学习等实现自主规划能力的 AI Agent,构建具备认知、决策智能的 Agent 智能体框架。 专注文本/多模态大模型、AI Agent 技术创新与应用。 商业模式: 依据不同类型销售市场的特点,结合一站式 AI 搭建平台将销售部署的产品化和模版化,让企业更容易落地和应用 AI 能力。 销售智能体 Blurr.AI 占位交易环节,解决 2B 销售获客的痛点,且具有向前后端环节延展的势能。
2025-04-13
如果你是一个AI领域的专家,我有个问题关于应用AI来学习的:假设我有一个网上的课程,然后我把这个网上的课程全部视频都下载下来,然后输入给AI,让AI来学习,如果以后我问AI关于这方面的问题的话,AI能像课程老师一样思考,来回答我的问题吗
以下是关于您提问的相关内容: AI 的学习方式与人类有相似之处,也有不同之处。在医疗保健领域,为产生真正的改变,AI 应像人类一样学习。成为某个领域顶尖人才通常从多年密集信息输入开始,如正规学校教育和学徒实践,通过面对面学习获取书本外的信息。对于 AI 来说,当前学习方式及技术人员对待方式存在问题,应通过堆叠模型训练,而非仅依靠大量数据和生成模型。例如先训练生物学、化学模型,再添加特定数据点。开发具有潜在空间层次结构的堆叠 AI 模型,能反映对基本元素的理解和预测能力,可能会平行于人类教育范例发展,也可能专门发展出新型专业知识。创建特定领域的专家 AI 可能比全能 AI 更容易,且需要多个专家 AI 提供多样意见。同时,应让 AI 接触现实世界互动,避免复制危险偏见。但不能因恐惧传播人类偏见而限制探索 AI 帮助民主化人类专家知识的意愿。 然而,您所提到的将网上课程视频全部下载输入给 AI 让其学习,然后期望它像课程老师一样回答问题,目前的技术和情况还不能完全保证实现。AI 的学习和回答能力取决于其训练数据、模型结构和算法等多种因素。
2025-04-13
视频背景替换的ai工具
以下是一些视频背景替换的 AI 工具: 1. AE 套模版: 插件模版网站:https://www.talkae.com/ ,可搜索 AE 插件合集并安装插件。 免费模版网站:envato(带可商用版权有证书),可淘宝代下,代下网站:https://sucai.ixling.com/login ,也可淘宝搜索小灵素材充值下载次数。 付费可商用网站:vj 师 https://www.vjshi.com/ 。 视频背景可替换成 AI 生成的素材。 2. Stability AI 推出的基于 Discord 的媒体生成和编辑工具: 具有搜索和替换功能,无需蒙版,通过搜索提示识别对象并替换,例如把猫换成狗。 创意放大功能,可将低分辨率或低质量图像放大至 4K 分辨率,同时可以附加提示。 外扩功能,在图像中添加内容以扩展空间,有五个选项,包括全面、上下左右单独扩展。 控制草图功能,将手绘草图转换为高质量图像,适用于设计项目。 删除背景功能,准确分割前景并删除背景。 基于初始图像使用 Stable Video Diffusion 生成短视频。 3. Coze 中的背景替换工具: 可以为图片替换背景图,是一个灵活运用的插件。 上传一张不带背景且主体明确的动漫人物图片,可搭配背景图片,点击试运行测试效果。选择 AI 生成能有更好效果,可搭配其他参数尝试。
2025-04-13
有stable diffusion的学习教程吗
以下为您提供一些 Stable Diffusion 的学习教程: 1. 超详细的 Stable Diffusion 教程: 介绍了为什么要学习 Stable Diffusion 及其强大之处。 指出 Stable Diffusion 是能根据输入文字生成图片的软件。 强调学习目的是快速入门,而非深入研究原理,通过案例和实际操作帮助上手。 2. 深入浅出完整解析 Stable Diffusion(SD)核心基础知识 知乎: 包含 Stable Diffusion 系列资源。 零基础深入浅出理解 Stable Diffusion 核心基础原理,如模型工作流程、核心基础原理、训练全过程等。 解析 Stable Diffusion 核心网络结构,包括 SD 模型整体架构、VAE 模型、UNet 模型等。 介绍从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的流程。 列举 Stable Diffusion 经典应用场景。 讲解从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型。 3. 视频教程: 「AI 绘画」软件比较与 stable diffusion 的优势: 「AI 绘画」零基础学会 Stable Diffusion: 「AI 绘画」革命性技术突破: 「AI 绘画」从零开始的 AI 绘画入门教程——魔法导论: 「入门 1」5 分钟搞定 Stable Diffusion 环境配置,消灭奇怪的报错: 「入门 2」stable diffusion 安装教程,有手就会不折腾: 「入门 3」你的电脑是否跑得动 stable diffusion?: 「入门 4」stable diffusion 插件如何下载和安装?:
2025-03-28
stablediffusion学习
以下是关于系统学习 Stable Diffusion 的相关内容: 学习 Stable Diffusion 的提示词是一个系统性的过程,需要理论知识和实践经验相结合。具体步骤如下: 1. 学习基本概念: 了解 Stable Diffusion 的工作原理和模型架构。 理解提示词如何影响生成结果。 掌握提示词的组成部分,如主题词、修饰词、反面词等。 2. 研究官方文档和教程: 通读 Stable Diffusion 官方文档,了解提示词相关指南。 研究来自开发团队和专家的教程和技巧分享。 3. 学习常见术语和范例: 熟悉 UI、艺术、摄影等相关领域的专业术语和概念。 研究优秀的图像标题和描述,作为提示词范例。 4. 掌握关键技巧: 学习如何组合多个词条来精确描述想要的效果。 掌握使用“()”、“”等符号来控制生成权重的技巧。 了解如何处理抽象概念、情感等无形事物的描述。 5. 实践和反馈: 使用不同的提示词尝试生成各种风格和主题的图像。 对比提示词和实际结果,分析原因,总结经验教训。 在社区内分享结果,请教高手,获取反馈和建议。 6. 创建提示词库: 根据主题、风格等维度,建立自己的高质量提示词库。 将成功案例和总结记录在案,方便后续参考和复用。 7. 持续跟进前沿: 关注 Stable Diffusion 的最新更新和社区分享。 及时掌握提示词的新技术、新范式、新趋势。 此外,Stable Diffusion 是一个 AI 自动生成图片的软件,通过输入文字就能生成对应的图片。学习 Stable Diffusion 非常简单,不需要深入了解其原理也能熟练使用。 Stable Diffusion 是一种扩散模型的变体,称为潜在扩散模型。其核心组件包括将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE EncoderDecoder 以及进行迭代降噪和在文本引导下进行多轮预测的 UNET 等。在训练和模型方面,有多种模型实例、训练方法、格式等,如 SD1.5、SDXL 等,还包括融合模型等形式。
2025-03-25
介绍一下什么是stable diffusion
Stable Diffusion 是一种扩散模型的变体,最初称为潜在扩散模型(Latent Diffusion Models)。它是一个 AI 自动生成图片的软件,通过用户输入文字就能生成对应的图片。其核心组件包括将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE EncoderDecoder 以及进行迭代降噪并在文本引导下进行多轮预测的 UNET 等。 在硬件要求方面,建议使用不少于 16GB 内存,并有 60GB 以上的硬盘空间,需要用到 CUDA 架构,推荐使用 N 卡。目前也有对 A 卡的相关支持,但运算速度明显慢于 N 卡。在训练方面,不同模型有不同的训练要求,例如 SD1.5 训练要求 12G VARM,SDXL 训练要求 16G VARM。此外,还有诸如模型实例、融合模型、微调模型等相关内容。
2025-03-25
现在Ai作图用什么?还是以前的Stable Diffusion吗?还是又出现了新的开源软件?
目前在 AI 作图领域,Stable Diffusion 仍然是常用的工具之一。Stable Diffusion 是 AI 绘画领域的核心模型,能够进行文生图和图生图等图像生成任务,其完全开源的特点使其能快速构建强大繁荣的上下游生态。 除了 Stable Diffusion,也出现了一些新的相关开源软件和工具,例如: :Stability AI 开源的 AI 图像生成平台。 :拥有超过 700 种经过测试的艺术风格,可快速搜索查找各类艺术家,并支持一键复制 Prompt。 同时,市面上主流的 AI 绘图软件还有 Midjourney,其优势是操作简单方便,创作内容丰富,但需要科学上网并且付费。如果您想尝试使用 Stable Diffusion,可以参考 B 站【秋葉 aaaki】这个 Up 主的视频了解具体的安装方法。
2025-03-24
什么是Diffusion Model
在 AI 图像生成中,“Diffusion Model”(扩散模型)是一类生成模型。其工作原理包括以下几个方面: 1. 正向扩散过程:向图像逐渐添加高斯噪声,直至图像完全无法识别,此过程可形式化为顺序扩散马尔可夫链。 2. 潜空间表示:将图像压缩到低维的潜在空间中,以减少计算量并提高生成速度。 3. 学习逆向过程:训练神经网络来预测每一步中噪声的分布,并逐步去除噪声以恢复清晰图像。 4. 文本到图像的生成:结合文本编码器和图像解码器,依据文本描述生成相应图像。 扩散模型的关键优势在于能够生成高质量的图像,且相比其他生成模型(如 GANs)在计算效率和稳定性方面更具优势。例如 Stable Diffusion 等模型就是基于扩散模型的文本到图像生成工具,可根据文本提示生成逼真的图像。 扩散模型的逆向过程,即从噪声中恢复图像的过程,可类比为雕刻,AI 逐步去除不必要的部分,最终得到清晰的图像。这个过程可以逐步进行,也可以一次性完成,取决于模型的具体实现和采样算法。 总的来说,扩散模型为 AI 图像生成提供了强大的技术手段,能在多种场景下生成高质量的图像。例如 Midjourney 就是一个由 Latent Diffusion Model(LDM)驱动的 AI 图像生成工具,它通过文本提示和参数输入,利用基于大量图像数据训练的机器学习算法生成独特的图像。
2025-03-21
Stable Diffusion 是 Diffusion Model 的优化版本,引入了潜在空间(Latent Space)技术,这个潜在空间(Latent Space)是什么意思,它的实现原理是什么?
在 Stable Diffusion 模型中,潜在空间(Latent Space)指的是图像的潜在分布,它包含了与图像相关的所有信息。 图像被映射到潜在空间后,扩散过程在这个空间中进行。ComfyUI 中的许多操作都在潜在空间中进行,如 KSampler 节点就是在这个空间中执行采样过程。在潜在空间中,通过节点调整对潜在空间的操作,如噪声添加、去噪步数等,这部分通常由潜在空间操作模块来实现。 在 Stable Diffusion 模型中,图像的潜在分布是通过一个编码器解码器结构来学习的。编码器将图像映射到潜在空间,而解码器则将潜在空间中的向量映射回图像空间。通过这种方式,模型可以学习到图像的潜在分布,从而实现图像生成、编辑和操作。 在采样过程中,Stable Diffusion 模型通过逐步降低噪声水平来生成图像。在这个过程中,模型根据当前的噪声水平预测图像的潜在分布,然后根据这个分布生成一个新的图像。这个过程重复进行,直到生成一个高质量的图像。 与之对应的是像素空间(Pixel Space),像素空间指的是图像中每个像素的原始颜色或强度值所组成的空间。图像可以看作是一个二维或三维的矩阵,其中每个元素代表一个像素。在像素空间中,图像的表示是密集的,且包含了大量的细节信息。
2025-03-21
Stable Diffusion有哪些模型
Stable Diffusion 模型包括以下几种: 1. Stable Video Diffusion 模型: 避坑指南:直接使用百度网盘准备好的资源可规避大部分坑;若报显存溢出问题,可调低帧数或增加 novram 启动参数;云部署实战部分,基础依赖模型权重有两个 models–laion–CLIPViTH14laion2Bs32Bb79K 和 ViTL14.pt,需放到指定路径下。 总结:Sora 发布后,之前的视频生成模型略显逊色,Stable Video Diffusion 作为开源项目可自由创作无需充值,有独特优势。其生成的视频画质清晰、过渡自然,虽目前只能生成最多 4 秒视频,但在不断迭代。 2. 潜在扩散模型(Latent Diffusion Models): CLIP:将用户输入的 Prompt 文本转化成 text embedding。 核心组件:VAE EncoderDecoder、UNET(进行迭代降噪,在文本引导下进行多轮预测)。 存放路径:ComfyUI 存放路径为 models/checkpoints/。 基础预训练模型:SD1.5、SDXL。 训练方法:DreamBooth(by Google)。 格式:.pt、.safetensor。 融合模型:checkpoint+checkpoint、Lora+Lora、checkpoint+Lora。 模型自带已适配的 VAE。 微调模型:概念学习、Checkpoint。 3. 不同版本模型对比: Stable Diffusion 2.0 系列模型。 Stable Diffusion 2.1 系列模型。 Stable Diffusion 1.6 系列模型。 SD Turbo 模型。 4. 性能优化方面: 使用 TF32 精度加速 SD 模型训练与推理。 使用 FP16 半精度加速。 对注意力模块进行切片。 对 VAE 进行切片。 大图像切块。 CPU<>GPU 切换。 变换 Memory Format。 使用 xFormers 加速 SD 模型训练与推理。 使用 tomesd 加速 SD 模型推理。 使用 torch.compile 加速 SD 推理速度。 此外,还有关于 Stable Diffusion 训练数据集制作、微调训练、基于其训练 LoRA 模型、训练结果测试评估等方面的内容。
2025-03-21