Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

有什么AI模型可以制作瞬息宇宙?比如Stable Diffusion,还有别的吗?

Answer

以下是一些可以用于制作类似效果的 AI 模型:

  1. Adobe Firefly:内置在各种 Adobe 产品中,不过在质量方面稍逊于 DALL-E 和 Midjourney,但它只使用有权使用的图像进行训练。
  2. Stable Diffusion:开源模型,可以在任何高端计算机运行。开始时需要学会正确制作提示,一旦掌握能产生很好的结果,尤其适合将 AI 与其他源的图像结合。
  3. DALL-E:来自 OpenAI,已纳入 Bing(需使用创意模式)和 Bing 图像创建器,系统可靠但效果比 Midjourney 稍差。
  4. Midjourney:2023 年中期最好的系统,学习曲线最低,只需键入特定指令就能得到很好的结果,需要 Discord。 此外,在游戏制作领域,已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从 3D 模型到角色动画,再到对话和音乐。但文中未提及具体的模型名称。
Content generated by AI large model, please carefully verify (powered by aily)

References

生成式AI在游戏领域的机会(市场假设+预测)

那么,如果我们将《荒野大镖客:救赎2》与《微软模拟飞行》相比,《微软模拟飞行》这个游戏更为巨大...因为微软飞行模拟器的玩家能够在游戏中围绕整个地球飞行,所有1.97亿平方英里的地方。那么,微软是如何打造这样一个大型游戏的呢?主要是通过人工智能来完成,微软公司与blackshark.ai合作,对人工智能进行训练,从二维卫星图像生成无限逼真的三维世界。blackshark.ai是个啥公司?blackshark.ai是通过机器学习技术,提取全球范围内的地球基础设施的公司,从全球的卫星和航空图像中提取数据,用人工智能基于目前地理数据的数字孪生场景,这些结果可用于可视化、模拟、绘图、混合现实环境和其他企业解决方案,而技术本身具备的云计算更新能力,能够实时更新这些数据。这仅仅是一个例子,如果不使用人工智能技术,《微软模拟飞行》这款游戏实际上是不可能制作完成的。除此之外,游戏的成功还要归功于这些模型可以随着时间的推移不断改进,例如,可以加强"highway cloverleaf overpass"模型,通过人工智能运行整个建造过程,游戏中的整个地球上的所有的高速公路立交桥都可以立马得到改进。3.游戏制作中涉及的每一个资产都会有一个生成的AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器,由于其能够生成的图像十分抢眼,占据了目前生成式人工智能的大部分流行的兴奋点。而现在已经出现了用于游戏中几乎所有资产的生成式人工智能模型,从3D模型到角色动画,再到对话和音乐。(下一篇文章会讲一下具体公司的市场生态Market Map)4.内容成本将持续下降,某些情况下的内容的成本会降为零当我们和尝试将生成式AI人工智能整合到制作场景的游戏开发者交谈时,最大的兴奋点在于,制作游戏的时间和成本都会大幅降低。一位开发者告诉我们,为一张图片生成概念图的时间从3周下降到1小时。我们相信,在整个游戏流程的制作过程中也可以实现类似的“降本增效”。

游戏中的生成式 AI 革命

现在,将《Red Dead Redemption 2》与[Microsoft Flight Simulator](https://www.flightsimulator.com/)进行比较,后者不仅仅是大,它是巨大的。Microsoft Flight Simulator允许玩家飞越整个地球,所有的1.97亿平方英里。微软是如何构建这样一个巨大的游戏的呢?通过让AI来做。微软与[blackshark.ai](https://blackshark.ai/)合作,并训练了一个AI从2D卫星图像[生成逼真的3D世界](https://blackshark.ai/solutions/)。这是一个不使用AI就不可能构建的游戏示例,此外,这些模型可以随着时间的推移不断改进这一事实中受益。例如,他们可以增强“高速公路三叶草立交桥”模型,重新运行整个建造过程,突然整个星球上的所有高速公路立交桥都得到了改善。1.游戏制作中涉及的每个资产都将有一个生成性AI模型到目前为止,像Stable Diffusion或MidJourney这样的2D图像生成器由于它们可以生成的图像的吸引力而获得了大量的受欢迎度。但已经有了生成性AI模型,几乎涉及到游戏中的所有资产,从3D模型、角色动画到对话和音乐。这篇博客文章的第二部分包括了一个市场地图,突出显示了一些专注于每种类型内容的公司。1.内容的价格将大幅下降,某些情况下将接近于零。与正在尝试将生成性AI集成到其生产流程中的游戏开发者交谈时,他们最兴奋的是生产时间和成本的大幅降低。有一位开发者告诉我们,他们生成单张概念艺术图像的时间,从开始到完成,从3周减少到了一个小时:减少了120倍。我们相信在整个生产流程中都有可能实现类似的节省。

如何使用 AI 来做事:一份带有观点的指南

最透明的选项:[Adobe Firefly](https://www.adobe.com/sensei/generative-ai/firefly.html)开源选项:[Stable Diffusion](https://stable-diffusion-ui.github.io/)最佳免费选项:Bing或[Bing Image Creator](https://www.bing.com/images/create)(使用DALL-E),[Playgound](https://playgroundai.com/)(允许您使用多个模型)最佳质量图像:[MidJourney](https://midjourney.com/)大多数人可以使用四个大型图像生成器:1.Stable Diffusion,它是开源的,你可以在任何高端计算机运行。开始需要付出努力,因为你必须学会正确制作提示,但一旦你做到了,它可以产生很好的结果。它特别适合将AI与来自其他源的图像结合在一起。[如果你走这条路,这里有一个很好的Stable Diffusion指南(请务必阅读第1部分和第2部分)。](https://www.jonstokes.com/p/stable-diffusion-20-and-21-an-overview)2.DALL-E,来自OpenAI,已纳入Bing(您必须使用创意模式)和Bing图像创建器。这个系统很可靠,但比Midjourney差。3.Midjourney,这是2023年中期最好的系统。它的学习曲线最低:只需键入“thing-you-want-to-see--v 5.2”(末尾的--v 5.2很重要,它使用最新的模型),你就会得到一个很好的结果。Midjourney需要Discord。这是[使用Discord的指南](https://www.pcworld.com/article/540080/how-to-use-discord-a-beginners-guide.html)。4.Adobe Firefly内置在各种Adobe产品中,但在质量方面落后于DALL-E和Midjourney。然而,虽然其他两个模型还不清楚他们用于训练人工智能的源图像,但Adobe宣布它只使用它有权使用的图像。

Others are asking
ai 生图的网站
以下是一些 AI 生图的网站: 1. 吐司:https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh 。在首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。Flex 模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。 2. 哩布:https://www.liblib.ai/ 。 此外,还有一些关于 AI 生图的相关信息: 1. 图像生成模型的发展与应用:讨论了不同图像生成模型的特点、发展历程、优势与应用,以及吐司网站的使用方法。 2. 模型及生成效果:不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。特定风格的生成,国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练 Lora 模型改善。 3. 文生图的操作方式:在首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。 4. 获取额外算力的方法:通过特定链接注册或填写邀请码 BMSN,新用户 7 天内可额外获得 100 算力。
2025-02-20
调研一下AI安全治理这个方向的国内外的团队和人。包括AI安全治理的子方向,每一个子方向国内外有哪些科研院所的哪些团队在做相关方向的工作,以及这些团队有哪些骨干成员,他们有哪些观点。以及这个团队有哪些治理成果,尽量详细
以下是关于 AI 安全治理方向的国内外团队和人的相关调研: 国外团队和人员: OpenAI:首席科学家 Ilya 对模型安全较为关注,提出了通过“指令层次结构”来修复“忽略所有先前指令“攻击的方法,并已在 GPT40 Mini 中得到部署。 Anthropic:在多重越狱方面的工作表明了“警告防御”的潜力,在前面和后面添加警告文本,以警示模型不要被越狱。 Gray Swan AI 的安全专家:试用“断路器”,专注于重新映射有害表示,效果比标准拒绝训练更好。 图灵奖得主 Hinton:支持对 AI 监管,认为大模型及其驱动的 AI 必须引入安全性监管,防止其失控或对人类造成伤害,并在网上签署了联名公开信。 英国:创建了世界上第一个人工智能安全研究所 AISA,具有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等核心功能,还发布了 Inspect 框架用于 LLM 安全评估,并宣布与美国等效机构签署谅解备忘录,计划在美国旧金山设立办事处。 国内团队和人员:目前调研内容中未提及国内相关团队和人员的具体信息。 在观点方面,Bengio、Hinton、姚期智等著名研究者认为大模型及其驱动的 AI 必须引入安全性监管,确保大模型是 Safety 的,防止其失控或对人类造成伤害,并签署了联名公开信表达对于 AI 失控的担忧,呼吁学术界和工业界对大模型进行监管。吴恩达和 Lecun 则认为模型的能力不足以使其脱离人类的限制。 治理成果方面,英国通过其高级研究与发明机构(ARIA)花费 5900 万英镑开发“守门员”,负责了解和减少在能源、医疗保健和电信等关键领域中其他人工智能代理的风险。英国政府还计划设立一个“AI 安全研究实验室”。美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。LLM 测试初创公司 Haize Labs 与 Hugging Face 合作创建了首个红队抵抗组织基准,汇编了常用的红队数据集并根据模型评估它们的成功率。Scale 根据私人评估推出了自己的稳健性排行榜。
2025-02-20
国际做AI安全 治理的团队
以下是一些国际上从事 AI 安全治理的团队和相关情况: 英国创建了世界上第一个人工智能安全研究所(AISA),其具有在部署前对高级模型进行评估、建立国家能力并开展研究、协调国际合作伙伴等三个核心功能,还发布了用于 LLM 安全评估的框架 Inspect。英国宣布与美国等效机构签署谅解备忘录,并计划在美国旧金山设立办事处。此外,英国通过其高级研究与发明机构(ARIA)花费 5900 万英镑开发“守门员”系统,负责了解和减少关键领域中其他人工智能代理的风险,还报道称计划设立一个“AI 安全研究实验室”,旨在汇集政府关于敌对国家使用进攻性 AI 的知识。 美国能源部一直在利用其内部测试床评估人工智能可能对关键基础设施和能源安全带来的风险。 需要注意的是,全球在 AI 治理上的合作存在尴尬局面,承诺多而实际行动少。同时,国家和地区法规存在角力,美国和欧盟等国家或地区正在通过有争议的国家层面立法。
2025-02-20
有没有装修的Ai软件
以下是一些与装修相关的 AI 软件: 1. 酷家乐装修设计软件:利用 AI 生成各种装修设计方案,用户可根据自己的喜好进行选择和调整。 2. HDAidMaster:云端工具,在建筑设计、室内设计和景观设计领域表现出色,搭载自主训练的建筑大模型。 3. Maket.ai:主要面向住宅行业,在户型设计和室内软装设计方面有 AI 技术探索。 4. ARCHITEChTURES:AI 驱动的三维建筑设计软件,在住宅设计早期阶段可引入相关标准和规范约束设计结果。 5. Fast AI 人工智能审图平台:形成全自动智能审图流程,将建筑全寿命周期内的信息集成,实现数据汇总与管理。 同时,以下是一些辅助创建 CAD 图的 AI 工具: 1. CADtools 12:Adobe Illustrator 插件,添加 92 个绘图和编辑工具。 2. Autodesk Fusion 360:集成 AI 功能的云端 3D CAD/CAM 软件。 3. nTopology:基于 AI 帮助创建复杂 CAD 模型。 4. ParaMatters CogniCAD:根据输入的设计目标和约束条件自动生成 3D 模型。 5. 主流 CAD 软件(如 Autodesk 系列、SolidWorks 等)中的生成设计工具:可根据输入自动产生多种设计方案。 需要注意的是,这些工具通常需要一定的 CAD 知识和技能才能有效使用。对于 CAD 初学者,建议先学习基本的 3D 建模技巧,然后尝试使用这些 AI 工具来提高设计效率。
2025-02-20
AI PPT
以下是关于 AI PPT 的相关信息: 研究报告: 《》:AI 在个性化营销、内容创作、数据分析等方面具有重要影响。 《》:着眼于 AI+手机端侧的分析。 《》。 《》:AiPPT 是爱设计推出的 AI 大模型与 PPT 场景深度结合的产品,能够实现一键生成专业 PPT,提供丰富模板和低创作门槛。 《》。 《》。 好用的 AI PPT 工具: Gamma:在线 PPT 制作网站,允许用户通过输入文本和想法提示快速生成幻灯片,支持嵌入多媒体格式,如 GIF 和视频,网址:https://gamma.app/ 美图 AI PPT:由知名图像编辑软件“美图秀秀”的开发团队推出,允许用户通过输入简单的文本描述来生成专业的 PPT 设计,网址:https://www.xdesign.com/ppt/ Mindshow:AI 驱动的 PPT 辅助工具,提供一系列智能设计功能,如自动布局、图像选择和文本优化等,网址:https://www.mindshow.fun/ 讯飞智文:由科大讯飞推出的 AI 辅助文档编辑工具,利用科大讯飞在语音识别和自然语言处理领域的技术优势,提供智能文本生成、语音输入、文档格式化等功能,网址:https://zhiwen.xfyun.cn/ AI 智库月度榜单(2025 01)中的相关产品: AiPPT:出海,PPT 生成,网址:aippt.com,活跃用户 51 万人,环比变化 0.6147
2025-02-20
Ai ppt
以下是关于 Ai PPT 的相关信息: 研究报告: 《》:AI 在个性化营销、内容创作、数据分析等方面具有重要影响。 《》:着眼于 AI+手机端侧的分析。 《》。 《》:AiPPT 是爱设计推出的 AI 大模型与 PPT 场景深度结合的产品,能够实现一键生成专业 PPT,提供丰富模板和低创作门槛。 《》。 《》。 月度榜单: AiPPT 在出海流量榜 W 中排名 A75+1,具有原生的 PPT 生成特性,网址为 aippt.com,访问量为 77 万,环比变化为 0.5389,所属公司为像素绽放。 技术优势和商业模式: 技术优势:AiPPT.cn 基于自然语言处理技术的语义分析,帮助用户快速生成演示文稿。基于图像识别技术的 AI 插件,能够实现智能化的 PPT 模板生成、字体自动化排版等功能;基于数据分析技术的个性化推荐,能够根据用户的需求和偏好,为用户提供量身定制的演示文稿模板和素材,通过了国家网信办 PPT 生成算法备案,同时获得 A 股上市公司视觉中国战略投资,拥有 5 亿+版权素材库,10W+PPT 模板可以为用户提供版权无忧、图文并茂的内容创作体验。 商业模式:靠订阅工具业务赚钱,为全岗位职场人提供 10 余款 AIGC 工具,围绕企业内容工作流,高效满足工作中的 PPT、文案、H5、平面/视频制作、新媒体排版等高质量内容的创作需求。
2025-02-20
stable diffusion学习
以下是关于 Stable Diffusion 学习的相关内容: 一、为什么要学 Stable Diffusion 以及它的强大之处 简单来说,Stable Diffusion 是一个 AI 自动生成图片的软件。通过输入文字就能生成对应的图片,无需像以前那样画图或拍照。学习它非常简单,目的是花更少时间快速入门。如果时间充裕,了解其原理也可以。 二、学习 SD 的 Web UI 步骤 1. 安装必要的软件环境 安装 Git 用于克隆源代码。 安装 Python 3.10.6 版本,确保勾选“Add Python 3.10 to PATH”选项。 安装 Miniconda 或 Anaconda 创建 Python 虚拟环境。 2. 克隆 Stable Diffusion Web UI 源代码 打开命令行工具,输入命令 git clone https://github.com/AUTOMATIC1111/stablediffusionwebui.git,将源代码克隆到本地目录。 3. 运行安装脚本 进入 stablediffusionwebui 目录。 运行 webuiuser.bat 或 webui.sh 脚本,它会自动安装依赖项并配置环境。等待安装完成,命令行会显示 Web UI 的访问地址。 4. 访问 Web UI 界面 复制命令行显示的本地 Web 地址,在浏览器中打开,即可进入 Stable Diffusion Web UI 的图形化界面。 5. 学习 Web UI 的基本操作 了解 Web UI 的各种设置选项,如模型、采样器、采样步数等。 尝试生成图像,观察不同参数对结果的影响。 学习使用提示词(prompt)来控制生成效果。 6. 探索 Web UI 的扩展功能 了解 Web UI 支持的各种插件和扩展,如 Lora、Hypernetwork 等。 学习如何导入自定义模型、VAE、embedding 等文件。 掌握图像管理、任务管理等技巧,提高工作效率。 三、Stable Diffusion 的原理及相关组件 1. 在传统扩散模型中存在计算效率挑战,Stable Diffusion 是为解决此问题提出的新方法,最初称为潜在扩散模型。 2. Stable Diffusion 是扩散模型的变体,核心组件包括: CLIP:将用户输入的 Prompt 文本转化成 text embedding。 VAE EncoderDecoder。 UNET:进行迭代降噪,在文本引导下进行多轮预测。 此外,还涉及 ComfyUI 存放路径、不同的模型(如 SD1.5、SDXL)、训练方法(如 DreamBooth)、模型格式(如.pt 和.safetensor)、微调模型、融合模型等内容。
2025-02-16
我想了解diffusion技术相关的重要论文
以下是一些与 diffusion 技术相关的重要论文: 《HighResolution Image Synthesis with Latent Diffusion Models》:https://arxiv.org/abs/2112.10752 《Denoising Diffusion Probabilistic Models》:作者为 Ho、Jain、Abbeel,出自 Berkeley (2020)
2025-02-16
stable diffusion
稳定扩散(Stable Diffusion)是一种扩散模型的变体,最初称为潜在扩散模型(Latent Diffusion Models)。 在传统扩散模型中,反向扩散过程通过 UNet 结构将全尺寸图像逐步传递以获得去噪结果,但存在计算效率挑战。为解决此问题,研究人员提出了稳定扩散。 其核心组件包括: 1. CLIP:将用户输入的 Prompt 文本转化成 text embedding。 2. VAE EncoderDecoder。 3. UNET:进行迭代降噪,在文本引导下进行多轮预测。 稳定扩散的运作方式是消除图像中的噪点。比如在太暗情况下拍照产生的颗粒状即噪点,它比手机图像编辑器中的噪点消除滑块复杂得多,它了解世界和书面语言来指导噪点消除过程。 稳定扩散是逐步去除噪点的,有“推理步骤”滑块。 ComfyUI 使用预训练的扩散模型(如 Stable Diffusion 模型)作为核心,包括 SD1.5、SD2.0、SDXL、SD3、FLUX 等模型。当用户输入文本提示时,ComfyUI 首先使用 CLIP 文本编码器将文本转换为向量表示以捕捉语义信息。 在 ComfyUI 的节点化界面中,每一步操作可通过不同模块实现,用户可控制潜在空间中的操作(如调度器和噪声选择)、UNet 中的推理步骤(通过去噪模块实现)以及条件输入(通过文本提示或图像引导)。 稳定扩散的相关模型有 SD1.5、SDXL 等,训练方法有 DreamBooth 等。模型格式有.pt 和.safetensor,还有融合模型等形式。训练要求方面,SD1.5 需 12G VARM,SDXL 需 16G VARM。
2025-02-14
我需要查找关于stable diffusion的教学
以下是为您整理的关于 Stable Diffusion 的教学资源: 基本介绍:https://waytoagi.feishu.cn/wiki/CeOvwZPwCijV79kt9jccfkRan5e 运作原理:https://waytoagi.feishu.cn/wiki/TNIRw7qsViYNVgkPaazcuaVfndc 入门视频教程: https://waytoagi.feishu.cn/wiki/O5jEwgZIRiQ10xkqGOQcKtSBnSe https://zhuanlan.zhihu.com/p/622238031 模型网站: C 站SD 模型网站:https://civitai.com/ Liblibai模型+在线 SD:https://www.liblib.ai/ huggingface:https://huggingface.co/models?pipeline_tag=texttoimage&sort=trending 吐司站:https://tusiart.com/ 推荐模型:人像摄影模型介绍:https://www.bilibili.com/video/BV1DP41167bZ 更多入门教程:
2025-02-14
RuntimeError: Couldn't clone Stable Diffusion. Command: "git" clone --config core.filemode=false "https://github.com/Stability-AI/stablediffusion.git" "/Users/lichenhui/stable-diffusion-webui/repositories/stable-diffusion-stability-ai" Error code: 12
以下是关于您遇到的“RuntimeError: Couldn't clone Stable Diffusion”错误的分析和解决建议: 这个错误通常表示在克隆 Stable Diffusion 时出现问题。可能的原因包括: 1. 库的某些文件或依赖项已更改或已移除,导致无法找到所需的提交。 2. Git 存储库的状态不正确。 3. 网络连接存在问题。 解决方法如下: 1. 尝试清除本地库并重新克隆 Stable Diffusion,然后再次运行代码。 2. 运行以下命令来检查网络连接:ping files.pythonhosted.org
2025-02-12
macmini本地部署Stable Diffusion
以下是关于在 Mac mini 本地部署 Stable Diffusion 的相关信息: 目前市面上主流的 AI 绘图软件有 Stable Diffusion 和 Midjourney。Stable Diffusion 开源免费、可本地化部署、创作自由度高,但对电脑配置尤其是显卡有要求。其工作原理涉及到一系列核心组件,如将用户输入的 Prompt 文本转化成 text embedding 的 CLIP、VAE EncoderDecoder、进行迭代降噪和在文本引导下进行多轮预测的 UNET 等。 在环境部署方面,对于觉得麻烦的同学,可以使用整合包,解压即用。比如独立研究员的空间下经常更新整合包,秋叶的启动器也非常好用,将启动器复制到下载仓库的目录下即可,更新管理更方便。打开启动器后,可一键启动。显存优化需根据显卡实际显存选择,不要超过当前显卡显存,xFormers 能极大改善内存消耗和速度,建议开启。准备工作完毕后,点击一键启动,等待浏览器自动跳出或控制台弹出本地 URL 说明启动成功。若报错提示缺少 Pytorch,需在启动器中点击配置。Stable Diffusion webui 更新频繁,可根据需求在“版本管理”目录下更新,同时注意插件的更新。Stable Diffusion 可配置大量插件扩展,在 webui 的“扩展”选项卡下,点击“加载自”后,目录会刷新,选择需要的插件点击右侧的 install 即可安装,安装完毕后需重新启动用户界面。 关于具体的安装方法可以去看看 B 站的【秋葉 aaaki】这个 Up 主的视频。
2025-02-11
stable diffusion官方网址
Stable Diffusion 的官方网址如下: SD 1.4 官方项目:https://github.com/CompVis/stablediffusion SD 1.5 官方项目:https://github.com/runwayml/stablediffusion SD 2.x 官方项目:https://github.com/StabilityAI/stablediffusion diffusers 库中的 SD 代码 pipelines:https://github.com/huggingface/diffusers/tree/main/src/diffusers/pipelines/stable_diffusion
2025-02-08