怎样用SD生成分镜图？

以下是关于分镜图片生成的相关信息： 制作 2 分钟短片的步骤包括剧本创作、分镜脚本创作、角色设计、分镜图片制作、动画制作、配音和配乐。 在分镜图片生成阶段，由于 AI 视频生成目前处于抽盲盒阶段，无法精准判断生成的图片能否生成完美的动作视频，所以决定生成一张合适的图片就直接开始对应动画镜头的生成，若视频无法达到预期效果，及时修改图片、补充镜头。 给出了一些分镜图片生成的提示词示例，如“Heavy rain hits the grass,closeup of the grass,dark environment,in the style of Hayao Miyazakiar 16:9v 6.0s 250”“A tornado rolls in,dark,Hayao Miyazaki stylear 16:9v 6.0s 250”“Dark sky,dark clouds,lightning and thunder,sky closeup,in the style of Hayao Miyazakiar 16:9v 6.0s 250”“直接使用文生视频，后期需要叠加到镜 2 的画面上”“dark,bad environment,After a dark and dilapidated environment after a big storm,a white cat's paw walks on the wet dirt,side shot,closeup of the cat's paw,dim environment,in the style of Hayao Miyazakiar 16:9niji 6s 250”

ComfyUI 与 SD 在功能上主要有以下区别： 1. 工作原理：ComfyUI 更接近 SD 的底层工作原理。 2. 自动化工作流：ComfyUI 具有更出色的自动化工作流，能够消灭重复性工作。 3. 后端工具：ComfyUI 作为强大的可视化后端工具，可实现 SD 之外的功能，如调用 API 等。 4. 定制开发：可根据定制需求开发节点或模块。 5. 应用场景：例如在抠图素材方面，ComfyUI 能根据需求自动生成定制的抠图素材。 6. 与其他软件的结合：如与 Blender 整合，从工作流程上天然适配。 7. 工作流搭建：ComfyUI 以连线方式搭建工作流，可通过改变节点实现不同功能，具有更高的自由和拓展性，能根据自身需求搭建和改造工作流。

以下是为您制定的学习 SD AI 绘图的详细计划及相关学习资源： 学习计划： 1. 首先，深入学习 Stable Diffusion 的核心基础原理，包括模型工作流程、核心基础原理、训练全过程以及其他主流生成式模型介绍。 2. 接着，掌握 Stable Diffusion 的核心网络结构，如 SD 模型整体架构、VAE 模型、UNet 模型、CLIP Text Encoder 模型等。 3. 学习从 0 到 1 搭建使用 Stable Diffusion 模型进行 AI 绘画的不同方式，如使用 ComfyUI、SD.Next、Stable Diffusion WebUI、diffusers 搭建推理流程，并查看生成示例。 4. 了解 Stable Diffusion 的经典应用场景，如文本生成图像、图片生成图片、图像 inpainting、使用 controlnet 辅助生成图片、超分辨率重建等。 5. 最后，尝试从 0 到 1 上手使用 Stable Diffusion 训练自己的 AI 绘画模型，包括配置训练环境与训练文件，以及基于 Stable Diffusion 训练 LoRA 模型。 学习资源： 1. 教程：深入浅出完整解析 Stable Diffusion（SD）核心基础知识 知乎。 目录涵盖了 Stable Diffusion 系列的各个方面，包括核心基础知识、网络结构解析、搭建推理流程、应用场景和模型训练等。 2. SD 模型权重百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 模型，即可获得资源链接，包含多种模型权重。 3. SD 保姆级训练资源百度云网盘： 关注 Rocky 的公众号 WeThinkIn，后台回复：SDTrain，即可获得资源链接，包含数据处理、模型微调训练以及基于 SD 的 LoRA 模型训练代码全套资源。 4. Stable Diffusion 中 VAE，UNet 和 CLIP 三大模型的可视化网络结构图下载： 关注 Rocky 的公众号 WeThinkIn，后台回复：SD 网络结构，即可获得网络结构图资源链接。

SD 的部署方式如下： 1. 本地部署（Win 系统）： 系统要求：Win10 或 Win11。 查看配置： 查看电脑系统：在桌面上找到“我的电脑”，鼠标右键点击，点击“属性”，查看 Windows 规格。 查看电脑配置：需要满足 3 个要求（推荐），电脑运行内存 8GB 以上，是英伟达（NVIDA）的显卡，显卡内存 4GB 以上。打开任务管理器（同时按下 ctrl+shift+esc），可查看电脑运行内存，8GB 运行内存可以勉强运行 SD，推荐 16GB 以上运行内存；查看电脑显卡内存（显存），4GB 显存可运行 SD，推荐 8GB 以上显存。 配置达标跳转至对应安装教程页：。 一键式安装： 电脑配置能支持 SD 运行的朋友们，可使用 B 站秋叶分享的整合包。 具体安装方法： 打开链接 https://pan.baidu.com/s/1hY8CKbYRAj9RrFGmswdNiA?pwd=caru ，下载《1.整合包安装》，存放到电脑本地。 打开保存到电脑里的文件夹。 打开文件夹《1.秋叶整合包主包》，鼠标右击文件，点击“解压文件”。 选择解压到 D 盘或者 E 盘，小心 C 盘被占满，点击确定。 解压完成后，来到第二个文件夹，双击里面的文件，点击安装。 打开刚刚解压保存的 SD 的根目录，找到启动器，鼠标右击启动器，点击“发送到”，桌面快捷方式。 双击启动器，等待更新，接着点击左边第二个“高级选项”，在显存优化里，根据自己电脑的显存选择（就是上面查看的专用 GPU 内存），自己电脑是多少就选多少。 回到第一个一键启动，点击右下角的一键启动。出现代码页面不用管，等一下就行了，SD 的主界面会自动在网页上弹出来。如果出现报错，可以回到最开始的界面，在左边点击“疑难解答”，再点击右边的“开始扫描”，最后点击“修复”按钮。 2. 云端部署： 部署流程： 安装和配置基础环境：浏览器上按照腾讯云>控制台>云服务器的路径找到你刚才购买的实例，点击启动，就会新开一个远程访问的窗口，输入你购买时设置的密码，进入，这样你就有了一个远程的 Windows 系统环境，接下来安装显卡驱动、配置环境变量即可。 安装显卡驱动：用内置的 IE（也可下载 Chrome），打开英伟达的网站，找到驱动下载，选择购买机器时选定的显卡型号、Windows 版本号，下载对应的驱动，然后安装上。 配置环境变量：驱动安全完成后，开始配置环境变量。首先先找到你安装后驱动所在的目录，如果没有特殊设定的话，一般是在「C:\\Program Files\\NCIDIA Corporation」这里，复制这个路径，找到环境变量配置入口（控制面板>系统和安全>系统），选择「高级系统设置」，弹窗设置环境变量，找到「系统变量」里的 Path 环境变量，点击「编辑...」，然后「新建」，帮刚才复制的 nvidia 驱动安装地址粘贴进去，保存即可。 备选：SD 好难，先试试简单的无界 AI：

以下是关于 SD 反推模型的相关内容： Fooocus 模型： LoRA 模型默认放在：Fooocus_win64_1110\\Fooocus\\models\\loras 程序默认用到 3 个 SDXL 的模型，包括一个 base、一个 Refiner 和一个 LoRA。单独安装需下载三个模型： SDXL 基础模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors refiner 模型：https://huggingface.co/stabilityai/stablediffusionxlrefiner1.0/resolve/main/sd_xl_refiner_1.0_0.9vae.safetensors LoRA 模型：https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_offset_examplelora_1.0.safetensors 若部署了 SD 秋叶包，可共用模型（大模型和 LoRA），通过修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径来配置，修改为秋叶包模型对应的路径，如： 大模型路径：sdwebui\\models\\Stablediffusion\\SDXL LoRA 模型路径：sdwebui\\models\\lora 配置好后点击 run.bat 文件启动。 Comfyui SD 学社做黏土头像的相关插件： 提示词反推 WD14Tagger：https://github.com/pythongosss/ComfyUlWD14Tagger，首次使用会自动下载模型（需要网络环境） 处理人物一致性： IPAdapter：https://github.com/cubiq/ComfyUI_IPAdapter_plus 也可以用 instantID，这里使用的是 IPadpter，后续很多地方也会用到，建议先使用起来。关于 IPAdapter 的使用，之前有文章介绍。 ControlNet： 预处理的插件：comfyui_controlnet_aux https://github.com/Fannovel16/comfyui_controlnet_aux ControlNet 模型： XLCN 模型下载：https://huggingface.co/lllyasviel/sd_control_collection/tree/main 1.5 理模型下载：https://huggingface.co/lllyasviel/ControlNetv11/tree/main ControlNet 的 tile 模型： 随着 ControlNet1.1 的更新，tile 模型横空出世，其强大的功能让之前的一些模型变得有点黯然失色。 可用于高清修复小图，比如将分辨率不高的食物图片拖进“WD 1.4 标签器”反推关键词，然后发送到图生图。使用大模型“dreamshaper”调整参数尺寸，放大为 2K，提示词引导系数官方推荐在 15 以上，重绘幅度在 0.5 以上。 可用于修复和增加细节，如处理一张细节不足且结构错误的小屋图。tile 的预处理器用来降低原图的分辨率，为新图添加像素和细节提供空间。若图片本身像素很低，可以不使用预处理器，直接使用 tile 模型。

ComfyUI 和 SD（Stable Diffusion）主要有以下区别： 1. UI 界面：SD WebUI 的 UI 更接近传统产品，有很多输入框和按钮；ComfyUI 的 UI 界面复杂，除输入框外，还有很多块状元素和复杂的连线。 2. 学习成本：ComfyUI 的学习成本比 SD WebUI 高。 3. 工作流方式：ComfyUI 主要通过连线搭建自动化工作流，从左到右依次运行；SD WebUI 则通过输入框和按钮配置参数。 4. 灵活性和拓展性：ComfyUI 具有更高的自由和拓展性，可以根据自身需求搭建、调整甚至改造工作流，无需依赖开发者，还能开发并改造节点；SD WebUI 在这方面相对较弱。 5. 功能实现：从功能角度看，两者提供的功能本质相同，但 ComfyUI 通过改变节点方式能实现不同功能，如一个节点是直接加载图片，另一个是通过画板绘制图片，从而实现导入图片生图和绘图生图等不同功能。

以下是关于 SD 的一些教程： 1. 用 SD 做二维码： 方法原文地址：https://stablediffusionart.com/qrcode/ 相关帖子：模型，也有在无自定义模型情况下的制作方法。 微信的二维码需要转一下：https://cli.im/weixin 2. 用 SD 做中文文字（持续更新中）： 制作思路： 将中文字做成白底黑字，存成图片样式。 使用文生图的方式，使用大模型真实系，作者用的 realisticVisionV20_v20.safetensorsControlNet 预设置。 输入关键词，如奶油的英文单词，Cream+Cake（加强质感），反关键词：Easynegative（负能量），反复刷机，得到满意的效果即可。 同理可输出 C4D 模型，可自由贴图材质效果，3d,blender,oc rendering。 如果希望有景深效果，也可以打开 depth（增加阴影和质感）。 打开高清修复，分辨率联系 1024 以上，步数：2960。 3. SD 的其他实践教程： 线稿上色 Midjourney+Stable Diffusion：https://waytoagi.feishu.cn/wiki/AsbYwmfS6ikhr3kNsCocdPMEnUd 猫咪狗狗 lora：https://waytoagi.feishu.cn/wiki/JiQewVbOHi7tzakS23ecprxsnfg 字体设计机甲战士：https://waytoagi.feishu.cn/wiki/GUQ3w52elisr9ukIgkBc42UmnWd 做盲盒平面变 3D：https://waytoagi.feishu.cn/wiki/SCK8wV4PTiHQVKkvGRUcx0fcnTe MJ 出图 SD 放大：https://waytoagi.feishu.cn/wiki/E88nwOtk9ilRQskg3Qlc6ZHpnTf 七夕字体和图：https://waytoagi.feishu.cn/wiki/BjQ1wLRv0ivCLtk136VchSCqnpU 可爱毛粘字体：https://waytoagi.feishu.cn/wiki/NjhbwF1cTiQ5Xjkd3tNc1OWynZd

以下是一些根据图片加文字描述生成分镜脚本的提示词示例及相关说明： 1. 对于影片《哪吒·龙影之下》的分镜脚本，其提示词包括分镜编号、分镜内容描述、人物、情绪、对白或配音等方面，如“1|高中操场，学生们活动|学生群|活跃|无”。 2. 在商业级 AI 视频广告的分镜创作中，提示词的结构为：要做多长时间的视频、要出多少个分镜、每个分镜包含哪些内容、对输出格式有什么要求。例如“请把这个故事脚本改写成一个 30 秒时长的广告片分镜脚本，脚本结构包括序号、场景、景别、镜头时长、镜头运动、画面内容、对话旁白和音乐音效。每个分镜拆分细致一些，补充多一些细节，单镜头时长控制在不超过 5 秒，一共拆分 10 个分镜”。 3. 在“城市狂想”的图片制作中，针对分镜内容生成了不同风格的提示词，如“远景，三分法构图，俯视视角，数字绘画，云雾缭绕的山谷，群山连绵起伏，山谷间云雾缭绕，阳光透过云层洒在山间，形成光与影的对比，模拟观众的视线逐渐接近这片土地，新印象派风格特征，使用数字画笔和渐变工具ar 16:9v 6.1”。 希望以上内容能对您有所帮助。

以下是为您提供的根据给出的文本生成的相关信息： 分镜创作流程和方法： 1. 在歌曲创作完成后，根据音乐进行画面生成。画面分为三类：有歌词部分使用 Midjourney 生成，无歌词部分如前奏使用 SD 制作字体设计，转场部分使用 Deforum 制作。 2. 让 GPT 按照每段歌词生成一系列的 MJ 提示词，作为画面参考，再进行调整和编写。 3. 如开篇部分，需自行构思，如通过弹古筝女子引入，为增加神秘感，从女子背景开始，镜头慢慢拉近。若 MJ 出图不理想，可先使用 DALL·E3 绘制构图，再用垫图方式给到 MJ。 不同案例中的分镜特点： 1. 《心 Heart 创作分享》中，分镜完全根据感觉，强调梦境，主色调为蓝色，提示词末尾加上胶片拍摄、蓝色等关键词。因个人制作，未设置复杂元素和构图，挑图大感觉对即可。 2. 视频化部分：分两个部分，Ai 图生视频部分使用 Runway 和 Dreamina，Runway 完成动态感要求不高但质感趋向实拍的画面，Dreamina 实现高动态幅度画面，如电视机里气球漂浮、心形候鸟飞走等，还通过首尾帧叠加剪辑实现时间流逝和穿越感。 AI 视频生成的应用场景： 1. 专业创作者（艺术家、影视人等）：AI 生成能为作品赋予独特风格和想象力，提供灵感，配合高超剪辑技巧和叙事能力可制作出超乎想象的效果。低成本动捕能大幅降低后期制作门槛和成本，自动识别背景生成绿幕、视频主体跟随运动等能辅助视频编辑，为后期制作增加更多空间。目前主要集中在音乐 MV、短篇电影、动漫等方向，一些 AI 视频平台也积极寻求创意合作，为创作者提供免费支持。 2. 自媒体、非专业创作者：这部分人群通常有具体且明确的视频剪辑痛点，如科技、财经、资讯类重脚本内容的视频制作时需花费大量时间找素材和注意版权问题，一些产品已在发力脚本生成分镜、视频，帮助降低制作门槛。不同平台适合不同内容形式，OpusClip 提供的长视频转短视频致力于解决同一素材在不同平台分发导致制作成本升高的痛点。 3. 企业客户：对于资金不足的小企业、非盈利机构，AI 视频生成可大幅缩减成本。

以下是一些可以生成分镜和故事板的 AI 工具及相关信息： 1. SAGA：是第一款也是最好的剧本创作和故事板应用程序，由针对电影输出而精心调整的最新和最强大的生成式人工智能模型提供支持，包括 GPT4、Claude 3.5 和 Luma Dream Machine。具有精心开发的故事、引人入胜的角色和精心策划的摄影的人工智能短片甚至音乐视频在比赛中表现更好。SAGA 为您提供最佳创意，让您在一个地方完成所有操作，无需购买一系列人工智能工具以及像 Final Draft 或 Storyboarder 这样的应用程序来将其整合在一起。提供 1 个月的 Saga 高级订阅。 2. OpenAI：在春季发布会上，GPT4o 进行了一系列测试，包括一次性出 10 个分镜等。 3. 其他相关工具： Playhouse：使用人工智能为 2D 或 3D 角色制作动画。输入文字，或打开相机并表演。无需再为 3D 角色进行绑定。生成 3D 资产，只需输入文字或上传图像。我们将其转换为 3D。控制 3D 场景中的每个元素。前 5000 名注册用户可享受 1 个月的 Playhouse 独立计划。 Playbook：是一个基于扩散的 3D 场景引擎，利用 ComfyUI 进行图像和视频生成。基于网络的工具+Blender 插件，提供 300 渲染积分。 Tripo：Tripo AI 是由 VAST 推出的生成式 3D 模型，可以在 8 秒内生成带纹理的 3D 网格模型，在 2 分钟内生成详细模型。此外，Tripo 还开发了自动绑定、动画和风格化功能，以使生成的模型更易于在流程中使用。Tripo API 与 ComfyUI 集成良好，可实现迭代和可控流程。Tripo AI 还拥有一个热门的 3D 创作者/开发者社区。Tripo 的最终目标是在即将到来的 3D 时代让每个人都成为超级创作者。提供 1 个月的 Tripo 专业订阅。 在现阶段的应用场景方面： 1. 专业创作者（艺术家、影视人等）：AI 生成能够为作品赋予独特风格和想象力，为创作者提供灵感，配合高超的剪辑技巧和叙事能力，便可以制作出超乎想象的效果。低成本动捕更是能够大幅降低后期制作的门槛和成本，自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑，为后期制作增加更多空间。目前该应用主要集中在音乐 MV、短篇电影、动漫等方向。一些 AI 视频平台也积极寻求创意合作，为创作者提供免费支持。 2. 自媒体、非专业创作者：这部分人群通常有着非常具体且明确的视频剪辑痛点。比如科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。一些产品（Invideo AI、Pictory）已经在发力脚本生成分镜、视频，帮助创作者降低视频素材制作门槛。Gamma AI 已经实现了文章高效转 PPT 的能力，若能结合 Synthesia、HeyGen AI、DID 等产品的 Avatar、语音生成能力也可快速转化为视频内容。不同平台适合不同内容形式，创作者想要将同一个素材在不同平台分发就意味着制作成本的升高。而 OpusClip 提供的长视频转短视频致力于解决这一痛点。 3. 企业客户：对于没有足够视频制作资金的小企业、非盈利机构来说，AI 视频生成可以为其大幅缩减成本。

以下是一些能够对数据表格进行分析并生成分析报告的 AI 软件及相关信息： 1. 在撰写专业区域经济报告方面： 信息收集：可利用 AI 搜索与权威网站结合获取关键数据，AI 能辅助提取结构化表格数据或编写抓取程序。 内容拆分：针对报告需求拆分内容，避免 AI 单次处理任务过长。 数据处理：借助传统工具如 Excel，结合 AI 指导高效操作数据筛选与图表生成。 分析与撰写：通过整理数据，利用 AI 辅助分析后撰写报告初稿，可指定风格并校验数据与结论准确性。但需注意，AI 仅作辅助，最终内容需人工主导校验，避免误导性结论。 2. 在金融服务领域： 生成式 AI 可以帮助金融服务团队从更多的数据源中获取数据，并自动化突出趋势、生成预测和报告的过程。 预测方面：生成式 AI 可以帮助编写 Excel、SQL 和 BI 工具中的公式和查询，实现分析的自动化，还能帮助发现模式，并从更广泛、更复杂的数据集中为预测建议输入。 报告方面：生成式 AI 可以帮助自动创建文本、图表、图形等内容，并根据不同的示例调整此类报告，无需手动将数据和分析整合到外部和内部报告中。 会计和税务方面：生成式 AI 可以帮助综合、总结，并就税法和潜在的扣除项提出可能的答案。 采购和应付账款方面：生成式 AI 可以帮助自动生成和调整合同、采购订单和发票以及提醒。 3. 在法律风险方面： 以菲林诉百度网讯案为例，北京互联网法院认为计算机软件智能生成的报告不构成著作权法意义上的作品，不受著作权法的保护。但该分析报告仍具备传播价值，被认定为“法人作品”。软件开发者（所有者）可通过收取软件使用费用等方式获得利益，软件使用者不能以作者的身份在分析报告上署名，但可以采用合理方式表明其享有相关权益。

以下是一些可以生成分析报告的网站： aiwatch.ai：该网站提供生成式 AI 季度数据报告，包括融资端、赛道流量分布、估值、收入等相关情况，还可观看过往报告，以及对比不同月份的数据增减情况和项目的数据趋势。您还可以扫码访问报告的飞书版本。 如果您想要生成营销方面的定制报告，可以按照以下步骤进行： 1. 明确进行数据分析的目标，确定是理解业务、优化业务还是预测未来。 2. 收集整理与清洗相关数据，包括销售数据、客户反馈、财务报告等，可以通过公司的数据库、营销工具、调查问卷等方式收集，完成后做简单的数据清洗。 3. 让 ChatGPT 学习相关数据含义和用法，将不同来源的数据输入到 ChatGPT 中进行学习，让其能够理解这些数据的含义和用法，这些数据可以包括销售额、销售量、客户满意度、市场份额、竞争情况、营销费用等信息。 4. 进行数据分析给出重要结论，通过 ChatGPT 生成的结果，分析不同来源的数据，得出重要结论，例如提高销售额和市场份额的营销策略和活动、影响客户满意度和忠诚度的因素、影响财务报告的因素等。 5. 根据汇报对象身份进行可视化调整，报告可以包括销售趋势、客户分析、竞争分析、市场细分、营销效果评估等方面的信息。针对不同身份的人的营销报告也有所不同。

学习使用 AI 生成分析文章、代码和年度总结报告可以从以下几个方面入手： 1. 基础知识学习：了解 AI 的基本概念、原理和常见的应用场景，为后续的学习打下基础。 2. 选择合适的工具：例如，对于生成文章，可以选择像 ChatGPT 这样的语言模型；对于生成代码，可以尝试使用 GitHub Copilot 等工具；生成年度总结报告可以考虑一些专门的办公软件中的 AI 功能。 3. 学习提示词技巧：掌握如何编写清晰、准确、有针对性的提示词，以便让 AI 更好地理解您的需求。 4. 实践与练习：通过不断地尝试生成不同类型的内容，积累经验，总结规律。 5. 参考案例和教程：在网上查找相关的成功案例和详细的教程，学习他人的经验和方法。 6. 分析生成结果：对 AI 生成的内容进行仔细分析，找出优点和不足，不断改进提示词和方法。 7. 持续学习与更新：AI 技术在不断发展，要保持学习的态度，关注最新的技术和工具。