Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

图生图

Answer

以下是关于图生图的详细介绍：

概念与功能说明：

  • 首页包含模型、帖子、排行榜，能看到他人炼成的模型和图片。不同模型有 checkpoint 和 lora 两种标签，还有 SDXL 新模型的标签。点击可查看模型详情，下方是返图区。
  • 基础模型（checkpoint）是生图必需的，任何生图操作都要先选定。lora 是低阶自适应模型，类似 checkpoint 的小插件，可有可无，但对细节控制有价值。ControlNet 可控制图片中特定图像，如人物姿态等。VAE 是编码器，类似滤镜可调整生图饱和度，一般选 840000 这个。Prompt 提示词是想要 AI 生成的内容，负向提示词是想要 AI 避免产生的内容。
  • 图生图是上传图片后，SD 根据图片、所选模型及输入的 prompt 等信息进行重绘，重绘幅度越大，输出图与输入图差别越大。

基础工作流搭建副本中的图生图：

  • 图生图的作用是允许用户上传一张图像，并基于该图像生成新的视觉内容。
  • 使用方法：
    • 在 prompt 输入框下，点击“图生图”可上传本地文件。
    • 在无限画布中图片功能区进行选择。
    • 调整“图生图”功能区参数，包括参考程度，如更像原图是小幅度修改基底图像、有限增加元素；更创意是大幅度修改基底图像、可搭配增强模型加入更多元素；自定义可自定义修改重绘幅度。
    • 增加参考纬度，点击添加按钮会自动应用并打开“生成器”的图片参考功能。
    • 可替换图像，鼠标滑动到图像，点击“选择参考图”重新选择图片。
    • 转换提示词，反推参考图信息填入提示词框中。
    • 同步生图尺寸，同步参考图尺寸到“生成器”的生图尺寸中。
Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

1.首页-模型\帖子\排行榜：发布了其他大手子炼成的模型、图片。不同的模型有checkpoint和lora两种不同的标签，有些模型的标签后面还有第二个XL的标签，这是属于SDXL这个新模型的意思。点击后可以看模型的详细信息。模型详情信息的下方，是用这个模型生成的图片，俗称返图区。1.基础模型：生图必需的，英文名Checkpoint。任何生图操作必须要选定一个checkpoint模型才能开始操作。注意，checkpoint区别于lora，这两个东西在模型广场都是混着展示的。checkpoint必选，lora可选可不选，任何主题的作图需求，都可以试着在模型广场上搜索或者浏览，然后收集到模型库中用于生图。1.lora：低阶自适应模型，你可以理解为checkpoint的小插件，生图的时候lora可有可无。但是lora的价值还是很明显的，基本上你看到一些精细的控制，如面部、材质、物品等等细节都常见于用相应的lora进行控制。旁边的数值是lora的权重。1.ControlNet：控制图片中一些特定的图像，可以用于控制人物姿态，或者是生成特定文字、艺术化二维码等等。也是高阶技能，后面再学不迟。1.VAE：是个编码器，功能类似于我们熟悉的滤镜，调整生图的饱和度。无脑选择右侧截图中840000这个即可。1.Prompt提示词：想要AI生成的内容（不绝对有效，需要多费功夫学习，哪怕从照抄别人开始）。2.负向提示词Negative Prompt：想要AI避免产生的内容（不绝对有效，也需要费功夫学，哪怕从照抄别人开始）。1.图生图：上传图片之后，sd将根据你的图片和你选择的模型以及输入的prompt等等信息进行重绘。重绘幅度越大，输出的图和输入的图差别就越大。

5、基础工作流搭建 副本

[title]5、基础工作流搭建副本[heading1]图生图

星流一站式 AI 设计工具

1.图生图的作用？图生图功能允许用户上传一张图像，并基于该图像生成新的视觉内容1.如何使用图生图？1.1.应用图生图1.1.1.prompt输入框下，点击“图生图”上传本地文件1.1.1.无限画布中下，图片功能区进行选择1.2.调整“图生图”功能区参数参考程度更像原图：小幅度修改基底图像，有限的增加元素更创意：大幅度修改基底图像，可搭配增强模型加入更多的元素自定义：可自定义修改重绘幅度增加参考纬度：点击添加按钮，会自动的应用并打开“生成器”的图片参考功能替换图像：鼠标滑动到图像，点击“选择参考图”即可重新选择图片转换提示词：反推参考图信息填入进提示词框中同步生图尺寸：同步参考图尺寸到“生成器”的生图尺寸中

Others are asking
根据草图生成图片
以下是关于根据草图生成图片的相关内容： ComfyUI Flux 与 runway 制作绘画视频： 生成图片：提示词告诉 flux 生成一张技术草图，如 CAD。 绘制的视频：在 runway 里面，使用提示词从空白页面开始逐行创建，并把生成的图片作为尾帧。 草图上色：使用 flux 的 controlNet，depth 固定，Union 版本不建议权重调太高，结束时间也需注意。 生成上色后的视频。 how2draw Flux lora：分享一个好玩的 flux lora 展示绘画过程，触发词为 how2draw。 GPT4 在草图生成中的潜在应用：文本到图像合成模型常缺乏空间理解和遵循复杂指令能力，而 GPT4 可生成代码并按指示呈现为低质量图像。探索将 GPT4 和现有图像合成模型结合，以 GPT4 输出作为草图，能生成更贴近指令、质量更好的图像。 MJ 应用篇快速给 PPT 配图： 复制图像链接：首先复制图片网址，然后在 discord 聊天栏输入/imagine prompt。 复制提示词：回到官网复制图像提示词，再回 discord 粘贴到网址后面并空格。 生成图像：输入命令等待生成，不理想可多次生成。之后可进行改变比例和镜头拉远、检查构图等操作，若构图不好可在当前图基础上再用 Zoom Out 1.5x。选好图可放入 PPT 调整构图。
2025-01-19
我想做一个猫咪做饭的短视频，有五个分镜头。我先用文生图生成图片，在用图片生成视，最后剪辑在一起。问题是文生图的时候，生成的图片，效果不太理想
以下是为您提供的一些可能有助于改善文生图效果不理想问题的建议： 1. 仔细检查您输入的画面描述，确保描述清晰、具体、准确，包含足够的细节和特征，以便模型更好地理解您的需求。 2. 尝试调整关键词和描述的侧重点，突出您想要的关键元素，比如猫咪做饭的动作、表情、厨房环境等。 3. 更换不同的文生图模型或工具，有些模型可能在某些特定类型的图像生成上表现更出色。 4. 参考其他优秀的类似主题的图像，学习其构图、色彩、光影等方面的处理方式，从而优化您的画面描述。 5. 多次尝试生成，并对每次生成的结果进行分析和总结，找出问题所在，逐步改进描述。
2025-01-17
中国最强图生视频ai网站
以下为中国较强的图生视频 AI 网站相关信息： 2024 年，国内涌现出一系列优秀的 AI 生成视频工具，如可灵、即梦、智谱清影等，其生成结果甚至远超国外。 相关产品数据： 6 月访问量排名： 1. Luma AI 1861 万 Visit，相对 5 月变化 12.199 2. Runway ML 515 万 Visit，相对 5 月变化 0.01 3. Haiper AI 226 万 Visit，相对 5 月变化 0.013 4. Pika 163 万 Visit，相对 5 月变化 0.256 5. Pixverse 142 万 Visit，相对 5 月变化 0.174 6. Dreamina 剪映 79 万 Visit，相对 5 月变化 3.731 7. 可灵快手 79 万 Visit，相对 5 月变化 New 4 月访问量排名： 1. Runway ML 564 万 Visit，相对 3 月变化 0.158 2. Haiper AI 234 万 Visit，相对 3 月变化 0.95 3. Pika 200 万 Visit，相对 3 月变化 0.091 详情您可以查看之前实测的
2025-01-16
静态图生成动态图的工具有吗
以下是一些可以将静态图生成动态图的工具： 1. Comfyui LivePortrait： 可以精确控制眼睛和嘴唇的动作，无缝拼接多个肖像，将不同人物特征合并成一个视频，确保过渡自然流畅。 使用了不同于主流扩散方法的隐式关键点框架，在计算效率和可控性之间取得有效平衡。 生成的动画质量优于现有的非扩散和扩散模型方法，在 RTX 4090 GPU 上，生成速度为每帧 12.8 毫秒。 支持各种风格的图片，常见的动物面部迁移，并可以微调面部运动幅度。 工作流与模型地址： https://pan.baidu.com/s/1FkGTXLmM0Ofynz04NfCaQ?pwd=cycy https://pan.quark.cn/s/8dfd7ace4f05 内容依技术发展更新，请以文档为准 https://xiaobot.net/post/74238a84d2734b2ca195ed2858b24ffe 2. 视频工具 VIGGLE： Mix（让视频的动作映射到图片人物身上）：先上传一个视频和一张角色图像，Viggle 会自动将视频的动态赋予给这个角色，形成一段新视频。能模拟出角色的 3D 状态，准确还原处理原视频中身体旋转、四肢交叠等动作。（也可以利用现有的模版视频作为动作获取来源） Multi（多人模式）：通过视频的动作，将上传的多个角色进行识别并赋予给这个角色，形成一段新视频。 Move（将视频的动作直接映射在图片人物身上）：不同于 Mix 的图片元素替换原视频内容，Move 主要是通过将动作映射在图像里面的人物身上，实现“让静态图动起来”。 案例： 评价： ：https://x.com/imxiaohu/status/1771173928591093940 兄弟们，又出来个牛 P 玩意阿里那个被截胡了，这个直接能用可以直接通过文字描述让任何静态图动起来，而且能做各种动作，跳舞什么的都是小 case...最牛 P 的是，他们的模型能能理解真实世界的物理运动原理，所以出来的视频很真实。不仅如此，它还能直接文字生成视频，进行各种角色混合和动作替换...其核心技术基于 JST1 模型。JST1 是首个具有实际物理理解能力的视频3D 基础模型，能够根据用户的需求，让任何角色按照指定的方式进行运动。核心功能： 可控制的视频生成：用户可以通过文字描述指定角色的动作和场景的细节，Viggle 将根据这些指示生成视频。 基于物理的动画：JST1 模型的一个显著特点是其对物理原理的理解，这意味着生成的视频不仅看起来真实，而且角色的动作和互动符合实际物理规律。这提高了视频的质量和真实感。 3D 角色和场景创建：Viggle 不仅限于传统的 2D 视频制作，它还能够创建 3D 角色和场景。
2025-01-11
图生视频
以下是关于图生视频的相关内容： 什么是图生视频： 输入一张图片+相应的提示词，清影大模型将根据提示将图片转变为视频画面。您也可以只输入一张图片，清影大模型将自行发挥想象力，把图片扩展为一段有故事的视频。 图生视频的两个小技巧： 1. 选用尽可能清晰的图片，上传图片比例最好为 3:2（横版），清影支持上传 png 和 jpeg 图像。如果原图不够清晰，会影响模型对图片的识别，可以采用分辨率提升工具将图片变清晰。 2. 提示词要【简单清晰】： 可以选择不写 prompt，直接让模型自己操控图片动起来。 明确您想动起来的【主体】并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词（一定要有主体，不然可能会出现 AI 狂乱景象）。如果不明确大模型如何理解您的图片，推荐将照片发送到清言对话框进行识图，明确您的【主体】该如何描述。 在其他场景中的应用： 1. 在离谱村的共创故事中，每张图片转视频都进行了大量的尝试。各种工具轮番上场，如 pika、runway、Pixverse 等。中间还找了 ZHO 来做技术指导，他帮忙用 SVD1.1 出来几个精美的视频，甚至还上了 stablevideo.com 的首页官方推荐。 2. 在 PixVerse V3 中，生成视频的比例取决于您上传图片的比例，提示词遵循相关规则。同时为您展示了几个示例帮助拓展创意，还提供了 4 种风格，且支持文生和图生的风格选择和转换。为保证最佳效果，不推荐风格化与其他功能混用。
2025-01-10
图生视频
以下是关于图生视频的相关内容： 什么是图生视频： 输入一张图片和相应的提示词，清影大模型会将图片转变为视频画面。您也可以只输入一张图片，清影大模型将自行发挥想象力，把图片扩展为一段有故事的视频。 图生视频的技巧： 1. 选用尽可能清晰的图片，上传图片比例最好为 3:2（横版），清影支持上传 png 和 jpeg 图像。如果原图不够清晰，可采用分辨率提升工具将图片变清晰。 2. 提示词要“简单清晰”。可以选择不写 prompt，直接让模型自己操控图片动起来；或者明确您想动起来的“主体”，并以“主体”+“主题运动”+“背景”+“背景运动”的方式撰写提示词（一定要有主体，不然可能会出现 AI 狂乱景象）。如果不明确大模型如何理解您的图片，推荐将照片发送到清言对话框进行识图，明确“主体”的描述。 相关示例： 在 PixVerse V3 中图生视频生成视频的比例取决于上传图片的比例，提示词遵循相关规则。为您展示几个示例帮助拓展创意，如：“The camera wraps around to the left and the girl turns,with a blur of fast moving people in the background and the girl relatively still.”（镜头向左旋转，女孩转身，背景中快速移动的人模糊不清，而女孩相对静止。）、“The monkey wear sunglasses and have a cigar while pointing forward with a confident gesture.”（猴子戴上墨镜，叼着雪茄，以自信的姿态指向前方。） 风格化： Style 为您提供了 4 种风格，且支持文生和图生的风格选择和转换。为保证最佳效果，不推荐风格化与其他功能混用。 其他相关信息： 在离谱村的共创故事中，图片是用 Midjourney 生产，图生视频每张图片转视频都进行了大量的尝试，各种工具轮番上场，如 pika，runway，Pixverse。中间还找了 ZHO 做技术指导，相关视频已公测。配音部分都是用 Audiobox 捏出来的，为了离谱熊声线的一致性，用了 GPTsovits 对离谱熊的声音做了专属的训练。
2024-12-31