直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

文生图

回答

以下是关于文生图的相关知识:

  • 简明操作流程:
    • 定主题:明确生成图片的主题、风格和要表达的信息。
    • 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。
    • 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。
    • ControlNet:可控制图片中特定图像,如人物姿态、特定文字等,属于高阶技能。
    • 局部重绘:下篇再教。
    • 设置 VAE:选择 840000 即可。
    • Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。
    • 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开。
    • 采样算法:一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器。
    • 采样次数:选 DPM++ 2M Karras 时,采样次数在 30 - 40 之间。
    • 尺寸:根据喜好和需求选择,注意尺寸并非越大越好。
  • 提示词:
    • 分为内容型提示词和标准化提示词,用于描述想要的画面。例如选择 anythingV5 模型,输入“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”等提示词,并翻译成英文。采样迭代步数通常控制在 20 - 40 之间。
    • 采样方法:常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM 等,有的模型有指定算法,搭配使用效果更好。
    • 比例和尺寸:高宽比尽量在 512x512 数值附近,如 800:400。太大的数值可能导致奇怪构图,若想要高清图可使用高清修复功能放大图像倍率。
  • 文生图工具:
    • DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。
    • StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。
    • MidJourney:图像生成效果好,界面设计用户友好,在创意设计人群中流行。
    • 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

【SD】文生图怎么写提示词

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-01 20:00原文网址:https://mp.weixin.qq.com/s/kwNfc9NCaKJRy30wHI95UgStable Diffusion的生成方式主要分为文生图和图生图两种:文生图是仅通过正反向词汇描述来发送指令;图生图除了可以添加文字以外,还可以给AI参考图进行模仿,也就是我们常说的“垫图”。接下去就是对你想要的图形进行文本描述,文本描述上又分为两类:内容型提示词和标准化提示词。内容型提示词主要用于描述你想要的画面,我们选择anythingV5这个专门用于二次元绘画的大模型,然后输入以下提示词:1个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面。(使用翻译软件翻译成英文)采样迭代步数是指AI绘画去噪的次数,步数越高绘画越清晰,但是绘画速度也会越慢,通常数值控制在20-40之间最好。采样方法是指AI生成图像时候的某种特定算法,我们不用全部了解,一般常用的为:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++ SDE Karras;DDIM。有的模型会有指定的算法,搭配起来更好用。将比例设置为800:400,注意这里的尺寸并不是越大越好,因为模型的练图基本上都是按照512x512的框架去画,所以我们的高宽比尽量都在这个数值附近。太大的数值比如1920x1080,会使AI做出很奇怪的构图。那你就会说,我就想要很高清的图怎么办,其实Stable Diffusion也提供了图片放大的功能,我们可以同时点选这个高清修复来放大图像倍率,而高宽比我们只要记住这里主要是控制一个画面比例就可以了。

问:文生图工具有哪些?

文生图工具是一种利用人工智能技术生成图片的工具。它通过分析输入的文本描述,使用深度学习算法生成相应的图片。目前,市场上有许多文生图工具,其中一些比较受欢迎的工具包括:1.DALL·E:DALL·E是OpenAI推出的一款文生图工具,它可以根据输入的文本描述生成逼真的图片。2.StableDiffusion:StableDiffusion是一款开源的文生图工具,它可以生成高质量的图片,并且支持多种模型和算法。3.MidJourney:MidJourney因其高质量的图像生成效果和用户友好的界面设计而受到广泛欢迎,并且在创意设计人群中尤其流行。以上是一些比较受欢迎的文生图工具,它们都具有不同的特点和优势,可以根据自己的需求选择使用。在WaytoAGI网站,可以查看更多文生图工具:https://www.waytoagi.com/category/104类似问题:文字生成图片的AI有哪些?内容由AI大模型生成,请仔细甄别。

其他人在问
中国大陆能用的文生视频免费ai
以下是一些在中国大陆可用的文生视频免费 AI 工具: 1. Hidreamai(国内,有免费额度):https://hidreamai.com//AiVideo 。支持文生视频、图生视频,提示词使用中文、英文都可以。文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制,支持多尺寸,可以生成 5s 和 15s 的视频。 2. ETNA(国内):https://etna.7volcanoes.com/ 。Etna 是一款由七火山科技开发的文生视频 AI 模型,它可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒,画质可达到 4K,最高 38402160,画面细腻逼真,帧率 60fps,文生视频支持中文,时空理解。 3. Dreamina(国内内测,有免费额度):https://jimeng.jianying.com/aitool/video/generate 。支持文生视频、图生视频、视频生视频,支持图生视频首尾帧功能,提示词使用中文、英文都可以。文生视频支持正向提示词、运镜控制、运动强度控制、帧数选择,支持多种尺寸,默认生成 3s 的视频。 4. 可灵(免费):https://klingai.kuaishou.com/ 。支持文生视频、图生视频,支持图生视频首尾帧功能,提示词可使用中文。文生视频支持正向提示词、反向提示词、运镜控制、时长选择(5s、10s),支持多种尺寸,默认生成 5s 的视频。 此外,还有一些国内外提供文生视频功能的产品推荐: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-12-20
中国大陆能用的文生视频免费ai工具
以下是一些在中国大陆可用的文生视频免费 AI 工具: Hidreamai(国内,有免费额度):https://hidreamai.com//AiVideo 。支持文生视频、图生视频,提示词使用中文、英文都可以,文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制,支持多尺寸,可以生成 5s 和 15s 的视频。 ETNA(国内):https://etna.7volcanoes.com/ 。Etna 是一款由七火山科技开发的文生视频 AI 模型,它可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒,画质可达到 4K,最高 38402160,画面细腻逼真,帧率 60fps,文生视频支持中文,时空理解。 Dreamina(国内内测,有免费额度):https://jimeng.jianying.com/aitool/video/generate 。支持文生视频、图生视频,视频生视频,支持图生视频首尾帧功能,提示词使用中文、英文都可以,文生视频支持正向提示词、运镜控制、运动强度控制、帧数选择,支持多种尺寸,默认生成 3s 的视频。 可灵(免费):https://klingai.kuaishou.com/ 。支持文生视频、图生视频,支持图生视频首尾帧功能,提示词可使用中文,文生视频支持正向提示词、反向提示词、运镜控制、时长选择(5s、10s),支持多种尺寸,默认生成 5s 的视频。 此外,还有一些国内外提供文生视频功能的产品,如: Pika:擅长动画制作,并支持视频编辑。 SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但收费。 Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里:https://www.waytoagi.com/category/38 。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-12-20
文生视频,谁比较强?
目前在文生视频方面,PIKA1.0 表现较为出色。它启用全新模型,文生视频质量大幅提升,3D 和 2D 动画效果吊炸天,稳定性强,神情表现出色,在处理各种场景和提示词时都有惊艳的效果。例如,输入“Cinematic,happy laughing girl in office,Pixar style”瞬间就能匹配出皮克斯水平的镜头,而且在处理不规则构图的汽车行驶等场景时,光影表现极好。同时,可灵在文生视频方面也有一定特点,在多对象场景中能保持较好的形体轮廓,在处理偏真实场景的视频,如吃东西、老人神情和皮肤细节等方面表现出色,地面光影变化处理恰当,但在处理远距离和密集人群时有局限,在动画方面不是强项,处理稍长动作时会遇到挑战。
2024-12-19
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet:可控制图片中特定的图像,如人物姿态、特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:选择 840000 即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写要避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++2M Karras 时,采样次数在 30 40 之间。 尺寸:根据喜好和需求选择,注意尺寸并非越大越好。 提示词: 分为内容型提示词和标准化提示词,用于描述想要的画面。例如选择 anythingV5 大模型,输入“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”等描述。 采样迭代步数通常控制在 20 40 之间,步数越高绘画越清晰,但速度越慢。 采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等,有的模型有指定算法,搭配更好用。 比例设置为 800:400,模型练图基本按 512x512 框架,太大数值可能导致奇怪构图,可通过高清修复放大图像倍率。 文生图工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面设计用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-12-19
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒,我要如何利用agent自动流实现这个模型可以生成更长,更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频,您可以参考以下几种模型和方法: 1. PixVerse V2 模型: 8 秒的视频生成需要花费 30 Credits,5 秒的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型: Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video:30B 参数 Transformer 模型,可以从单个文本提示生成 16 秒、16 帧每秒的高清视频,相当于 73K 个视频 tokens。对于精确视频编辑,它可以执行添加、删除或替换元素,或背景替换、样式更改等全局修改。对于个性化视频,它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio:13B 参数 Transformer 模型,可以接受视频输入以及可选的文本提示,生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成,在骨干网络架构上,它沿用了 Transformer,特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练,学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调,以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果,模型还引入了流匹配(Flow Matching)作为训练目标,这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型: 文生视频,图生视频,视频生视频,支持多种视频定制选项,如分辨率(从 480p 到 1080p)、视频长度(从 5 秒到更长时间)和视频风格。用户可以浏览社区共享的视频,获取灵感和学习技巧(直接抄别人 prompt)。 故事板:允许用户通过时间线指导视频中的多个动作,创建更加复杂的视频序列。 混音和编辑:提供视频混音功能,允许用户将视频转换成新的风格。支持视频的延伸和剪辑,以及创建循环视频。 高级功能:包括混合功能,可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户,Sora 的使用是包含在现有订阅中的,无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数;OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成,但这可能会减少每月的使用次数。Sora 的发布初期,对于某些地区(如欧洲和英国)可能会有延迟。
2024-12-19
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19