直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

文生图

回答

以下是关于文生图的相关知识:

  • 简明操作流程:
    • 定主题:明确生成图片的主题、风格和要表达的信息。
    • 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。
    • 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。
    • ControlNet:可控制图片中特定图像,如人物姿态、生成特定文字等,属于高阶技能。
    • 局部重绘:下篇再教。
    • 设置 VAE:无脑选择 840000 这个即可。
    • Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。
    • 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语组合,用英文半角逗号隔开。
    • 采样算法:一般选 DPM++ 2M Karras,也可参考模型作者推荐的采样器。
    • 采样次数:选 DPM++ 2M Karras 时,采样次数在 30 - 40 之间。
    • 尺寸:根据喜好和需求选择。
  • 提示词写作:
    • Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述来发送指令。
    • 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面。
    • 采样迭代步数通常控制在 20 - 40 之间。
    • 常用采样方法有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++ SDE Karras、DDIM,有的模型有指定算法,搭配更好。
    • 比例设置为 800:400,高宽比尽量在 512x512 数值附近。
  • 文生图工具:
    • DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。
    • StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。
    • MidJourney:图像生成效果好,界面用户友好,在创意设计人群中流行。
    • 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Tusiart简易上手教程

[title]Tusiart简易上手教程[heading1]简明操作流程[heading2]文生图定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++ 2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++ 2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

【SD】文生图怎么写提示词

[title]【SD】文生图怎么写提示词作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-01 20:00原文网址:https://mp.weixin.qq.com/s/kwNfc9NCaKJRy30wHI95UgStable Diffusion的生成方式主要分为文生图和图生图两种:文生图是仅通过正反向词汇描述来发送指令;图生图除了可以添加文字以外,还可以给AI参考图进行模仿,也就是我们常说的“垫图”。接下去就是对你想要的图形进行文本描述,文本描述上又分为两类:内容型提示词和标准化提示词。内容型提示词主要用于描述你想要的画面,我们选择anythingV5这个专门用于二次元绘画的大模型,然后输入以下提示词:1个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面。(使用翻译软件翻译成英文)采样迭代步数是指AI绘画去噪的次数,步数越高绘画越清晰,但是绘画速度也会越慢,通常数值控制在20-40之间最好。采样方法是指AI生成图像时候的某种特定算法,我们不用全部了解,一般常用的为:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++ SDE Karras;DDIM。有的模型会有指定的算法,搭配起来更好用。将比例设置为800:400,注意这里的尺寸并不是越大越好,因为模型的练图基本上都是按照512x512的框架去画,所以我们的高宽比尽量都在这个数值附近。

问:文生图工具有哪些?

[title]问:文生图工具有哪些?文生图工具是一种利用人工智能技术生成图片的工具。它通过分析输入的文本描述,使用深度学习算法生成相应的图片。目前,市场上有许多文生图工具,其中一些比较受欢迎的工具包括:1.DALL·E:DALL·E是OpenAI推出的一款文生图工具,它可以根据输入的文本描述生成逼真的图片。2.StableDiffusion:StableDiffusion是一款开源的文生图工具,它可以生成高质量的图片,并且支持多种模型和算法。3.MidJourney:MidJourney因其高质量的图像生成效果和用户友好的界面设计而受到广泛欢迎,并且在创意设计人群中尤其流行。以上是一些比较受欢迎的文生图工具,它们都具有不同的特点和优势,可以根据自己的需求选择使用。在WaytoAGI网站,可以查看更多文生图工具:https://www.waytoagi.com/category/104类似问题:文字生成图片的AI有哪些?内容由AI大模型生成,请仔细甄别。

其他人在问
如何训练自己的文生文大模型?
训练自己的文生文大模型是一个复杂且计算量巨大的过程,主要包括以下步骤: 1. 准备资源:需要大量的互联网文本资源,通常约 10TB 的文本,用于模型的训练。 2. 硬件设施:需要一个 GPU 集群,大约 6000 个 GPU,运行约 12 天,费用约 200 万美元。 3. 模型选择与理解:了解不同的模型架构和算法,例如 Llama2 70B 等开源模型,以及其训练方式和相关论文。 4. 数据处理:对获取的大量文本进行处理和压缩,将其转化为适合模型训练的格式。 5. 训练过程:这是一个复杂的计算过程,类似于对互联网的一大块内容进行有损压缩,以获取模型的参数。 需要注意的是,模型训练比模型推理要复杂得多,模型推理可以在 MacBook 上运行,但训练需要强大的计算能力和大量的资源支持。
2024-10-18
文生视频哪家强
目前在文生视频领域,以下是一些表现较为出色的产品: 1. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 2. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。其新模型在文生视频质量上有大幅提升,例如生成皮克斯风格的镜头效果出色,稳定性高,语义理解强,动作幅度大,在 3D 和 2D 动画效果方面表现优秀。 3. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,由 Stability AI 开源。 4. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 5. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 更多的文生视频的网站可以查看:https://www.waytoagi.com/category/38 。 以下是 Sora 和其他模型能力的对比表格: |能力分类|能力|SORA|其他| ||||| |底层技术|架构|Transformer|UNet 为主| |底层技术|驱动方式|数据|图片| |对于真实世界的理解/模拟能力|世界理解能力|可理解世界知识|弱| |对于真实世界的理解/模拟能力|数字世界模拟|支持|不支持| |对于真实世界的理解/模拟能力|世界互动能力|支持|不支持| |对于真实世界的理解/模拟能力|3D 运动连贯性|强|弱| |对于真实世界的理解/模拟能力|物体一致性|强|弱| |对于真实世界的理解/模拟能力|物体持久性/连续性|强|弱| |对于真实世界的理解/模拟能力|文本理解|强|一般| |对于真实世界的理解/模拟能力|运动控制|其他|提示词提示词+运动控制工具| |基于模拟的视频编辑能力|无缝连接能力|强|弱| |基于模拟的视频编辑能力|视频到视频编辑|支持|部分| |基于模拟的视频编辑能力|扩展生成视频|前/后|后| |外显视频基础属性|视频时长|60 秒|2~4 秒| |外显视频基础属性|原生纵横比|支持|不支持| |外显视频基础属性|清晰度|1080P|最高 4K| 不同工具适合于不同的使用场景和需求,您可以根据自己的具体情况进行选择。
2024-10-15
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品有: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上直接生成视频,这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看: PixVerse V2 使用教程: 单个视频生成(8s):8s 的视频生成需要花费 30Credits,5s 的视频生成需要花费 15Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 Sora 的前世今生:从文生图到文生视频,其模型推理策略包括: 1. 文生视频:喂入 DiT 的就是文本 embedding+全噪声 patch。 2. 视频编辑:类似 SDEdit 的做法,在视频上加点噪声(不要搞成全是噪声),然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合:喂入 DiT 的就是文本 embedding(可选)+特定帧用给定图片的 embedding+其他帧用全噪声 patch。
2024-10-15
文生图站点推荐
以下是为您推荐的一些文生图站点和工具: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. MidJourney:因高质量的图像生成效果和友好的界面设计受到广泛欢迎,在创意设计人群中尤其流行。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。 关于文生图写提示词,通常的描述逻辑包括人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)等。对于新手,有以下功能型辅助网站帮助书写提示词: 1. http://www.atoolbox.net/ :通过选项卡方式快速填写关键词信息。 2. https://ai.dawnmark.cn/ :每种参数都有缩略图参考,方便直观选择提示词。 3. 还可以去 C 站(https://civitai.com/)抄作业,每一张图都有详细参数,可点击复制数据按钮,粘贴到正向提示词栏,然后点击生成按钮下的第一个按键,不过要注意图像作者使用的大模型和 LORA。 以下是一些用户在工作中使用文生图的情况: |姓名|联系方式|用途| |||| |薄荷|电商应用出图,辅助创意落地| |龙飞|用于海报生成| |wangzhao111|15571666325|不知道| |Crossing|AI 摄影、图生视频等| |朔|13670516075|大图像以及视频工作流| |Roger|18658866328|工作| |秦梧御|15966569697|视频| |dwing3|13702513842|出图| |May|18018539454|应用| |王西西|18820134184|还不清楚| |丘嘉杰|13413477173|文生图,图生图,图生视频| |吴林林|13968945722|自用,给朋友做写真| |刘燕兰|13066870649|电商应用| |朱鹏|18781609127|广告出图| |水水|视频制作| |韩影|17801234978|作图,做视频| |斌哥|18250885849|自媒体| |德方|18600081286|设计、建模、绘图、效果图、视频| |树一|15659268616|自媒体| |任振亮|13513700768|自媒体| |陈锦燊|16698528851|视觉设计、快速出图| |李恒安|18366606265|动漫| |谌峰|13925911177|视频,人物,室内设计|
2024-10-14
文生视频
以下是关于文生视频的相关信息: 文字生成视频的 AI 产品有: 1. Pika:擅长动画制作,支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装其最新插件,在图片基础上生成视频,由 Stability AI 开源。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频功能,但收费。 4. Kaiber:视频转视频 AI,能将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 更多的文生视频网站可查看:https://www.waytoagi.com/category/38 (内容由 AI 大模型生成,请仔细甄别) PixVerse V2 使用教程: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,支持多风格的视频生成,可在提示词中加入“Anime”“Realistic”等词语。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”。图生视频暂不支持“Magic Brush”“Camera Motion”“Motion Strength”等功能,如需使用上述功能,请将模型切换至“PixVerse V1”。 Sora 的模型推理策略: 官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。比如: 1. 文生视频:喂入 DiT 的是文本 embedding + 全噪声 patch。 2. 视频编辑:类似 SDEdit 的做法,在视频上加点噪声(不要搞成全是噪声),然后拿去逐步去噪。 3. 图生视频、视频反推、视频融合:喂入 DiT 的是文本 embedding(可选)+特定帧用给定图片的 embedding +其他帧用全噪声 patch。
2024-10-09
文生视频,免费软件
以下是一些免费的文生视频软件: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,由 Stability AI 开源。 3. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 4. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 5. Hidreamai(国内,有免费额度):支持文生视频、图生视频,提示词使用中文、英文都可以,文生视频支持多种控制,支持多尺寸,可以生成 5s 和 15s 的视频。 6. Pixverse(免费):支持文生视频、图生视频,人物一致性角色创建,提示词使用中文、英文都可以,支持多种尺寸,默认生成 4s 视频。 更多的文生视频的网站可以查看这里: 。 内容由 AI 大模型生成,请仔细甄别。
2024-10-09