Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

文生图

Answer

以下是关于文生图的相关知识:

  1. 简明操作流程:
    • 定主题:明确生成图片的主题、风格和要表达的信息。
    • 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。
    • 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。
    • ControlNet:可控制图片中特定的图像,如人物姿态、特定文字等,属于高阶技能。
    • 局部重绘:下篇再教。
    • 设置 VAE:选择 840000 即可。
    • Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。
    • 负向提示词 Negative Prompt:用英文写要避免产生的内容,单词和短语组合并用英文半角逗号隔开。
    • 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。
    • 采样次数:根据采样器特征,选 DPM++2M Karras 时在 30 - 40 之间。
    • 尺寸:根据喜好和需求选择。
  2. 提示词:
    • Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述发送指令。
    • 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面,如“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”。
    • 采样迭代步数通常控制在 20 - 40 之间,采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等,有的模型有指定算法,搭配更好用。
    • 比例设置为 800:400,尺寸并非越大越好,模型练图基本按 512x512 框架,可点选高清修复放大图像倍率。
  3. 文生图工具:
    • DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。
    • StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。
    • MidJourney:图像生成效果好,界面设计用户友好,在创意设计人群中流行。
    • 在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )可查看更多文生图工具。
Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

【SD】文生图怎么写提示词

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-01 20:00原文网址:https://mp.weixin.qq.com/s/kwNfc9NCaKJRy30wHI95UgStable Diffusion的生成方式主要分为文生图和图生图两种:文生图是仅通过正反向词汇描述来发送指令;图生图除了可以添加文字以外,还可以给AI参考图进行模仿,也就是我们常说的“垫图”。接下去就是对你想要的图形进行文本描述,文本描述上又分为两类:内容型提示词和标准化提示词。内容型提示词主要用于描述你想要的画面,我们选择anythingV5这个专门用于二次元绘画的大模型,然后输入以下提示词:1个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面。(使用翻译软件翻译成英文)采样迭代步数是指AI绘画去噪的次数,步数越高绘画越清晰,但是绘画速度也会越慢,通常数值控制在20-40之间最好。采样方法是指AI生成图像时候的某种特定算法,我们不用全部了解,一般常用的为:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM。有的模型会有指定的算法,搭配起来更好用。将比例设置为800:400,注意这里的尺寸并不是越大越好,因为模型的练图基本上都是按照512x512的框架去画,所以我们的高宽比尽量都在这个数值附近。太大的数值比如1920x1080,会使AI做出很奇怪的构图。那你就会说,我就想要很高清的图怎么办,其实Stable Diffusion也提供了图片放大的功能,我们可以同时点选这个高清修复来放大图像倍率,而高宽比我们只要记住这里主要是控制一个画面比例就可以了。

问:文生图工具有哪些?

文生图工具是一种利用人工智能技术生成图片的工具。它通过分析输入的文本描述,使用深度学习算法生成相应的图片。目前,市场上有许多文生图工具,其中一些比较受欢迎的工具包括:1.DALL·E:DALL·E是OpenAI推出的一款文生图工具,它可以根据输入的文本描述生成逼真的图片。2.StableDiffusion:StableDiffusion是一款开源的文生图工具,它可以生成高质量的图片,并且支持多种模型和算法。3.MidJourney:MidJourney因其高质量的图像生成效果和用户友好的界面设计而受到广泛欢迎,并且在创意设计人群中尤其流行。以上是一些比较受欢迎的文生图工具,它们都具有不同的特点和优势,可以根据自己的需求选择使用。在WaytoAGI网站,可以查看更多文生图工具:https://www.waytoagi.com/category/104类似问题:文字生成图片的AI有哪些?内容由AI大模型生成,请仔细甄别。

Others are asking
文生图如何提高字在图中的准确率
要提高文生图中字在图中的准确率,可以从以下几个方面入手: 1. 数据准备: 对于中文文字的生成,Kolors从两个方面准备数据。一是选择 50000 个最常用的汉字,机造生成了一个千万级的中文文字图文对数据集,但机造数据真实性不足。二是使用 OCR 和 MLLM 生成海报、场景文字等真实中文文字数据集,大概有百万量级。 Hugging 和英特尔发布了提高文生图模型空间一致性的方案,包括一个详细标注了空间关系的 600 万张图片的数据集,模型和数据集都会开源。 2. 模型能力: DALLE 3 和 SD3 已经有了很强的英文文字生成能力,但目前还未有模型具有中文文字的生成能力。中文文字的生成存在困难,一是中文汉字的集合大且纹理结构复杂,二是缺少中文文字的图文对数据。 作者观察到,使用机造数据结合高质量真实数据后,中文文字生成能力的真实性大大提升,而且即使是真实数据中不存在的汉字的真实性也得到了提升。 3. 训练方法: 在包含大量物体的图像上进行训练,可以显著提高图像的空间一致性。 此外,在写文生图的提示词时,通常的描述逻辑是这样的:人物及主体特征(服饰、发型发色、五官、表情、动作),场景特征(室内室外、大场景、小细节),环境光照(白天黑夜、特定时段、光、天空),画幅视角(距离、人物比例、观察视角、镜头类型),画质(高画质、高分辨率),画风(插画、二次元、写实)。通过这些详细的提示词,能更精确地控制绘图。对于新手而言,还有一些功能型辅助网站来帮我们书写提示词,比如:http://www.atoolbox.net/ 、https://ai.dawnmark.cn/ 。还可以去 C 站(https://civitai.com/)里面抄作业。但要注意图像作者使用的大模型和 LORA,不然即使参数一样,生成的图也会截然不同。
2025-01-29
文生视频哪个网站最好,免费的
以下是一些免费的文生视频网站推荐: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。网址:https://pika.art/ https://discord.gg/pika 。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Hidreamai(国内,有免费额度):https://hidreamai.com//AiVideo 支持文生视频、图生视频,提示词使用中文、英文都可以,文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制,支持多尺寸,可以生成 5s 和 15s 的视频。 4. ETNA(国内):https://etna.7volcanoes.com/ 是一款由七火山科技开发的文生视频 AI 模型,它可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8~15 秒,画质可达到 4K,最高 38402160,画面细腻逼真,帧率 60fps,支持中文,时空理解。 更多的文生视频的网站可以查看这里:https://www.waytoagi.com/category/38 。 内容由 AI 大模型生成,请仔细甄别。
2025-01-26
现在有哪些开源的文生图大模型?
以下是一些开源的文生图大模型: Kolors: 2024 年 7 月 6 日开源,基于数十亿图文对进行训练,支持 256 的上下文 token 数,支持中英双语。技术细节参考 。 已支持 Diffusers,使用方式可参考 。 支持了 。 支持了 。 关于 Kolors 模型的教学视频: ,作者:BlueBomm 。 ,作者:AI 算法工程师 01 。 ,作者:峰上智行 。 ,作者:设计师学 Ai 。 Kolors 模型能力总结:改进全面,有更强的中文文本编码器、机造的高质量文本描述、人标的高质量图片、强大的中文渲染能力,以及巧妙的 noise schedule 解决高分辨率图加噪不彻底的问题。实测效果很不错,在看到 Kling 视频生成的强大表现,能体现快手的技术实力。
2025-01-24
如何让文生图,做到风格一致,人物一致,场景风格一致,
要让文生图在风格、人物和场景风格上保持一致,可以参考以下方法: 1. 图片生成工具:可使用 Midjourney 进行图片生成。 2. 画面电影感: 画幅:常用 21:9 的画幅比例,其会影响构图和光影。 Prompt 风格后缀:例如“________.Shot on Sony Venice 2,muted color tones,green and dark gray,awardwinning composition,cinematic scenear 21:9”。 专用摄影机:在 Prompt 里可添加电影专用摄影机,如 RED Helium 8K 等。 3. 人物一致性: 对于主角,可先跑一张定妆照。 利用 Midjourney 的新功能 Cref 保持发型、人脸、衣服,但对亚洲人脸尤其是老人的一致性效果较差,且对画面审美和构图有一定破坏性,能不用则不用,如只有背影时简单描述即可。 4. 场景一致性:目前尚无很好的解决办法,基本随缘。 此外,还可参考以下方式: 1. 生成人物图片:确定人物形象,如“a little girl wearing a yellow floral skirt+人物动作+风格词”,在 Midjourney 中生成满意的人物图像,为确保人物一致性,取“iw 2”。 2. 合成人物和场景:使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(“iw 2”),在 Midjourney 中重新生图。
2025-01-23
如何书写文生视频提示词达到连贯效果 并且根据自己的运镜指导运镜
以下是关于如何书写文生视频提示词达到连贯效果并且指导运镜的方法: 1. 在 PixelDance V1.4 中,支持在 prompt 里写入运镜控制,可用自然语言描述想要的镜头变化,例如“镜头环绕口红拍摄”“黑白风格,镜头环绕着戴墨镜的女人拍摄,从她侧面移动到正面,最后聚焦于女人的面部特写”“雨后模糊的玻璃逐渐聚焦,一个男人举着伞,带着一只金毛犬路过”等。 2. 对于更复杂的视频项目,在为 Generate video(beta)编写提示词时,可提供背景或背景故事,有助于生成连贯且引人入胜的序列。同时,Firefly 通常可以模拟真实世界的摄像机工作,可具体说明希望摄像机的角度或移动,如常见的相机方向有特写、广角镜头、平移/缩放/跟踪、从天而降、从下方拍摄等。 3. 在制作商业级的 AI 视频广告时,以汽车内饰片段为例,登录 runway 账户,在首页左侧点击“Text/Imagine to Video”,上传图片,更改大模型版本,在提示词方框中输入运镜方式,如“Roll Clockwise Shot slowly”(摄像机围绕垂直轴顺时针旋转)。不想动脑时可根据分镜表建议填写运镜方式,也可参照“运镜方式大全”。注意提示词不宜过多,可通过改变提示词、生成时长等多尝试几次。
2025-01-23
国内文生图模型
以下是关于国内文生图模型的相关信息: Recraft 模型:用 8 个月自研模型,包含处理数据的模型、标注工作、训练 OCR 模型、新构建的数据集等。Recraft 生成带有长文本图像的流程图解,但存在生成默认是外国面孔而非亚洲面孔且生成的亚洲人不太自然的情况,可能与数据集有关。只有少数公司真正从头训练模型,创建自己的模型困难且成本高,需要超强团队和资金。 模型能力方面: 文本编码器的能力是文生图模型语义理解能力的关键。一开始大部分模型使用 CLIP 作为文本编码器,但存在一些问题。新的模型纷纷优化文本编码器能力,如引入更大更强的 T5XXL 或结合多个特征,但开源模型在中文生图方面能力一般。 腾讯开源的 HunyuanDiT 是较可用的中文生图模型,但仍存在优化空间。 Kolors 是最近开源的给力文生图模型,改进全面,技术实力强。
2025-01-21