Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

我想了解现在有什么文生图的模型或者工具,可以精准的按照prompt给的位置大小把文字写在最终出来的图像上的,这个字不会是幻觉,是实打实的字,或者有没有通过训练lora来达到这个效果的

Answer

以下是一些关于文生图的模型和工具的信息:

  • Tusiart:
    • 定主题:确定生成图片的主题、风格和表达的信息。
    • 选择基础模型 Checkpoint:可选用麦橘、墨幽等系列模型。
    • 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。
    • ControlNet:可控制图片中特定的图像。
    • 设置 VAE:选择 840000 。
    • Prompt 提示词:用英文写需求,单词和短语用英文半角逗号隔开。
    • 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语用英文半角逗号隔开。
    • 采样算法:一般选 DPM++2M Karras ,也可参考模型作者推荐的采样器。
    • 采样次数:选 DPM++2M Karras 时,采样次数在 30 - 40 之间。
    • 尺寸:根据需求和喜好选择。
  • 吐司网站:
    • 文生图的操作方式:在首页的对话生图对话框输入文字描述即可生成图片,不满意可通过对话修改。
    • 模型及生成效果:Flex 模型对语义理解强,不同模型生成图片的积分消耗不同,生成效果受多种因素影响。
    • 图生图及参数设置:可基于图片做延展,能调整尺寸、生成数量等参数,高清修复消耗算力多,建议先出小图。
    • 特定风格的生成:国外模型对中式水墨风等特定风格的适配可能不足,可通过训练 Lora 模型改善。
  • Liblibai:
    • 定主题:确定生成图片的主题、风格和表达的信息。
    • 选择 Checkpoint:可选用麦橘、墨幽等系列模型。
    • 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。
    • 设置 VAE:选择 840000 。
    • CLIP 跳过层:设成 2 。
    • Prompt 提示词:用英文写需求,单词和短语用英文半角逗号隔开。
    • 负向提示词 Negative Prompt:用英文写避免产生的内容,单词和短语用英文半角逗号隔开。
    • 采样方法:一般选 DPM++2M Karras ,也可参考模型作者推荐的采样器。
    • 迭代步数:选 DPM++2M Karras 时,迭代步数在 30 - 40 之间。
    • 尺寸:根据需求和喜好选择。
    • 生成批次:默认 1 批。
Content generated by AI large model, please carefully verify (powered by aily)

References

Tusiart简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。选择基础模型Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。ControlNet:控制图片中一些特定的图像,可以用于控制人物姿态,或者是生成特定文字、艺术化二维码等等。也是高阶技能,后面再学不迟。局部重绘:下篇再教,这里不急。设置VAE:无脑选择前面提到的840000这个即可。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样算法:这玩意儿还挺复杂的,现在我一般选DPM++2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障。采样次数:要根据你采样器的特征来,一般我选了DPM++2M Karras之后,采样次数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。

06-从0学生图

[heading2]总结关于AI生图的课程与分享:讨论了AI生图的学习课程安排,包括邀请白马老师授课、介绍相关工具网站吐司,还提及了AI工具的消费和应用情况等。AI绘图模型的介绍与比较:讨论了AI绘图中不同模型的特点、优势、应用场景以及在实际操作中的使用方法和技巧。关于AI绘图工具SD的介绍与应用:讨论了AI绘图工具SD的各种玩法、不同界面、模型分类及应用场景,强调了其在创意设计中的作用和优势。图像生成模型的发展与应用:讨论了不同图像生成模型的特点、发展历程、优势与应用,以及吐司网站的使用方法。关于吐司网站文生图功能的介绍与操作演示获取额外算力的方法:通过特定链接注册或填写邀请码BMSN,新用户7天内可额外获得100算力。文生图的操作方式:在首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。模型及生成效果:Flex模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。图生图及参数设置:可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。特定风格的生成:国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练Lora模型改善。

Liblibai简易上手教程

定主题:你需要生成一张什么主题、什么风格、表达什么信息的图。(没错我是喜欢看plmm多点)选择Checkpoint:按照你需要的主题,找内容贴近的checkpoint。一般我喜欢用模型大佬麦橘、墨幽的系列模型,比如说麦橘写实、麦橘男团、墨幽人造人等等,效果拔群。选择lora:在你想要生成的内容基础上,寻找内容重叠的lora,帮助你控制图片效果及质量。可以多看看广场上做得好看的帖子里面,他们都在用什么lora。设置VAE:无脑选840000那一串就行。CLIP跳过层:设成2就行。Prompt提示词:用英文写你想要AI生成的内容,不用管语法也不要写长句,仅使用单词和短语的组合去表达你的需求。单词、短语之间用英文半角逗号隔开即可。负向提示词Negative Prompt:用英文写你想要AI避免产生的内容,也是一样不用管语法,只需单词和短语组合,中间用英文半角逗号隔开。采样方法:这玩意儿还挺复杂的,现在一般选DPM++2M Karras比较多。当然,最稳妥的是留意checkpoint的详情页上,模型作者是否有推荐采样器,使用他们推荐的采样器会更有保障迭代步数:要根据你采样器的特征来,一般我选了DPM++2M Karras之后,迭代步数在30~40之间,多了意义不大还慢,少了出图效果差。尺寸:看你喜欢,看你需求。生成批次:默认1批。

Others are asking
文生营销图AI
以下是关于文生营销图 AI 的相关教程: Liblibai 简易上手教程: 1. 定主题:确定您需要生成的图片的主题、风格和要表达的信息。 2. 选择 Checkpoint:根据主题选择内容贴近的 Checkpoint,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. 设置 VAE:选择 840000 那一串。 5. CLIP 跳过层:设为 2。 6. Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开,无需语法和长句。 7. 负向提示词 Negative Prompt:用英文写要避免的内容,同样是单词和短语组合,用英文半角逗号隔开。 8. 采样方法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 9. 迭代步数:选 DPM++2M Karras 时,在 30 40 之间,多了意义不大且慢,少了效果差。 10. 尺寸:根据喜好和需求选择。 11. 生成批次:默认 1 批。 Tusiart 简易上手教程: 1. 定主题:确定图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的 Checkpoint,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet:用于控制图片中特定的图像,如人物姿态等,属于高阶技能。 5. 局部重绘:下篇再教。 6. 设置 VAE:选择 840000 那一串。 7. Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开,无需语法和长句。 8. 负向提示词 Negative Prompt:用英文写要避免的内容,同样是单词和短语组合,用英文半角逗号隔开。 9. 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 10. 采样次数:选 DPM++2M Karras 时,在 30 40 之间,多了意义不大且慢,少了效果差。 11. 尺寸:根据喜好和需求选择。 关于【SD】文生图提示词: 1. 避免使用太大的数值,如 1920x1080,可能导致奇怪构图,可使用高清修复放大图像倍率,记住高宽比主要控制画面比例。 2. 调整好参数后生成图片,若质感不足,可添加标准化提示词,如:,绘图,画笔等,让画面更趋近于固定标准。
2025-02-26
文生营销图
以下是关于文生营销图的相关知识: 一、Tusiart 简易上手教程 1. 定主题:明确生成图片的主题、风格和要表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet:可控制图片中特定的图像,如人物姿态、特定文字等,属于高阶技能。 5. 局部重绘:下篇再教。 6. 设置 VAE:无脑选择 840000 这个即可。 7. Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开,不用管语法和长句。 8. 负向提示词 Negative Prompt:用英文写要避免产生的内容,同样用单词和短语组合,用英文半角逗号隔开。 9. 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 10. 采样次数:选 DPM++2M Karras 时,采样次数在 30 40 之间。 11. 尺寸:根据个人喜好和需求选择。 二、文生图/文生视频技术发展路径与应用场景 1. 基于闭源模型的应用场景 2C 个人艺术创作:业余爱好者可利用 Midjourney 创造个性化艺术作品。 社交媒体内容:生成用于抖音、小红书、微信等平台的图片。 教育:辅助学生和老师学习。 娱乐与游戏:创建游戏角色或场景。 2B 设计:包括软件 UI、产品原型、室内、建筑、服装设计等。 营销:低成本大批量生成宣传物料,如 UU 跑腿团队的应用。 艺术:用于影视制作、二次元动漫、文章配图等。 三、文生图的提示词示例 一幅描绘和蔼庄重的观音菩萨的画作,菩萨身着色彩斑斓的红色服饰,脚下踏着莲花,一手持一根古朴的法杖,在深蓝色天空背景的映衬下身姿挺拔,身后有光环。色彩呈现出如彩虹般的渐变色,有淡绿色、黄色、粉色、紫色和橙色。细节清晰,以高清画质呈现。与传统宗教艺术风格不同,它展现出中国艺术家风格中的宏伟与庄严。 可使用的文生图模型包括:腾讯混元、luma、Recraft、文生图大模型 V2.1L(美感版)、美图奇想 5.0、midjourney、快手可图、Flux.1.1、Stable Diffusion 3.5 Large、Imagen 3 网页版。
2025-02-26
文生图的app
以下是一些文生图的相关信息: 大模型工具推荐:chatGPT 4.0、kimichat、智谱清言 4。 国内部分模型可以文生图,如智谱和文心。 在 Stable Diffusion 中获取大佬咒语的方法: 将照片导入,右边会自动弹出照片的信息,包括正面关键词、负面关键词等,可复制这些信息到“文生图”页面的关键词文本框中,点击生成按钮下的第一个小按钮,SD 会自动分配信息。 若导入照片后右边无信息,可用“标签器(Tagger)”生成照片的关键词。 Stability AI 推出基于 Discord 的媒体生成和编辑工具,文生图使用步骤: 点击链接进入官方 DISCORD 服务器:https://discord.com/invite/stablediffusion 。 进入 ARTISAN 频道,任意选择一个频道。 输入/dream 会提示没有权限,点击链接,注册登录,填写信用卡信息以及地址,点击提交,会免费试用三天,三天后开始收费。输入/dream 提示词,可选参数有五类,包括 prompt(必填项)、negative_prompt(选填项)、seed(选填项)、aspect(选填项)、model(选填项)、Images(选填项)。完成后选择其中一张。
2025-02-26
文生图的网站
以下是一些文生图的网站和相关信息: Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生图网站可以查看:https://www.waytoagi.com/category/38 。 此外,Stability AI 推出了基于 Discord 的媒体生成和编辑工具,文生图使用方法如下: 1. 点击链接进入官方 DISCORD 服务器:https://discord.com/invite/stablediffusion 。 2. 进入 ARTISAN 频道,任意选择一个频道。 输入/dream 会提示没有权限,点击链接,注册登录,填写信用卡信息以及地址,点击提交,会免费试用三天,三天后开始收费。 输入/dream 提示词,这部分和 MJ 类似。 和 MJ 手工输入参数不同,可选参数有五类: prompt(提示词):正常文字输入,必填项。 negative_prompt(负面提示词):填写负面提示词,选填项。 seed(种子值):可以自己填,选填项。 aspect(长宽比):选填项。 model(模型选择):SD3,Core 两种可选,选填项。 Images(张数):1 4 张,选填项。 完成后选择其中一张。 在 Stable Diffusion 中获取大佬咒语的方法:把照片导进去,它就能识别出来这张照片用到的咒语或者关键词。第一个是“PNG 图片信息”,把照片导进去,右边会自动弹出照片的信息,包括正面关键词、负面关键词,还有其他种子、大模型等信息。我们可以复制这一大串信息,来到“文生图”的页面,把全部信息粘贴到关键词的文本框中,然后点击“生成”按钮下面的第一个小按钮,SD 就会自动帮你把信息分配到合适的地方,用上一样的效果和模型。但有时导入照片后右边没有照片生成的信息,说明这张照片不是直接从 SD 下载下来的 PNG 格式的照片,此时可以用“标签器(Tagger)”来帮助生成照片的关键词。
2025-02-25
文生图历史
文生图技术的发展历史如下: 1. 早期发展(2014 年以前):最初的文生图尝试集中在将简单文本描述转化为图像。这些早期方法依赖于基本的图像处理技术和简单的模型,效果有限,生成的图像质量通常不高。 2. 深度学习的崛起(2014 年 2018 年):随着深度学习的发展,尤其是卷积神经网络(CNN)的成功应用,文生图模型开始采用神经网络来改进图像生成的质量和多样性。在这一时期,如生成对抗网络(GAN)及其变体层出不穷,开始被用于文生图任务,展示了生成更逼真图像的潜力。 3. 引入 Transformer(2019 年 2021 年):Transformer 架构原本在自然语言处理(NLP)领域取得巨大成功,开始被应用于文生图模型,提高模型处理复杂文本和生成高质量图像的能力。如 OpenAI 的 DALLE 模型,采用了 Transformer 结构来生成与文本描述匹配的图像,成为这一时期的标志性进展。与此同时,以 DDPM 为代表的工作,为 Diffusion Model 奠定了理论基础,众多基于 Transformer 和 Diffusion Model 的研究成果从 2021 下半年开始如雨后春笋般涌现。 4. LLM 与文生图模型的结合(2022 年 2023 年):大型语言模型(LLM)如 GPT3 开始与文生图模型结合,利用 LLM 强大的语言理解能力来提升图像生成的相关性和创造性。 文生图模型的演进历史整体上反映了计算机视觉(CV)和自然语言处理(NLP)的融合与发展。从早期的基础尝试到结合了深度学习、Transformer 和大型语言模型的先进方法,文生图模型在技术上实现了巨大的飞跃,不断延伸 AI 在艺术和创造力方面的边界。我们预计,未来的文生图模型将进一步提升在复杂文本理解和高质量图像生成方面的能力,为多模态交互和创意表达提供更加强大的工具。 此外,在星流一站式 AI 设计工具中,生图历史按照每日进行记录。点击日期对应的区域可以查看当日生成的图像,可通过输入提示词搜索相关的图像。点击单个图像可以查看具体的生图信息与参数一键导入使用。在生图历史中收藏的图像,会收集在特定区域。拖动图像可以直接导入无限画布。
2025-02-23
推荐几个文生图的工具
以下是一些文生图的工具推荐: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. MidJourney:因高质量的图像生成效果和用户友好的界面设计而受欢迎,在创意设计人群中流行。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。
2025-02-23
怎么学习提示词 prompt
以下是关于如何学习提示词(prompt)的全面指导: 一、理解提示词的作用 提示词向模型提供上下文和指示,其质量直接影响模型输出的质量,能让模型更准确地理解并完成所需任务。 二、学习提示词的构建技巧 1. 明确任务目标,用简洁准确的语言描述。 2. 给予足够的背景信息和示例,帮助模型理解语境。 3. 使用清晰的指令,如“解释”“总结”“创作”等。 4. 对特殊要求应给予明确指示,如输出格式、字数限制等。 三、参考优秀案例 研究和学习已有的优秀提示词案例,可在领域社区、Github 等资源中找到大量案例。 四、实践、迭代、优化 多与语言模型互动,根据输出提高提示词质量。尝试各种变体,比较分析输出差异,持续优化提示词构建。 五、活用提示工程工具 目前已有一些提示工程工具可供使用,如 Anthropic 的 Constitutional AI。 六、跟上前沿研究 提示工程是当前最前沿的研究领域之一,持续关注最新的研究成果和方法论。 七、具体学习步骤 1. 拥有一个大模型帐号,并熟悉与之对话的方式。推荐 ChatGPT4 及国产平替:。 2. 阅读 OpenAI 的官方文档:。 精心设计的提示词能最大限度发挥语言模型的潜力,多实践、多学习、多总结,终可掌握窍门。请注意,内容由 AI 大模型生成,请仔细甄别。
2025-02-26
生成 ppt 内容的 prompt
以下是关于生成 PPT 内容的 prompt 相关信息: 角色方面包括专业推特新闻小编、好评生成器、PPT 生成器、周报生成器、文章打分器、英文日文翻译员、分享卡片生成器、邮件优化大师、专业书评人等。 周三【workshop】一起写 Prompts 成果展示小组 1 中,作者夙愿提到: 该 prompt 主要解决输入一个主题帮老师生成 PPT(场景不定)的问题。 使用该 prompt 的是教师(生成)和学生(阅读)。 目前的最好解决方案包括:提炼教学内容的核心概念确定主题;确定主题后增加提纲;对提纲进行关键词描述;根据关键词书写提纲下的摘要;生成的课件提纲、内容让用户确认是否需要修改。 成熟的案例参考: step 1(根据 PPT 大纲助手 GPTs 生成 PPT 大纲):https://chat.openai.com/g/gOKorMBxxUpptdagangzhushou step 2(根据输入文本生成 PPT 内容 GPTs 生成 PPT 内容):https://chat.openai.com/g/gYJs9jxVBHshuruwenbenshengchengpptneirong step 3(将生成的内容复制到 Marp Web 渲染简洁的 PPT):https://web.marp.app/
2025-02-25
职场求职 prompt
以下是关于职场求职的相关内容: 岗位职责生成器:由小七姐创作,版本 1.3。可根据标准模板及用户需求,为从事人力资源岗位的初级用户快速生成岗位职责。需注意与用户对话时,考虑其经验和技能水平,生成的岗位职责应包含通用模块和业务专业模块。生成岗位职责后,可基于此提供 15 个面试问题,分任职资格、职业发展、业务能力三个模块。 AI 提示词工程师岗位技能要求: 本科及以上学历,计算机科学、人工智能、机器学习相关专业背景。 熟悉 ChatGPT、Llama、Claude 等 AI 工具的使用及原理,并具有实际应用经验。 熟练掌握 ChatGPT、Midjourney 等 AI 工具的使用及原理。 负责制定和执行 AI 项目,如 Prompt 设计平台化方法和模板化方法。 了解并熟悉 Prompt Engineering,包括常见的 Prompt 优化策略(例如 CoT、Fewshot 等)。 对数据驱动的决策有深入的理解,能够基于数据分析做出决策。 具有创新思维,能够基于业务需求提出并实践 AI first 的解决方案。 对 AI 技术与算法领域抱有强烈的好奇心,并能付诸实践。 对 AIGC 领域有深入的理解与实际工作经验,保持对 AI 技术前沿的关注。 具备一定的编程和算法研究能力,能应用新的 AI 技术和算法于对话模型生成。 具有一定的编程基础,熟练使用 Python、Git 等工具。 职场新人求助攻的案例:刚转正的 HR 要组织新员工培训,制造业公司新人 HR 要给 20 名 95 后校招生做入职培训等。 常见翻车急救包:如应对 AI 开始瞎编、答案太笼统、越改越跑偏等状况的方法。
2025-02-25
prompt 管理工具
以下是一些常见的 prompt 管理工具和相关网站: PromptPal: 开发指向: 特点: 专为 AI 领域中的初创公司和个人开发者设计。 作为集中化平台,便于在 AI 项目中管理提示,实现无缝协作和工作流程优化。 支持本地部署和云原生,架构轻量级。 简易设置,可通过 Docker 快速部署。 集成多种数据库解决方案。 提供 SDK 支持,简化不同语言的集成过程。 具备提示跟踪与分析功能。 提供协作工具。 ChainForge: 开发指向: 特点: 开源的可视化编程环境,用于测试大型语言模型的提示。 支持多模型测试,可同时查询多个 LLMs。 能进行响应质量比较,在不同提示、模型和设置之间比较。 可设置评估指标,可视化结果。 支持多对话管理,测试模板参数。 Promptknit: 网站: 文本类 Prompt 网站: LangChain Hub:提示词管理工具,LangChain 推出的提示词上传、浏览、拉取和管理的工具, 微软 Prompt Flow:微软发布的开源 LLM 开发工具集,简化基于 LLM 的人工智能应用程序的端到端开发周期, 未来力场:对 OpenAI 官方文档清晰解读, 其他 Prompt 相关网站: FlowGPT:国外最大的 prompt 站,内容全面,更新快, PromptPort(支持中文):AI Prompt 百科辞典,聚合市场上大部分优质的 prompt 词库, Learning Prompt:详尽的 Prompt 学习资源,包括 ChatGPT 和 MidJourney, ChatGPT Shortcut:提供众多 ChatGPT 提示词使用模板, ClickPrompt:轻松查看、分享和一键运行模型,创建 Prompt 并与他人分享, Prompt Extend:让 AI 帮你自动拓展 Prompt,
2025-02-25
prompts 是什么?
Prompts 是指以下内容: 1. 简单来说,是一套与大模型交互的语言模板。通过它可以输出对大模型响应的指令,明确大模型应做的任务、处理方式,并最终获得期望的结果。在大模型时代,它可能成为人机交互的主要方式之一,能提升模型返回的准确性。 2. 从更专业的角度看,大模型本质是基于语言的概率模型,若直接询问大模型而不提供 prompts,相当于模型随机给出答案。有了 prompts 则相当于提供了一个包含对模型要求、输入和输出限制的模板,使模型在限制下得出概率最大的答案。 3. 是一段用于指挥 AI 生成所需内容的指令,每个单独的提示词叫 tag(关键词)。支持英语,emoji 也可用。语法规则包括用英文半角符号逗号分隔 tag,可改变 tag 权重,还能进行 tag 的步数控制。
2025-02-25
如何构建属于自己的prompt
构建属于自己的 prompt 可以参考以下思路: 1. 明确构建目的:如为了节省力气,根据初始问题自动生成优质 prompt。 2. 遵循一定的流程: 按照特定的方法论,如参考 。 以清晰的结构和灵活的表达方式进行,例如对于视频模型 MiniMax 海螺 AI,可参考其提供的两类 prompt 参考公式。 3. 针对不同模型和需求选择合适的方式: 对于 Claude,可用 Lisp 或 Markdown 格式构建 prompt,直接打开 Claude 首页发送提示词进行初始化后使用。 对于视频创作,若没有明确的镜头呈现需求或期待激发创作灵感,可使用 Prompt 基础公式,即“要创建的主要表现物+场景空间+运动/变化”。 例如:“一只小狗在公园中奔跑”“一个女人打着伞在雨中的街头行走”“山谷中的一条小溪静静流淌”。
2025-02-24
lora
LoRA 相关信息如下: 模型微调: 微调脚本: LoRA 微调脚本见:,单机多卡的微调可通过修改脚本中的include localhost:0 来实现。 全量参数微调脚本见:。 加载微调模型: LoRA 微调:基于 LoRA 微调的模型参数见基于 Llama2 的中文微调模型,LoRA 参数需和基础模型参数结合使用。通过加载预训练模型参数和微调模型参数,示例代码中,base_model_name_or_path 为预训练模型参数保存路径,finetune_model_path 为微调模型参数保存路径。 全量参数微调:调用方式同模型调用代码示例,只需修改其中的模型名称或保存路径。 在 SD 中的应用: 儿童绘本风格插画:可以生成儿童绘本风格插画,起作用的主要是“KIDS ILLUSTRATION”风格 lora,可搭配不同大模型使用,如官方案例中的超拟真大模型“Realistic Vision”。 Fooocus 介绍:LoRA 模型默认放在 Fooocus_win64_1110\\Fooocus\\models\\loras。Fooocus 程序默认用到 3 个 SDXL 的模型,包括一个 base、一个 Refiner 和一个 LoRA。单独安装时需下载三个模型,如 SDXL 基础模型:https://huggingface.co/stabilityai/stablediffusionxlbase1.0/resolve/main/sd_xl_base_1.0_0.9vae.safetensors 等。若部署了 SD 秋叶包,可共用模型(大模型和 LoRA),修改 Fooocus_win64_1110\\Fooocus\\modules\\path.py 文件中的路径,配置好后点击 run.bat 文件启动。
2025-02-22
主流的LORA 训练工具是什么?
主流的 LORA 训练工具包括: 1. B 站 UP 主“朱尼酱”的赛博丹炉,其界面友好、美观,适合新手入门。 2. 训练器,支持 Kolors 开源模型。 3. Kolors+Refiner,由 AIKSK 开发的工作流应用。 4. Kolors可图大模型XL 精修工作流,由@AiARTiST 非人类开发。 5. kolors+SDXL 细节修复+instant+ipa,由@谷尘 DesignDog 开发。 6. kolors 一键设计中文海报,由亦诚视觉开发。 7. ,魔搭社区官方模型。 8. InstantIDKolors 专属模型,由 InstantX 开发。
2025-02-18
LORA是什么
LoRA 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面,通过其帮助,可以再现人物或物品的特征。 大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原有的模型中插入新的数据处理层的方式,避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素,比如一个固定的人物相貌、特定的服装或者是特定的风格,这样就可以生成不同于底模的图片。 所以,lora 训练比较轻量化,需要的显存较少,硬件门槛显存达到 6G 就可以开启训练。
2025-02-17
有没有lora怎么使用的教程
以下是关于 Lora 使用的教程: 1. 港风胶片 Lora 模型使用方法: 方法 1:利用上一期活动图片反推工作流,使用唯美港风图片进行反推提示词,在大模型后接一个墨悠_胶片 Lora。上一期活动链接:。胶片 Lora 链接:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 方法 2:利用抱脸的 joycaption 图片反推提示词,然后在哩布上跑 flux 文生图工作流。 joycaption 链接(需要魔法):https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 文生图工作流: 在哩布上跑文生图:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 2. Comfyui SDXLLightning 中 Lora 的使用: SDXLLightning 是字节跳动推出的高速文本生成图像模型,包含完整的 UNet 和 LoRA 检查点。用户可以使用 Diffusers 和 ComfyUI 等框架进行配置。模型地址:https://huggingface.co/ByteDance/SDXLLightning/tree/main 。 实际使用时,拿 Lora 的使用来做介绍,使用方法和平常的 Lora 用法一样,但需要注意 CFG 值需要调小,一般设置为 1,另外步数设置根据使用的 Lora 步数为准。 3. Stable Diffusion 中 Lora 的使用: 当想要生成多张同一张脸的照片时,需要用到 Lora 模型。Lora 可以固定照片的特征,如人物特征、动作特征、照片风格。 点击“生成”下面的第三个按钮,弹出新的选项框,找到 Lora,就会出现下载保存到电脑的 Lora 模型。 点击要用的 Lora,会自动添加到关键词的文本框里面。Lora 可以叠加使用,但建议新手不要使用太多 Lora,每个 Lora 后面的数字用于调整权重,一般只会降低权重。 选择 Lora 时,要根据最开始想要生成的照片类型来选择,比如想生成真人模特,对应的 Lora 也要选用真人模特。
2025-02-17
flux lora训练
以下是关于 Flux 的 Lora 模型训练的详细步骤: 模型准备: 1. 下载所需模型:t5xxl_fp16.safetensors、clip_l.safetensors、ae.safetensors、flux1dev.safetensors。 注意:不使用时存放位置不限,只要知晓路径即可。训练时建议使用 flux1dev.safetensors 版本的模型和 t5xxl_fp16.safetensors 版本的编码器。 下载脚本: 1. 网盘链接: 夸克网盘链接:https://pan.quark.cn/s/ddf85bb2ac59 百度网盘链接:https://pan.baidu.com/s/1pBHPYpQxgTCcbsKYgBi_MQ?pwd=pfsq 提取码:pfsq 安装虚拟环境: 1. 下载完脚本并解压。 2. 在文件中找到 installcnqinglong.ps1 文件,右键选择“使用 PowerShell 运行”。 3. 新手在此点击“Y”,然后等待 1 2 小时的下载过程。下载完成后会提示是否下载 hunyuan 模型,选择“n”不用下载。 数据集准备: 1. 进入厚德云 模型训练 数据集:https://portal.houdeyun.cn/sd/dataset 2. 创建数据集:在数据集一栏中,点击右上角创建数据集,输入数据集名称。 可以上传包含图片 + 标签 txt 的 zip 文件,也可以上传只有图片的文件(之后可在 c 站使用自动打标功能),或者一张一张单独上传照片。建议提前将图片和标签打包成 zip 上传,Zip 文件里图片名称与标签文件应当匹配,例如:图片名“1.png”,对应的达标文件就叫“1.txt”。 上传 zip 以后等待一段时间,确认创建数据集。返回到上一个页面,等待一段时间后上传成功,可以点击详情检查,可预览到数据集的图片以及对应的标签。 Lora 训练: 1. 点击 Flux,基础模型会默认是 FLUX 1.0D 版本。 2. 选择数据集,点击右侧箭头,会跳出所有上传过的数据集。 3. 触发词可有可无,取决于数据集是否有触发词。模型效果预览提示词则随机抽取一个数据集中的标签填入即可。 4. 训练参数这里可以调节重复次数与训练轮数,厚德云会自动计算训练步数。如果不知道如何设置,可以默认 20 重复次数和 10 轮训练轮数。 5. 可以按需求选择是否加速,点击开始训练,会显示所需要消耗的算力。 6. 等待训练,会显示预览时间和进度条。训练完成会显示每一轮的预览图。鼠标悬浮到想要的轮次模型,中间会有个生图,点击会自动跳转到使用此 lora 生图的界面。点击下方的下载按钮则会自动下载到本地。 数据集存放位置:.Flux_train_20.4\\train\\qinglong\\train 运行训练:约 1 2 小时即可训练完成。 验证和 lora 跑图:有 ComfyUI 基础的话,直接在原版工作流的模型后面,多加一个 LoraloaderModelOnly 的节点就可以,自行选择您的 Lora 和调节参数。
2025-02-17
lora是什么
Lora 全称 LowRank Adaptation Models,中文翻译为低阶自适应模型。它的作用在于影响和微调画面,通过其帮助,可以再现人物或物品的特征。大模型的训练通常复杂且对电脑配置要求高,而 LoRA 采用在原有的模型中插入新的数据处理层的方式,避免了修改原有模型的参数。LORA 模型训练是用一些特定特征来替换大模型中的对应元素,比如固定的人物相貌、特定的服装或者特定的风格,这样就可以生成不同于底模的图片。所以,lora 训练比较轻量化,需要的显存较少,硬件门槛显存达到 6G 就可以开启训练。例如,有利用新版 SDXL 生成的 lora——针线娃娃,它可以把一些常见的形象制作成毛线编制的样子,这个 lora 需要使用 SDXL1.0 的模型才可以运行,触发词是 BJ_Sewing_doll。还有如“KIDS ILLUSTRATION”这样的风格 lora ,可以搭配不同的大模型生成儿童绘本风格的插画。
2025-02-10