Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

通过图反向退出提示词

Answer

在 Stable Diffusion(SD)中,通过图反向退出提示词有以下几种情况:

  1. 图生图功能除了文本提词框外还有图片框输入口,可通过图片给与 AI 创作灵感。随便照一张照片拖入,文本输入框旁有两个反推提示词的按钮,CLIP 可通过图片反推出完整含义的句子,DeepBooru 可反推出关键词组。例如一张图通过两种反推方式得到的提示词分别为:CLIP——“a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art”;DeepBooru——“shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers”。但两种方式生成的提示词可能有瑕疵,需要手动补充信息,调整宽度和高度,使红框匹配图片,还要注意提示词相关性和重绘幅度这两个参数。
  2. 去除图像人物时,将图放入 WD 1.4 标签器中裁剪只保留背景部分,然后反推提示词,如“outdoors,no humans,tree,scenery,grass,sky,cloud,day,blue sky,mountain,road,house,path,building,nature,cloudy sky”,检查无误后发送到文生图中,开启 ControlNet,使用 inpaint 模型涂抹人物部分生成。可调整控制权重和控制模式来优化效果。
  3. 进行角色设计时,设置文生图提示词,如大模型“majicmixRealistic_v6.safetensors”,正向提示词“(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography”,负向提示词“EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w”,设置参数如迭代步数 50、采样方法 DPM++ 2M Karras、尺寸 1328×800px 后出图,可得到 15 个不同角度的人物图片。
Content generated by AI large model, please carefully verify (powered by aily)

References

【SD】真人转二次元?图生图如此强大

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-02 20:00原文网址:https://mp.weixin.qq.com/s/l-O9vT9-_xzy0uvxnkjV-w相比于文生图,图生图功能除了文本提词框以外还多了一个图片框的输入口,因此,我们还可以通过图片来给与AI创作的灵感。我们随便照一张照片,直接拖入进来。然后可以看到,在文本输入框的旁边有两个反推提示词的按钮:CLIP是可以通过图片反推出完整含义的句子;DeepBooru是可以反推出关键词组。上面的那一张图,我们通过两种反推方式得到的提示词分别为:CLIP——a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art。(一个小男孩坐在长凳上,旁边的地板上放着一辆玩具火车和一辆乐高火车,亚当·雷克斯,详细的产品照片,一张库存照片,莱科艺术,)DeepBooru——shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers。(鞋子,独奏,帽子,橙色背景,黄色背景,微笑,袜子,黑发,坐着,运动鞋)可以看到两种方式生成的提示词都有些瑕疵,比如第一组里面没有描述小孩的穿着,第二组里面没有描述小孩的性别和周围的物品,所以我们需要手动来补充提示词的信息。写好提示词之后,我们再调整一下宽度和高度,让这个红框刚好匹配我们的图片即可。接下来,最重要的是这两个参数:提示词相关性和重绘幅度。

【SD】最强控制插件ControlNet(6)全局重绘inpaint

有时候,我们需要去掉画面中的主体形象,填补上相对复杂的背景,这个需求可以使用inpaint重绘功能来实现。我们首先将这张图放入WD 1.4标签器(Tagger)中,对图像进行裁剪,只保留背景的部分,然后进行反推提示词。这张图片的反推提示词如下:outdoors,no humans,tree,scenery,grass,sky,cloud,day,blue sky,mountain,road,house,path,building,nature,cloudy sky。检查一下,如果问题不大就可以发送到文生图中。开启ControlNet,使用inpaint模型,涂抹人物的部分,点击生成。修补完之后,人物的部分确实已经去掉了,草地、桥梁、山也填补得比较完美,但是画面风格好像有点不太一样。我尝试将控制权重提高到2,来尽可能保留原图的风格,控制模式改为更注重提示词。这样,除了颜色饱和度比较明亮以外,整体修补得还是不错的,颜色方面可以通过后期的PS去调整。我们再试试图生图中的“局部重绘”功能,同样的方法,涂抹掉人物的部分。可以看到,虽然风格保持了一致,但是填补得并不好看,在原本人物的部位,生成了一些奇怪的东西。

【SD】角色设计的福音!绘制一致性多角度头像

设置文生图提示词:大模型:majicmixRealistic_v6.safetensors正向提示词:(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography,负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w,设置一下参数:迭代步数:50采样方法:DPM++ 2M Karras尺寸:1328×800px出图!15个不同角度的人物图片,大概看下来基本就是同一个人,没毛病。

Others are asking
文生图反向推出提示词
在文生图中,反向推出提示词的方式主要有以下几种: 1. 在图生图功能中,除了文本提词框外,还有图片框输入口。随便照一张照片拖入后,文本输入框旁边有两个反推提示词的按钮:CLIP 可以通过图片反推出完整含义的句子;DeepBooru 可以反推出关键词组。例如一张小男孩坐在长凳上的图片,通过 CLIP 反推得到的提示词为“a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art”,通过 DeepBooru 反推得到的提示词为“shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers”。但这两种方式生成的提示词可能存在瑕疵,需要手动补充信息。补充好提示词后,调整宽度和高度,使红框刚好匹配图片,同时注意两个重要参数:提示词相关性和重绘幅度。 2. 利用上一期活动图片反推工作流,使用唯美港风图片进行反推提示词,在大模型后接一个相关模型。上一期活动链接:。 3. 利用抱脸的 joycaption 图片反推提示词,然后在哩布上跑 flux 文生图工作流。joycaption 链接(需要魔法):https://huggingface.co/spaces/fancyfeast/joycaptionprealpha 。文生图工作流: 。在哩布上跑文生图:https://www.liblib.art/modelinfo/e16a07d8be544e82b1cd14c37e217119?from=personal_page 。 在写文生图的提示词时,例如“”。
2024-11-22
有什么根据图片反向输出 Prompt的工具么
以下是一些根据图片反向输出 Prompt 的工具: prompter: IMI Prompt:支持多种风格和形式的详细的 MJ 关键词生成器, Prompt Hero:好用的 Prompt 搜索,Search prompts for Stable Diffusion, ChatGPT & Midjourney, OpenArt:AI 人工智能图像生成器, img2prompt:根据图片提取 Prompt, MidJourney 提示词工具:专门为 MidJourney 做的提示词工具,界面直观易用, PromptBase:Prompt 交易市场,可以购买、使用、销售各种对话、设计 Prompt 模板, AiTuts Prompt:精心策划的高质量 Midjourney 提示数据库,提供了广泛的不同风格供选择,
2024-08-17
在sd中防止多人出现的反向提示词
我总结了以下几点在 Stable Diffusion 中防止多人出现的反向提示词: 1. 使用"solo"、"single figure"等关键词 在提示词中加入"solo"、"single figure"等词语,可以指示生成单个人物,而不是多人场景。这有助于避免生成包含多个人物的图像。 2. 限制人物数量 在提示词中明确指定生成单个人物,例如"a person", "a woman"等,而不是使用诸如"people"、"group"等词语。这可以有效限制生成的人物数量。 3. 避免使用集体词汇 在提示词中尽量避免使用"crowd"、"group"、"team"等集体性词汇,这些词容易引导生成包含多个人物的图像。 4. 使用负面提示词 在提示词中加入"no multiple people"、"avoid group shots"等负面提示词,明确告知模型不要生成包含多人的图像。这可以有效抑制多人出现的情况。 5. 结合其他限制条件 除了人物数量限制,还可以在提示词中加入其他限制条件,如特定的背景、场景、服饰等,进一步缩小生成范围,避免出现多人的情况。 总的来说,在 Stable Diffusion 中防止多人出现,需要在提示词中采取明确的限制措施,包括使用特定关键词、限制人物数量、避免集体词汇以及加入负面提示等方式。通过这些手段,可以更好地控制生成结果,避免出现不符合需求的多人图像。
2024-05-01
如何应用提示词
以下是关于如何应用提示词的全面指导: 一、理解提示词的作用 提示词向模型提供上下文和指示,其质量直接影响模型输出的质量。 二、学习提示词的构建技巧 1. 明确任务目标,用简洁准确的语言描述。 2. 给予足够的背景信息和示例,帮助模型理解语境。 3. 使用清晰的指令,如“解释”“总结”“创作”等。 4. 对特殊要求应给予明确指示,如输出格式、字数限制等。 三、参考优秀案例 研究和学习已有的优秀提示词案例,可在领域社区、Github 等资源中获取。 四、实践、迭代、优化 多与语言模型互动,根据输出提高提示词质量。尝试各种变体,比较分析输出差异,持续优化提示词构建。 五、活用提示工程工具 目前已有一些提示工程工具可供使用,如 Anthropic 的 Constitutional AI。 六、跟上前沿研究 提示工程是当前前沿研究领域之一,持续关注最新成果和方法论。 七、在星流一站式 AI 设计工具中的应用 1. 在 prompt 输入框中输入提示词,可使用图生图功能辅助创作。 2. 了解提示词的定义:用于描绘想生成的画面,支持中英文输入。 3. 掌握写好提示词的方法: 内容准确,包含人物主体、风格、场景特点、环境光照、画面构图、画质等。 调整负面提示词,帮助 AI 理解不想生成的内容。 利用“加权重”功能,让 AI 明白重点内容。 可使用预设词组,小白用户可点击进行生图。 4. 善用辅助功能,如翻译功能、删除所有提示词、会员加速等。 精心设计的提示词能最大限度发挥语言模型的潜力,多实践、多学习、多总结,终可掌握窍门。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2025-01-06
如何写出高效提示词 prompt
以下是关于如何写出高效提示词 prompt 的一些建议: 1. 明确任务:清晰地定义任务,例如写故事时包含故事背景、角色和主要情节。 2. 提供上下文:若任务需要特定背景知识,在 prompt 中提供足够信息。 3. 使用清晰语言:尽量用简单、清晰的语言描述,避免模糊或歧义词汇。 4. 给出具体要求:如有特定格式或风格要求,在 prompt 中明确指出。 5. 使用示例:若有特定期望结果,提供示例帮助 AI 理解需求。 6. 保持简洁:尽量使 prompt 简洁明了,避免过多信息导致困惑。 7. 使用关键词和标签:有助于 AI 理解任务主题和类型。 8. 测试和调整:生成文本后仔细检查结果,根据需要调整 prompt,可能需要多次迭代。 此外,还需注意以下几点: 对于星流一站式 AI 设计工具: 输入语言方面,不同基础模型对输入语言有不同要求,有的使用自然语言,有的使用单个词组,且支持中英文输入。 写好提示词可参考:利用预设词组、保证内容准确(包含人物主体、风格等要素)、调整负面提示词、利用“加权重”功能突出重点内容,还可使用辅助功能如翻译、删除所有提示词、会员加速等。 Prompt 的专场教程 基础篇: Prompt 是用于指挥 AI 生成所需内容的一段指令,每个单独的提示词叫 tag(关键词)。 支持英语和 emoji,可参考提示词字典。 语法规则包括用英文半角符号逗号分隔 tag,改变 tag 权重有两种写法,还可进行 tag 步数控制。
2025-01-06
提示词的模版化
以下是关于提示词模板化的相关内容: 提示词相关资源: Majinai: 词图: Black Lily: Danbooru 标签超市: 魔咒百科词典: AI 词汇加速器: NovelAI 魔导书: 鳖哲法典: Danbooru tag: AIBooru: 简单的提示词模板: 最终目标是把需求说清楚。例如: GPTs 提示词模板。 案例:Act like a SEO Professional Writer(你是一个 SEO 专家),I need a optimized blog post(我需要一篇优化的博客文章),you will research keywords and incorporate them naturally into the content(你将研究关键字并将它们自然地融入内容中),in the process,you should focus on readability,relevance and proper keyword placement(在这个过程中,你应该关注可读性、相关性和正确的关键词位置),please avoid keyword stuffing or overoptimisation(请避免关键字堆砌或过度优化),input the final result in a well structured format(以结构良好的格式输入最终结果),here is an example:title"Top 10 Tips for Effective SEO Writing:Boost Your Content's Visibility"(这里有一个例子:标题“有效 SEO 写作的 10 大技巧:提高你的内容的知名度”),完整 prompt:Act like a SEO Professional Writer,I need a optimized blog post,you will research keywords and incorporate them naturally into the content,in the process,you should focus on readability,relevance and proper keyword placement,please avoid keyword stuffing or overoptimisation,input the final result in a well structured format,here is an example:title"Top 10 Tips for Effective SEO Writing:Boost Your Content's Visibility" 提示词母体系列(2)的模板构成: 在掌握人物设计整体框架后编写提示词,可借鉴替换方式替换模板。 约束部分:规则放顶部加强约束,底部也有相应约束,整体约束包裹具体提示词以提示模型专注性。 模板结构: 基本信息:包含姓名、性别、年龄和职业,为其他特征奠定基础。 外貌特征:描述物理外观,创造视觉形象。 背景和经历:与基本信息相关,阐述成长环境和重要经历,提供行为和思维方式背景。 性格和价值观:包括性格特征、核心价值观和个人习惯,塑造内在世界。 爱好、特长和语言风格:融合兴趣爱好、特殊才能和表达方式,展现多面性。 人际关系和社交活动:描述社交圈,揭示社会定位和互动方式。 未来规划和目标:勾勒梦想和未来计划,赋予前进动力和方向。
2025-01-06
提示词的模版化
以下是关于提示词模板化的相关内容: 提示词相关资源: Majinai: 词图: Black Lily: Danbooru 标签超市: 魔咒百科词典: AI 词汇加速器: NovelAI 魔导书: 鳖哲法典: Danbooru tag: AIBooru: 简单的提示词模板: 最终目标是把需求说清楚。 示例:Act like a ) 提示词母体系列(2):再进阶,一分钟创建你的拟人化小助理 模板构成: 在掌握人物设计整体框架后编写提示词,可借鉴替换方式替换模板。 约束部分:规则放顶部加强约束,底部也有相应约束,包裹具体提示词以提示模型专注性。 模板结构: 基本信息:包含姓名、性别、年龄和职业,为其他特征奠定基础。 外貌特征:描述物理外观,创造视觉形象。 背景和经历:与基本信息相关,阐述成长环境和重要经历,提供行为和思维方式背景。 性格和价值观:包括性格特征、核心价值观和个人习惯,塑造内在世界。 爱好、特长和语言风格:融合兴趣爱好、特殊才能和表达方式,展现多面性。 人际关系和社交活动:描述社交圈,揭示社会定位和互动方式。 未来规划和目标:勾勒梦想和未来计划,赋予前进动力和方向。
2025-01-06
提示词的常见结构
提示词常见的结构包括以下几种: 1. 视频模型 Vidu 的提示词结构: 基本构成:主体/场景——场景描述——环境描述——艺术风格/媒介。需调整句式和语序,避免主体物过多/复杂、分散的句式描述,避免模糊术语表达,使用流畅准确的口语化措辞,避免过度文学化叙述,丰富、准确和完整的描述以生成特定艺术风格、满足需求的视频。 与画面联想程度的说明:以单帧图像为例,通过具体详实的位置描述/环境描述进行构图,帮助构建画面基本呈现效果;通过艺术风格描述进一步提升效果和氛围,统一画面风格。 2. DALL·E 自动优化提示词结构: 提示词生成指南:强调使用精确、视觉化的描述而非难以捉摸的概念,清晰明确的指示有助于生成高质量图像。 提示词结构:是一个包括媒介、主题、背景、风格特点等多个元素的模板。媒介指定图像应模仿的艺术形式;主题是图像焦点,包括颜色、姿势和视角等;背景描述主题与环境的关系,包括时间、光线方向等;风格特点包括图像的独特艺术特点。还提供了生成图像和提出新想法的具体步骤和要求,默认设置除非另有说明会使用默认宽高比和风格,同时提醒避免使用违反服务条款的词语或概念。 3. Runway 提示词结构: 基本提示:纯文本提示遵循清晰结构,将相机运动、场景和主题的细节划分为单独部分时最有效。非纯文本提示为图片+基本提示词结构,使用输入图像时应专注描述希望在输出中看到的动作,而非图像内容。
2025-01-06
提示词工程技术
提示词工程师(Prompt Engineer)是在与人工智能模型交互时,负责设计和优化提示的专业人员。他们的目标是通过精心构造的提示,引导模型产生准确、有用和相关的回答。 提示词工程师的主要职责包括: 1. 设计提示:根据用户需求和模型能力设计有效的提示,考虑提示的长度、结构、措辞和信息量等因素,以清晰传达用户意图并引导模型生成满意结果。 2. 优化提示:通过收集用户反馈、分析模型结果和实验不同的提示策略等方式不断优化提示,提高模型性能。 3. 评估提示:使用各种指标如模型的准确率、流畅度和相关性等来评估提示的有效性。 提示词工程师需要具备以下技能和知识: 1. 领域知识:对所工作的领域有深入了解,以便设计出有效的提示。 2. 自然语言处理(NLP):了解 NLP 的基本原理和技术,能够理解和生成自然语言文本。 3. 人工智能(AI):了解 AI 的基本原理和技术,能够理解和使用 AI 模型。 4. 沟通能力:具备良好的沟通能力,与用户、团队成员和其他利益相关者有效沟通。 以下是一些提示词工程师工作的实际案例: 在推理任务方面,目前对于大语言模型来说具有挑战性,但通过更高级的提示词工程技术可以改进。例如在涉及数学能力的推理任务中,通过设计不同的提示词和示例来展示算术功能。 在实现让 LLM 获得 tool calling 的功能方面,采用的提示词工程主要有两部分代码组成:提示词注入和工具结果回传。提示词注入用于将工具信息以及使用工具的提示词添加到系统提示中,包含 TOOL_EAXMPLE、tools_instructions、REUTRN_FORMAT 三个部分。工具结果回传则是解析 tool calling 的输出,并将工具返回的内容再次嵌入 LLM。利用正则表达式抓取输出中的“tool”和“parameters”参数,对于不同工具采用相应的处理方式。通过以上提示词工程,可以避免微调,让完全没有 tool calling 能力的 LLM 获得稳定的 tool calling 能力。 提示词工程师是一个新兴的职业,随着人工智能技术的不断发展,对提示词工程师的需求将会越来越大。
2025-01-06