直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图片生成线稿图

回答

以下是关于图片生成线稿图的相关内容:

ControlNet 中的线稿相关功能:

  • lineart 线稿提取:是 ControlNet 1.1 版本新出的预处理和模型,可能是目前最强的线稿上色功能。可先通过 invert 预处理将白底黑线处理成黑底白线,再切换到 lineart 预处理器和模型进行生成。
  • mlsd 直线线条检测:一般用于建筑或室内设计,能提炼出室内的结构线。

使用多种 AI 工具组合生成线稿图:

  • 可以用 Midjourney 生成线稿,PS 做修正,再用 ControlNet 控制,Stable Diffusion 上色。

ControlNet 中可用的预处理/模型:

  • canny:用于识别输入图像的边缘信息。
  • depth:用于识别输入图像的深度信息。
  • hed:用于识别输入图像的边缘信息,边缘更柔和。
  • mlsd:对横平竖直的线条敏感,适用于室内图生成。
  • normal:用于识别输入图像的法线信息。
  • openpose:用于识别输入图像的动作信息,OpenPose Editor 插件可自行修改姿势并导出到文生图或图生图。
  • scribble:将输入图像作为线稿识别,若线稿是白色背景,务必勾选“Invert Input Color”。
  • fake_scribble:识别输入图像的线稿,然后再将它作为线稿生成图像。
  • segmentation:识别输入图像各区域物品类型,再用此构图信息生成图像。

如果想绘制符合 segmentation 规范的图像,可以使用color_coding_semantic_segmentation_classes - Google 表格 中的色表绘制。

相关模型文件可添加公众号【白马与少年】,回复【SD】获取。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【SD】最强控制插件ControlNet(1)附模型下载

lineart线稿提取:这个是ControlNet1.1版本新出的预处理和模型,可能是ControlNet目前最强的线稿上色功能了。我从花瓣上找了一张线稿图来试验一下,这幅线稿来自画师“原画人”的创作。我们可以先通过invert预处理将白底黑线处理成黑底白线,因为ControlNet中都是黑色作为背景。然后,将处理好的图拖到左边重新载入,切换到lineart预处理器和模型进行生成。文生图关键词填写——(Best quality,masterpiece),((girl)),solo,Blue hair,white clothes,white background。点击生成,得到上色稿。我接着用canny模型也绘制了一遍,可以对比一下这两款模型上色的差别,大家自己感受一下。mlsd直线线条检测:这个线条检测和之前的几个有一些不同,它一般用在建筑或者室内设计上。可以看到,这个预处理器提炼出了这个室内的结构线。我们输入关键词:木制、简约、无印良品。点击生成4张图,得到了与原图结构一致的设计图。好了,今天我们介绍了ControlNet中关于线条约束类的预处理器和模型。这些模型文件我也整理好了,如果想要这些模型的话,可以添加我的公众号【白马与少年】,回复【SD】即可。最后附上一张图,可以帮助大家理解ControlNet模型的命名规则,以便能够正确地使用模型。-END-白马与少年

教程:线稿上色Midjourney+Stable Diffusion

在学习AI绘画这段时间,发现AI绘画并不会完全替代设计师,而是可以让出图质量更好,效率更高。比如上面是用midjourney生成线稿,PS稍微做一些修正,再用controlnet控制,stable diffusion上色,多套AI组合拳,可以快速生成效果惊艳的图作者:三思先欣赏下作品

SD新手:入门图文教程

canny用于识别输入图像的边缘信息。depth用于识别输入图像的深度信息。hed用于识别输入图像的边缘信息,但边缘更柔和。mlsd用于识别输入图像的边缘信息,一种轻量级的边缘检测。它对横平竖直的线条非常敏感,因此更适用于于室内图的生成。normal用于识别输入图像的法线信息。openpose用于识别输入图像的动作信息。OpenPose Editor插件可以自行修改姿势,导出到文生图或图生图。scribble将输入图像作为线稿识别。如果线稿是白色背景,务必勾选“Invert Input Color”fake_scribble识别输入图像的线稿,然后再将它作为线稿生成图像。segmentation识别输入图像各区域分别是什么类型的物品,再用此构图信息生成图像。如果想绘制一张符合segementation规范的图像,可以使用以下色表绘制。[color_coding_semantic_segmentation_classes - Google表格](https://link.zhihu.com/?target=https%3A//docs.google.com/spreadsheets/d/1se8YEtb2detS7OuPE86fXGyD269pMycAWe2mtKUj2W8/edit%23gid%3D0)

其他人在问
ai将二维线稿生成三维图像
以下是关于将二维线稿生成三维图像的相关知识: 关键词和主题描述: 为生成想要的图像,可将图片内容分为二维插画和三维立体两种形式。 主题描述时,可描述场景、故事、元素、物体或人物细节等。比如一个动物园,里面有老虎、狮子等;一个女孩在森林里搭帐篷,要注意对场景中的人物进行独立描述,拆分元素,避免一长串文字,否则 AI 可能识别不到。 设计风格: 设计师较难直接表达设计风格,可找风格类关键词参考或垫图/喂图,让 AI 结合主题描述生成相应风格的图片。 研究某些材质如玻璃、透明塑料等的关键词时,会发现其中门道很多,需针对某一种风格单独进行“咒语测试”。 生成三维图像的相关公司和技术: 往创建 3D 模型方向发展的初创公司包括 Kaedim、Mirage 和 Hypothetic 等,大公司如 Nvidia 的 Get3D 和 Autodesk 的 ClipForge 也在关注。 Kaedim 公司总部在伦敦,主要通过 2D 图像生成 3 维模型。 像 BariumAI、Ponzu 和 ArmorLab 等公司在三维纹理生成领域努力。 线稿相关的 AI 应用: 可以用 Midjourney 生成线稿,PS 修正错误,再用 ControlNet 控制,Stable Diffusion 上色,多套 AI 组合提高出图质量和效率。
2024-11-02
我需要一键转换线稿的ai
目前暂时没有直接能一键转换线稿的通用 AI 工具。但在 AI 绘画领域,有一些工具和技术可以帮助您实现类似的效果。例如,通过使用特定的 AI 绘画软件,您可以输入相关的描述和设置,来生成接近线稿的图像。不过,这可能需要您进行一定的尝试和调整,以获得满意的结果。
2024-08-20
辅助生成电商图片的 AI 工具
以下是一些辅助生成电商图片的 AI 工具: 1. Midjourney 新编辑器: 玩法一:产品海报设计。将可乐等产品图片导入编辑器,通过简单操作和写提示词,生成不同风格的海报。 玩法二:家具材质变化。在电商家具展示中,利用图像重纹理化模式快速为沙发等换上各种材质。 玩法三:艺术字体海报。通过白底字体图,利用图像重纹理化模式变换成各种炫酷的字体海报风格。建议使用竖版白底文字图。详细操作请点击→ 2. CADtools 12:Adobe Illustrator(AI)插件,为 AI 添加 92 个绘图和编辑工具,包括图形绘制、编辑、标注、尺寸标注、转换、创建和实用工具。 3. Autodesk Fusion 360:集成了 AI 功能的云端 3D CAD/CAM 软件,能创建复杂几何形状和优化设计。 4. nTopology:基于 AI 的设计软件,可创建复杂 CAD 模型,包括拓扑优化、几何复杂度和轻量化设计等。 5. ParaMatters CogniCAD:基于 AI 的 CAD 软件,能根据用户输入的设计目标和约束条件自动生成 3D 模型,适用于拓扑优化、结构设计和材料分布等领域。 6. 生成设计工具:一些主流 CAD 软件,如 Autodesk 系列、SolidWorks 等,提供基于 AI 的生成设计工具,可根据用户输入自动产生多种设计方案。 此外,在电子商务领域,像可以编写经过 SEO 优化的产品描述。未来,预计用户仅通过描述期望的审美并点击按钮,就能创建一个完整的电商商店及用于市场营销的材料。
2024-11-02
哪些软件可以用来生成卡通形象?
以下是一些可以用来生成卡通形象的软件及相关操作: 1. Midjourney 背景:之前有制作过相关教程,可利用其以图绘图功能生成迪斯尼卡通风格的头像。若没有账号或不懂基础操作,可参考之前的教程。 操作: 选一张满意的图片,在 Discord 社区的 Midjourney 服务器聊天栏点击“+”,上传文件选取图片并发送。 复制图片在浏览器中打开的链接。 在聊天窗口输入/imainge 找到/imagine prompt,将链接放入,加提示词(以英文逗号分隔)和设置参数。 设置参数: iw 1.5:设置参考图片的权重,数值越高与参考图片越接近,默认 0.5,最大 2,可选择中间值调整。 s 500:设置风格强度,个性化、艺术性,数字越大越有创造力和想象力,可设置 0 1000 间任意整数。 v 5:用 Midjourney 的第 5 代版本,需订阅付费,不想付费可用v 4。 no glasses:若不喜欢戴眼镜的图片,可使用此设置。 2. 提示词: 风格提示词:dark fantasy style(黑暗幻想风格)、Pop art(波普艺术)、impressionism(印象派)、Neoimpressionism(后印象派)、fauvism(野兽派)、expressionism(表现主义)、abstract expressionism(抽象表现主义)、cubism(立体主义)、contemporary art(当代艺术)、anime style(动画风格)、cartoon(卡通)、visionary art(视觉艺术)、comic book(漫画书)、streampunk(蒸汽朋克)、dark theme(黑暗主题)、miniature model film(微缩模型电影)、DC Comics(能生成美漫封面的漫画画面)、pixiv(纯二次元风格人像)、style ofAl Williamson(威廉森风格)、Bauhaus Style(包豪斯风格)、Warhol(安迪·沃霍尔风格)、Luminsm(光色主义)、Magic Realism(魔幻现实主义)、fantastic Realism(魔幻现实主义)、Classical Realism(批判现实主义)
2024-11-02
生成卡通形象的AI
以下是关于生成卡通形象的 AI 的相关内容: 1. 通用人物模版:如果想用真人照片生成卡通头像,可以用“真人照片”+“照片描述”+“方法 1 的关键词”来处理。在使用过程中,若生成了满意的图,记得保存,下次同种类型可直接拿来喂图,效果更好。 2. 生成式 AI 和视觉效果:生成式 AI 会被艺术家作为工具,且需要一定程度的用户监督。以漫画家 Yoko Li 为例,用其 70 张图片训练的模型能以令人不安的方式模仿生成图像,每个艺术家都要思考创作方向,训练过的模型能提供更多选项。AI 模型生成的图像通常有非白色背景。在创意资产为重要业务组成部分的行业中,生成式 AI 带来的经济效益提升、创造新风格和概念的灵活性以及生成完整工作成果的能力,将使行业发生明显变化,不仅限于图像,还适用于整个设计领域。 3. 小码哥的 AI 绘画示例:如“一只穿着柔软中国唐代服装的小白兔,超级可爱,电影灯光,复杂的花丝设计,皮克斯风格,拟人化,手持粉色灯笼,大眼睛,微笑,桃花,流动,迷人,不朽,蓬松,闪亮的刷毛,花瓣,童话故事,虚幻引擎 5 和辛烷渲染,令人难以置信的细节,4K,在艺术站流行,华丽,超广角,4K ar 10:16 test video upbeta upbeta upbeta”等十二生肖唐装系的描述。
2024-11-02
视频生成
以下是关于视频生成的相关内容: Adobe Firefly 中的视频生成: 在 Advanced 部分,您可以使用 Seed 选项添加种子编号,帮助启动流程并控制 AI 创建内容的随机性。若使用相同的种子、提示和控制设置,可重新生成类似的视频剪辑。选择 Generate 进行生成。 Adobe Firefly 中的“生成视频”(测试版)能将书面描述转换为视频剪辑。使用文本提示定义内容、情感和设置(包括摄像机角度)以指导摄像机移动并创建传达所需情绪和信息的视频,还可合并图像为视频生成提供视觉提示。 具体操作: 在 Adobe Firefly 网站上选择“生成视频”。 在 Generate video 页面的 Prompt 字段输入文本提示,也可在 Image 部分的 Upload 选项使用图像作为第一帧并为视频剪辑提供方向参考。添加图像可提供清晰视觉引导,使生成的视频更符合愿景。 在 General settings 部分可确定Aspect ratio 和 Frames per second。 Sora 原理解释: Garman 把 SORA 32 篇索引文章放到 GLMs,有啥不懂可以问它。链接:https://open.bigmodel.cn/shareapp/v1/?share_code=3MdNDUTIrkZVesAR5hPoY 从原始视频数据到模型训练再到模型生成视频的全流程包括: 数据准备:使用多种数据源,对图像和视频进行尺寸调整,包括空间上的抗锯齿双线性缩放和时间上的跳帧处理。 模型训练:基础训练阶段使用正方形图像比例进行训练,在特定数据子集上对基础模型进行微调以生成 9:16 比例的视频,采用了位置嵌入的插值和窗口尺寸的缩放。 视频生成:首先使用图像 LDM 生成单帧图像,然后运行预测模型,以生成的单帧为条件生成关键帧序列,在视频扩展时,再次调用预测模型,以两帧(捕捉方向信息)为条件生成连贯的运动。 微调与优化:对于长时间视频生成,模型在帧预测任务上进行联合训练,在推断阶段优化目标是加快小批量图像生成的速度。 模型初始化:由于视频数据集规模相对较小,从预训练的图像模型(如 ViT)初始化视频模型,以促进更有效的训练。
2024-11-02
一键生成PPT的AI
以下是为您整理的关于一键生成 PPT 的 AI 相关信息: 增强版 Bot: 是基于 AI 驱动的智能创作平台,能够实现一站式内容生成,包括图片、PPT、PDF 等。 输入诉求即可生成包含特定架构风格的完整 PPT,并提供相关模板选择。 歌者 PPT: 功能:具有话题生成、资料转换、多语言支持、海量模板和案例库、在线编辑和分享、增值服务等功能。 简介:是一款永久免费的智能 PPT 生成工具,适用于多种场景,能提供便捷和智能化体验。 产品优势:免费使用、智能易用、海量案例、资料转 PPT 专业、AI 翻译。 推荐理由:完全免费,智能化程度高,模板和案例丰富,适合不擅长制作 PPT 或时间紧张的人群。 AiPPT.cn: 是一家 AIGC 数字科技企业旗下的产品。 致力于打造“下一代个人与组织的 Ai 工作站”,包括多款应用 AI 能力的内容创作工具。 能够帮助用户“一分钟一键生成 PPT”,在国内 AiPPT 赛道创业公司中排名第 1,全球第 4,是国内所有 AIGC 产品 PC 端 Top10。目标市场包括基层及中高层管理岗位人员,如市场、运营、销售、人力、财务、行政、技术、产品、总助、公务员、学生、老师等。
2024-11-01
我想修改图片
以下是关于修改图片的相关信息: DALL·E 编辑功能: 可以在 DALL·E 编辑器界面右侧的对话面板中输入提示来更改图片,例如输入“make it black and white”将图像更新为黑白。 在 ChatGPT 移动应用程序上使用 DALL·E 进行编辑,选择左下角的“编辑”调出提示选项。 选择“Select”访问选择工具,点击可突出显示要编辑的图像部分,屏幕左侧的滑块可更改图片大小。 选择完要编辑的图像部分,选择屏幕右下角的“Next”按钮,弹出对话面板输入提示进行更改。 支持对生成图片进行二次编辑,包括替换、删除、添加对象。 了解 DALL·E 编辑器界面的可用工具,如左上角可拖动改变更新区域大小的工具,还有“撤销、恢复”按钮和“Clear Selection”选项。 编辑示例包括添加樱花、删除鸟类、更改猫的表情等,编辑完成后记得点击保存。 帮助文档:https://help.openai.com/en/articles/9055440editingyourimageswithdalle Midjourney 图片编辑器: 新编辑器功能强大,可增加主体、扩图、添加文字等。 进入方式:打开 MJ 官网(https://www.midjourney.com),选择要修改的图片,点击图片,然后点击右下角的 Editor 按钮进入图片编辑器页面。 玩法包括增加主体数量(如把“2 只狐狸”改成“4 只狐狸”)、轻松扩图(自由放大、缩小或移动图片)、扩图+增加主体(如把原图缩放至左下角,涂抹空白区域并修改关键词)、添加文字。 注意:Midjourney 部分操作目前 discord 暂不支持。新生成的主体必须与原图一致,不能无中生有。
2024-11-01
怎么用ai生成图片
以下是关于如何用 AI 生成图片的相关内容: 1. 关键词的运用: 图片内容通常分为二维插画和三维立体两种表现形式。 主题描述方面,可以描述场景、故事、元素、物体或人物的细节及搭配。对于场景中的人物,应独立描述,避免长串文字,以免 AI 识别不到。 设计风格方面,可找风格类关键词参考或垫图/喂图,让 AI 结合主题描述生成相应风格的图片。某些材质的关键词运用有较多门道,需针对特定风格进行“咒语测试”。 2. 提示技巧: 尽可能具体和细节,提供足够背景信息,详细说明需求细节。 引导模型思考答案,细化思考步骤。 不断迭代并试验。 3. 图像生成原理:扩散模型完成 AI 图片生成,先将图片增加噪声至完全是噪声,再从噪声不断向前推导,过程中不断增加文字影响图片生成。 4. 文生图工具: DALL·E:由 OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源工具,能生成高质量图片,支持多种模型和算法。 MidJourney:因高质量图像生成效果和友好界面在创意设计人群中受欢迎。 您可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。
2024-10-30
我有一张图片,我想把他上面的文字给去掉换成我想要的文字这要怎么做呢
如果您想去掉图片上的文字并换成自己想要的文字,可以参考以下方法: DALL·E 推出了编辑功能,比如可以去掉错误文字、添加正确文字。但对于添加比较多区域小的文字识别可能不太好。 在 SD 中,先在 PS 中做一张任意文字的图片(黑底白字,文字可做任意变形处理,完成之后适当虚化,让边缘不至于很生硬),将图片放入 controlnet 中,预处理器选择 inpaint_global_harmonious 全局重绘,模型选择 lightingBasedPicture,控制权重和介入、终止时机需要反复调试以达到理想效果。 对于新春贺卡制作,通过调整提示词、抽卡等方式获得理想的图片效果,加上限制内容让生成的图片符合要求。
2024-10-30
有哪些图片转文字的工具?
以下是一些图片转文字的工具: 2txt:利用 AI SDK 将图片内容转换为文字,不仅限于 OCR,提供体验地址和开源代码链接:https://x.com/imxiaohu/status/1780101723719393780 Memo:由 Notion 中文社区负责人 Linmi 和他的朋友们制作的视频播客转文字和翻译的工具。未领到邀请码的可以在此主动申请:https://mxmefbp9p0g.feishu.cn/share/base/form/shrcnsxtPkCciZ32iQVSkEpgIWg
2024-10-28
图片替换背景的AI软件
以下为您介绍一些可以实现图片替换背景的 AI 软件及相关操作: StableDiffusion(SD): 1. 选择大模型“revAnimated”,添加关于小猫的描述生成小猫图像。 2. 利用 PS 中的“去除背景”功能一键勾出主体,或使用钢笔工具精细抠图。 3. 选择小猫以外的选区,使用“magic replace”(创成式填充)功能,输入文本关键词如“Warm balcony”生成阳台背景。 4. 对图像进行裁切、建立选区、再次使用创成式填充以得到完整背景图像。 5. 若有白边等不完美情况,可将图发送到“图生图”和“controlnet”中,使用 Tile 模型重绘细化,并使用脚本 SD 放大扩展图像尺寸。 Stability AI: 推出了基于 Discord 的媒体生成和编辑工具,其中“Remove Background”功能可以在保留前景的同时删除背景,购买积分价格为 2 个。 Photoshop 2023 Beta: 1. 移除效果较好,可对未完整拍摄的部分进行脑补填充。 2. 背景替换时,对于颜色复杂的部分抠图可能不太精准,需要手动创建选区。 3. 反选选区后,重新创建背景,使用“创成式填充”并添加提示词生成新背景。
2024-10-28