「AGIへの道」飛書ナレッジベースへ直行 →

给我图生图的大模型

回答

以下为一些常用于图生图的大模型:

  1. AbyssOrangeMix2:可将真人图片转为二次元风格,通过 DeepBooru 反推关键词,并结合 LORA“blindbox”重新生成,能生成 2.5D 人物风格的图片。
  2. majicmixRealistic:在进行“图生图”的“涂鸦”功能时可选用,是一款追求真实性的模型。
  3. revAnimated:适用于卡通类图片的图生图。
  4. Realistic Vision:常用于真实类图片的图生图。
AIモデルによって生成されたコンテンツであり、慎重に確認してください(提供元: aily)

参照

【SD】真人转二次元?图生图如此强大

我们将这幅图再次放入以图生图中,通过DeepBooru反推关键词,并使用一个新的大模型“AbyssOrangeMix2”和LORA“blindbox”进行重新生成,便将图片改成了这种2.5D的人物风格。当然,目前的图还有不少细节上的瑕疵,我们需要不断地调整参数去让绘图更接近我们想要的状态,包括后期借助PS来进行修补也是非常必要的。但是,我们也能看到图生图功能又拥有的巨大潜力,AI绘图的可操作性方面拥有了更多的想象空间。-END-白马与少年Stable Diffusion、Blender等学习心得分享139篇原创内容(持续更新中)公众号微信扫一扫关注该公众号

【SD】涂鸦秒变风景

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-06-17 20:14原文网址:https://mp.weixin.qq.com/s/PXvOwYOKuNDUt6j3Xc_otA今天来玩玩“图生图”里面的“涂鸦”功能,任何绘画新人都可以轻松上手。先在ps里面画一张灵魂草图,尺寸不要太大,确定好自己的主题、元素的位置,画面的大致颜色就可以了。发送到“图生图”中的“涂鸦”界面,参数基本不用动,改一下尺寸就好了。大模型我选择了“majicmixRealistic”,这是一款追求真实性的模型。关键词主要描述画面里的内容就可以,比如“草原、山、蓝天、河流、白云”,再加一些标准提示词“高质量、极致的细节”等。点击批量生成,选择一张比较好的,再次发送到“图生图”。使用tile模型进行细化和放大,新版本的controlnet可以不用放图了,它能直接调用“图生图”里的图。生成!来一张对比图看看,神笔马良的感觉有没有。再来一张!参数不变,只改提示词“日出、海面、船”。生成,放入图生图,细化,放大。对比图。最后再画一张,超有意思,感觉停不下来。提示词“蓝天、麦田、稻草人”。生成、细化、放大。当当,对比图~好了,就画到这里吧,涂鸦功能,你学会了吗?大家可以自己尝试一下,不同的模型也会有不同的风格哦。-END-白马与少年Stable Diffusion、Blender等学习心得分享

【SD】最强控制插件ControlNet(8)创成式填充

我们用这张图作为例子来讲解一下,首先将它导入到图生图界面。根据情况选择大模型,一般卡通类的选择“revAnimated”,真实类的选择“Realistic Vision”,但是也不一定,如果效果不好,可以尝试一下其他的模型。图生图中比较重要的参数,一个是“缩放模式”,选择“缩放后填充空白”;然后是尺寸,如果是横向扩充就增加宽度,如果是纵向扩充就增加高度;单批数量可以根据需求填写,增加抽卡概率;最后尽量将“重绘幅度”加大到“0.8”以上,让AI充分发挥想象。接下来是controlnet的设置,升级到最新的controlnet版本,将图片导入进来。启用插件,“控制类型”选择“局部重绘”,也就是我们之前讲到过的inpaint预处理器,然后在预处理器的下拉菜单中选择“inpaint_only+lama”,这是一个新增的预处理器,专门用于扩图。另外,控制模式选择“更倾向Controlnet”,缩放模式选择“缩放后填充空白”。为了让出图更加统一,甚至还可以再增加一个reference_only的通道,来进一步巩固扩图的风格。设置好之后,点击生成,等待结果,选择一张满意的即可。我们再试验一张图,将这张图放进图生图中。有时为了更好地控制出图,我们还可以通过反推提示词的方式,增加一些文本进行控制。这样生成的图也会受到提示词的影响,可以看出图形部分的衔接还是很自然的,但是不是每一次效果都能非常好,新生成的部分和原图可能会存在色差,需要通过调整各项参数来修正。从网上找一张建筑图,使用真实系模型来扩展一下,其他参数不变,仅需要调整尺寸,并将图片分别放入“图生图”和“controlnet”中。点击生成图片就扩展好了,只要记住这个工作流,扩图还是很快的,只要替换图片改尺寸就可以了。

他の質問
我想图生图,生成高清矢量图
以下是关于图生图生成高清矢量图的相关内容: ControlNet 参数: 预处理器:canny,模型:control_v11p_sd15_canny 预处理器:lineart_standard,模型:control_v11p_sd15_lineart 放大高清大图: 使用 Multi Diffusion + Tiled VAE + ControlNet Tile 模型 将生成的图片发送到图生图,关键词种子会一并发送过去,重绘幅度建议 0.35,太高图片细节会发生变化 Lora 生图: 点击预览模型中间的生图会自动跳转到相应页面 模型上的数字代表模型强度,可在 0.6 1.0 之间调节,默认为 0.8 可自己添加 lora 文件,输入正向提示词,选择生成图片的尺寸(横板、竖版、正方形) 采样器和调度器新手小白可默认,迭代步数在 20 30 之间调整,CFG 在 3.5 7.5 之间调整,随机种子 1 代表随机生成图 生成的图会显示在右侧,若觉得某次生成结果不错,想要微调或高分辨率修复,可复制随机种子粘贴到相应位置 确认合适的种子和参数想要高清放大,可点开高清修复,选择放大倍数,新手小白可默认算法,迭代步数建议在 20 30 之间,重绘幅度正常在 0.3 0.7 之间调整 高清修复: 文生图高清修复原理是命令 AI 按原来内容重新画一幅,新生成绘图和原绘图细节会不同,降低重绘幅度可更接近原图,如重绘幅度 0.7 时帽子和耳机有变化,0.3 时服饰细节接近但手部可能出现问题,可通过反复抽卡、图生图局部重绘或生成多张图片后 ps 合成等解决 由于高清修复渲染耗时长,建议先低分辨率抽卡刷图,喜欢的图再用随机种子固定进行高清修复 SD 放大: 文生图画好图后发送到图生图,点击脚本选择使用 SD 放大 重绘幅度设置 0.3,放大倍率为 2,图块重叠像素设置为 64,原图尺寸加上重叠像素,如 512x768 变为 576x832,重绘幅度要保持较低数值,否则可能出现新人物
2025-04-14
我想要通过建筑草图生成效果图,有什么工具和流程可以使用
以下是使用悠船工具将建筑草图生成效果图的流程和相关介绍: 1. 基础使用: 提示词:在右侧填写提示词,右上可下载对应图片。 参数调整:参数详解参考下方「参数详解」。注意任何点击都会重新生成图片,免费用户可能会提示超出套餐,所以别乱点。最右侧是所有生成图片的略缩图。 2. 图片调整: 变化:分为细微和强烈,细微改变幅度小,强烈改变幅度大。 高清:有“直接”和“创意”两种模式,“直接”表示啥都不变直接出高清,“创意”表示在图片基础上进行微小的优化调整。 风格变化:基于生成的图片作为上传图片(垫图)再创作。 拓展:可上下左右拓展图片。 缩放:指的是镜头,比如 2x 就是镜头拉远 2 倍。 局部重绘:选择区域要大一些,太小的无法进行修改。 3. 图像参考: 在悠船中可以利用垫图和提示词配合生成符合要求的建筑、风景、文物等。只需将图片复制到悠船的提示词框里面,并填写对应的提示词描述。
2025-04-14
图生图网站排名推荐
以下是为您推荐的图生图网站排名: 1. 文生图: Imagen 3:真实感满分,指令遵从强。 Recraft:真实感强,风格泛化很好,指令遵从较好(会受风格影响)。 Midjourney:风格化强,艺术感在线,但会失真,指令遵从较差。 快手可图:影视场景能用,风格化较差。 Flux.1.1:真实感强,需要搭配 Lora 使用。 文生图大模型 V2.1L(美感版):影视感强,但会有点油腻,细节不够,容易糊脸。 Luma:影视感强,但风格单一,糊。 美图奇想 5.0:AI 油腻感重。 腾讯混元:AI 油腻感重,影视感弱,空间结构不准。 SD 3.5 Large:崩。 2. 图生视频: pd 2.0 pro:即梦生成的画面有点颗粒感,p2.0 模型还是很能打的,很适合做一些二次元动漫特效,理解能力更强,更适合连续运镜。 luma 1.6:画面质量挺好,但是太贵了。 可灵 1.6 高品质:YYDS! 海螺01live:文生视频比图生视频更有创意,图生也还可以,但是有时候大幅度动作下手部会出现模糊的情况,整体素质不错,就是太贵了。 runway:我的快乐老家,画面质量不算差,适合做一些超现实主义的特效、经特殊就容镜头的。 智谱 2.0:做的一些画面特效挺出圈的,适合整过,但是整体镜头素质还差点,好处就是便宜,量大,管饱,还能给视频加音效。 vidu1.5:二维平面动画的快乐老家,适合做特效类镜头,单镜头也很惊艳,大范围运镜首尾帧 yyds!就是太贵了!!!!! seaweed 2.0 pro:s2.0 适合动态相对小的,更适合环绕旋转运镜动作小的。 pixverse v3 高品质:pincerse 的首尾帧还是非常能打的,就是画面美学风格还有待提升的空间。 sora:不好用,文生视频挺强的,但是最需要的图生视频抽象镜头太多,半成品都算不上,避雷避雷避雷,浪费时间。 3. 小白也能使用的国内外 AI 生图网站: 可灵可图 1.5:https://app.klingai.com/cn/texttoimage/new 通义万相(每日有免费额度):https://tongyi.aliyun.com/wanxiang/creation 文心一言:https://yiyan.baidu.com/ 星流(每日有免费额度):https://www.xingliu.art/ Libiblib(每日有免费额度但等待较久):https://www.liblib.art/
2025-04-13
图生 视频
以下是关于图生视频的相关内容: 工具教程:清影 什么是图生视频:输入一张图片+相应的提示词,清影大模型将根据提示将图片转变为视频画面。您也可以只输入一张图片,清影大模型将自行发挥想象力,把图片扩展为一段有故事的视频。 两个小技巧: 选用尽可能清晰的图片,上传图片比例最好为 3:2(横版),清影支持上传 png 和 jpeg 图像。如果原图不够清晰,会影响模型对图片的识别,可以采用分辨率提升工具将图片变清晰。 提示词要【简单清晰】:可以选择不写 prompt,直接让模型自己操控图片动起来;明确您想动起来的【主体】并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词(一定要有主体,不然可能会出现 AI 狂乱景象)。如果您不明确大模型如何理解您的图片,推荐将照片发送到清言对话框进行识图,明确您的【主体】该如何描述。 视频演示 |首帧图|PROMPT|视频(配音版)|视频(纯享版)| ||||| |1、泳池里的小鸭子|Little yellow duck toy floating on the water in the swimming pool,closeup|| |2、洞穴文明|The primitive man raises his hand.The camera zooms out.|| |3、魔法少女|A woman reaches out to touch the glowing box.Particle effects.|| |4、离别列车上的小狗|a dog with Furry white claws the bus window with reflections on the glass,Furry white claws,closeup,ultrarealistic|| |5、古典美女|celine,classic photograph from Life magazine|| |6、废土黑雨|游戏场景在下雨,人物看起来非常担心|| 工具教程:PixVerse V2 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。
2025-04-13
手绘草图生成图片
以下是关于手绘草图生成图片的相关信息: ComfyUI Flux 与 runway 制作绘画视频: 生成图片:提示词告诉 flux 生成一张技术草图,如 CAD。 绘制的视频:在 runway 里面,使用提示词,从空白页面开始逐行创建,并把生成的图片作为尾帧。 草图上色:使用 flux 的 controlNet,depth 固定,Union 版本不建议权重调太高,结束时间也不宜过长。 生成上色后的视频: how2draw Flux lora:分享一个好玩的 flux lora,触发词为 how2draw。 图片生成 3D 建模工具: Tripo AI:在线 3D 建模平台,能利用文本或图像在几秒钟内生成高质量且可立即使用的 3D 模型。 Meshy:功能全面,支持文本、图片生成 3D 以及 AI 材质生成。 CSM AI:支持从视频和图像创建 3D 模型,Realtime Sketch to 3D 功能支持通过手绘草图实时设计 3D 形象。 Sudo AI:支持通过文本和图像生成 3D 模型,适用于游戏领域。 VoxCraft:免费 3D 模型生成工具,能将图像或文本快速转换成 3D 模型。 【SD】真人转二次元: 使用 Stable Diffusion 中的【X/Y/Z plot】脚本做参数对比,X 轴为提示词相关性(130,每次增加 5),Y 轴为重绘幅度(01,每次增加 0.2)。 提示词相关性在 6—11 中间为最佳,大于 11 后画面色彩和脸型可能崩坏,重绘幅度大小可控制生成图与原图的相似度。 绘图功能:如增加红色眼镜、去掉衣服图案、局部重绘(手涂蒙版)修改部分等。
2025-04-01
怎么用图生成png格式的新图
以下是用图生成 PNG 格式新图的方法: 使用 Stable Diffusion: 1. 若在网上看到好看的大佬的图,将其导入 SD。若能识别,右边会自动弹出照片的信息,包括正面关键词、负面关键词,还有其他种子、大模型等信息。 2. 复制这一大串信息,来到“文生图”页面,粘贴到关键词的文本框中。 3. 点击“生成”按钮下面的第一个小按钮,SD 会自动分配信息,在有相同大模型和 Lora 的前提下,点击生成,可能得到差不多的照片。 4. 若导入照片后右边未出现生成信息,说明照片不是直接从 SD 下载下来的 PNG 格式照片,此时可使用“标签器(Tagger)”来生成照片的关键词。 使用 OpenAI 的图像生成端点: 1. 图像生成端点允许在给定文本提示的情况下创建原始图像,生成的图像大小可为 256x256、512x512 或 1024x1024 像素,较小尺寸生成速度更快。可使用参数一次请求 1 10 张图像。描述越详细,越有可能获得想要的结果,也可在 DALL·E 预览应用程序中探索示例获取更多提示灵感。 2. 图像编辑端点允许通过上传蒙版来编辑和扩展图像。遮罩的透明区域指示应编辑图像的位置,提示应描述完整的新图像,而不仅仅是擦除区域。上传的图片和遮罩必须是小于 4MB 的正方形 PNG 图片,且尺寸相同。生成输出时不使用遮罩的非透明区域。
2025-03-27
大模型的系统提示词
大模型的系统提示词主要包括以下方面: 1. 在“五津:一键生成‘摸鱼打工猫’视频”中,针对用户选择的主题和回答,总结用户的创作意图,如“打工猫摸鱼的 2 小时,在巴厘岛能看一场日落”,并根据此生成 4 组体现幽默风趣、以宫崎骏风格描绘主角为摸秋刀鱼橘猫的绘图提示词,以数组形式输出到“tishici”,将用户意图输出到“biaoti”。 2. 在“云中江树:智能对决:提示词攻防中的 AI 安全博弈”中,系统提示词的相关防御措施分为输入侧、模型侧和输出侧三个部分。输入侧可进行意图识别、语义匹配等综合判断用户输入是否恶意;模型侧对于有能力的厂商应增强安全性并平衡性能,开发者则要在开发中带着安全意识优化系统提示词,加入安全引导和禁止内容等;输出侧可使用传统防御和内容过滤手段,并针对大模型特点进行私有数据泄露等检查。此外,还提到间接注入和提示词泄露的情况,间接注入常发生在应用获取依赖外部数据资源时,攻击者通过隐藏恶意指令完成攻击;提示词泄露指试图操纵模型输出获取部分或全部系统提示词,大模型输出内容可分为系统提示词、用户提示和助手提示词三段,通过攻击手段可获取系统提示词。
2025-04-18
通义千问Qwen2.5-VL、阶跃星辰step-1.5v-mini、Gemini-2.0-Flash,这3个视觉理解大模型哪个最厉害?
以下是对通义千问 Qwen2.5VL 模型的介绍: 版本:有 3B、7B 和 72B 三个尺寸版本。 主要优势: 视觉理解能力:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。 视频理解能力:支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。 万物识别:擅长识别常见物体及分析图像中的文本、图表、图标、图形和布局。 精准的视觉定位:采用矩形框和点的多样化方式对通用物体定位,支持层级化定位和规范的 JSON 格式输出。 全面的文字识别和理解:提升 OCR 识别能力,增强多场景、多语言和多方向的文本识别和文本定位能力。 Qwen 特色文档解析:设计了更全面的文档解析格式,称为 QwenVL HTML 格式,能够精准还原文档中的版面布局。 增强的视频理解:引入动态帧率(FPS)训练和绝对时间编码技术,支持小时级别的超长视频理解,具备秒级的事件定位能力。 开源平台: Huggingface:https://huggingface.co/collections/Qwen/qwen25vl6795ffac22b334a837c0f9a5 Modelscope:https://modelscope.cn/collections/Qwen25VL58fbb5d31f1d47 Qwen Chat:https://chat.qwenlm.ai 然而,对于阶跃星辰 step1.5vmini 和 Gemini2.0Flash 模型,目前提供的信息中未包含其与通义千问 Qwen2.5VL 模型的直接对比内容,因此无法确切判断哪个模型在视觉理解方面最厉害。但从通义千问 Qwen2.5VL 模型的上述特点来看,其在视觉理解方面具有较强的能力和优势。
2025-04-15
目前全世界最厉害的对视频视觉理解能力大模型是哪个
目前在视频视觉理解能力方面表现出色的大模型有: 1. 昆仑万维的 SkyReelsV1:它不仅支持文生视频、图生视频,还是开源视频生成模型中参数最大的支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其具有影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等优势。 2. 通义千问的 Qwen2.5VL:在 13 项权威评测中夺得视觉理解冠军,全面超越 GPT4o 与 Claude3.5。支持超 1 小时的视频理解,无需微调即可变身为 AI 视觉智能体,实现多步骤复杂操作。擅长万物识别,能分析图像中的文本、图表、图标、图形和布局等。
2025-04-15
目前全世界最厉害的视频视觉理解大模型是哪个
目前全世界较为厉害的视频视觉理解大模型有以下几个: 1. 昆仑万维的 SkyReelsV1:不仅支持文生视频、图生视频,是开源视频生成模型中参数最大且支持图生视频的模型。在同等分辨率下各项指标实现开源 SOTA。其优势包括影视化表情识别体系、人物空间位置感知、行为意图理解、表演场景理解等。 2. 腾讯的混元:语义理解能力出色,能精准还原复杂的场景和动作,如特定品种的猫在复杂场景中的运动轨迹、从奔跑到跳跃的动作转换、琴音化作七彩音符等。 3. Pixverse V3.5:全球最快的 AI 视频生成模型,Turbo 模式下可在 10 秒内生成视频,最快仅需 5 6 秒。支持运动控制更加稳定、细节表现力强、首尾帧生成功能,具备顶尖动漫生成能力。
2025-04-15
目前全世界最厉害的视觉理解大模型是哪个
目前在视觉理解大模型方面,较为突出的有 DeepSeek 的 JanusPro 模型,它将图像理解和生成统一在一个模型中;还有通义千问的视觉理解模型,其价格有较大降幅。此外,Pixverse V3.5 是全球最快的 AI 视频生成模型,在某些方面也展现出了出色的能力。但很难确切地指出全世界最厉害的视觉理解大模型,因为这取决于不同的评估标准和应用场景。
2025-04-15
大模型对话产品的优劣
大模型对话产品具有以下优点: 1. 具有强大的语言理解和生成能力。 2. 能够提供类似恋爱般令人上头的体验,具有一定的“想象力”和“取悦能力”。 3. 可以通过陪聊建立人和 AI 之间的感情连接,产品粘性不完全依赖技术优越性。 4. 能够为用户提供产品咨询服务,适用于有企业官网、钉钉、微信等渠道的客户。 5. 具有多种应用场景,如私有领域知识问答、个性化聊天机器人、智能助手等。 大模型对话产品也存在一些缺点: 1. 存在记忆混乱的问题。 2. AI 无法主动推动剧情,全靠用户脑补,导致用户上头期短,疲劳度高,长期留存低。 3. 无法回答私有领域问题(如公司制度、人员信息等)。 4. 无法及时获取最新信息(如实时天气、比赛结果等)。 5. 无法准确回答专业问题(如复杂数学计算、图像生成等)。
2025-04-14