直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图生图时,如何多维度多参数进行生图

回答

以下是关于图生图时多维度多参数进行生图的方法:

  1. 设置文生图提示词:
    • 大模型:majicmixRealistic_v6.safetensors
    • 正向提示词:(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography
    • 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w
  2. 设置参数:
    • 迭代步数:50
    • 采样方法:DPM++ 2M Karras
    • 尺寸:1328×800px
  3. 除了文本提词框,图生图功能还有图片框输入口,可通过图片给与 AI 创作灵感。
    • 例如随便照一张照片拖入,文本输入框旁有两个反推提示词的按钮:CLIP 可通过图片反推出完整含义的句子;DeepBooru 可反推出关键词组。
    • 两种反推方式生成的提示词可能有瑕疵,需手动补充提示词信息。
    • 写好提示词后,调整宽度和高度使红框刚好匹配图片。
    • 注意两个重要参数:提示词相关性和重绘幅度。
内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

【SD】角色设计的福音!绘制一致性多角度头像

设置文生图提示词:大模型:majicmixRealistic_v6.safetensors正向提示词:(a character sheet of a woman from different angles with a grey background:1.4),auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography,负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,(easynegative),((((ugly)))),(((duplicate))),((morbid)),((mutilated)),out of frame,extra fingers,mutated hands,((poorly drawn hands)),((poorly drawn face)),((bad art)),blurry,(((mutation))),(((deformed))),blurry,((bad anatomy)),(((bad proportions))),((extra limbs)),cloned face,(((disfigured))),gross proportions,(malformed limbs),((missing arms)),((missing legs)),((floating limbs)),((disconnected limbs)),((malformed hands)),((missing fingers)),worst quality,((disappearing arms)),((disappearing legs)),(((extra arms))),(((extra legs))),(fused fingers),(too many fingers),(((long neck))),canvas frame,((worst quality)),((low quality)),lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w,设置一下参数:迭代步数:50采样方法:DPM++ 2M Karras尺寸:1328×800px出图!15个不同角度的人物图片,大概看下来基本就是同一个人,没毛病。

06-从0学生图

[heading2]总结关于AI生图的课程与分享:讨论了AI生图的学习课程安排,包括邀请白马老师授课、介绍相关工具网站吐司,还提及了AI工具的消费和应用情况等。AI绘图模型的介绍与比较:讨论了AI绘图中不同模型的特点、优势、应用场景以及在实际操作中的使用方法和技巧。关于AI绘图工具SD的介绍与应用:讨论了AI绘图工具SD的各种玩法、不同界面、模型分类及应用场景,强调了其在创意设计中的作用和优势。图像生成模型的发展与应用:讨论了不同图像生成模型的特点、发展历程、优势与应用,以及吐司网站的使用方法。关于吐司网站文生图功能的介绍与操作演示获取额外算力的方法:通过特定链接注册或填写邀请码BMSN,新用户7天内可额外获得100算力。文生图的操作方式:在首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。模型及生成效果:Flex模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。图生图及参数设置:可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。特定风格的生成:国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练Lora模型改善。

【SD】真人转二次元?图生图如此强大

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-02 20:00原文网址:https://mp.weixin.qq.com/s/l-O9vT9-_xzy0uvxnkjV-w相比于文生图,图生图功能除了文本提词框以外还多了一个图片框的输入口,因此,我们还可以通过图片来给与AI创作的灵感。我们随便照一张照片,直接拖入进来。然后可以看到,在文本输入框的旁边有两个反推提示词的按钮:CLIP是可以通过图片反推出完整含义的句子;DeepBooru是可以反推出关键词组。上面的那一张图,我们通过两种反推方式得到的提示词分别为:CLIP——a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art。(一个小男孩坐在长凳上,旁边的地板上放着一辆玩具火车和一辆乐高火车,亚当·雷克斯,详细的产品照片,一张库存照片,莱科艺术,)DeepBooru——shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers。(鞋子,独奏,帽子,橙色背景,黄色背景,微笑,袜子,黑发,坐着,运动鞋)可以看到两种方式生成的提示词都有些瑕疵,比如第一组里面没有描述小孩的穿着,第二组里面没有描述小孩的性别和周围的物品,所以我们需要手动来补充提示词的信息。写好提示词之后,我们再调整一下宽度和高度,让这个红框刚好匹配我们的图片即可。接下来,最重要的是这两个参数:提示词相关性和重绘幅度。

其他人在问
图生图时,如何多参数脚本生图
以下是关于图生图时多参数脚本生图的详细步骤: 1. 当对关键帧图片试验满意后,进入图生图界面点击最下面的脚本按钮,选择 Ebsynth Utility 脚本。 2. 填写对应的工程文件路径,此路径应与之前在插件中填写的一致。 3. 注意 Mask option 选项,若需使用蒙版则维持默认参数,若不想使用则调整参数。 4. 下面的 ControlNet 配置可保持默认参数,感兴趣的小伙伴可自行尝试。 5. 配置脸部裁切,默认是关闭的,可自行决定是否开启。其中几个参数设置如下: Face Detection method:面部裁切选择,使用默认即可。 Face Crop Resolution:面部裁切分辨率,一般给 512,可适当缩小或放大。 Max Crop Size:最大裁切尺寸,保持默认。 Face Denoising Strength:人脸去噪程度,若画面不清晰可稍微拉高。 Face Area Magnification:面部放大倍数,设置越大处理越费时间。 若开启脸部裁切,会按照下方提示词对裁切后的面部进行重绘。 6. 设置完所有参数后点击生成按钮,耐心等待,最后会在工程文件夹中生成一个 img2img_key 的文件夹。 另外,相比于文生图,图生图功能除文本提词框外还有图片框输入口,可通过图片给 AI 创作灵感。随便照一张照片拖入后,文本输入框旁有两个反推提示词的按钮:CLIP 可通过图片反推出完整含义的句子;DeepBooru 可反推出关键词组。但反推的提示词可能有瑕疵,需手动补充信息。写好提示词后,调整宽度和高度使红框刚好匹配图片,最重要的是提示词相关性和重绘幅度这两个参数。
2024-12-03
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet:可控制图片中特定的图像,如人物姿态、特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:选择 840000 即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写要避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++2M Karras 时,采样次数在 30 40 之间。 尺寸:根据喜好和需求选择,注意尺寸并非越大越好。 提示词: 分为内容型提示词和标准化提示词,用于描述想要的画面。例如选择 anythingV5 大模型,输入“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”等描述。 采样迭代步数通常控制在 20 40 之间,步数越高绘画越清晰,但速度越慢。 采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等,有的模型有指定算法,搭配更好用。 比例设置为 800:400,模型练图基本按 512x512 框架,太大数值可能导致奇怪构图,可通过高清修复放大图像倍率。 文生图工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面设计用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-12-19
Sd文生图的专业术语有哪些
以下是一些关于 SD 文生图的专业术语: 1. 内容型提示词:主要用于描述想要的画面,如“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”。 2. 标准化提示词:例如“,drawing,paintbrush”。 3. 权重:通过括号和特定数值来增加提示词的权重,权重越高在画面中体现越充分,提示词的先后顺序也会影响权重。 4. 反向提示词:告诉 AI 不要的内容,如“NSFw,”。 5. 采样迭代步数:指 AI 绘画去噪的次数,步数越高绘画越清晰,但绘画速度越慢,通常数值控制在 20 40 之间较好。 6. 采样方法:AI 生成图像时的特定算法,常用的有“Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM”。 7. 比例:尺寸并非越大越好,模型练图通常按 512x512 的框架绘制,高宽比尽量在这个数值附近。高清修复可放大图像倍率,高宽比主要控制画面比例。
2024-12-16
ai生图
以下是一些关于 AI 生图的信息: 好用的图生图产品: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感,丰富创作过程。 Retrato:AI 工具,将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计,将上传照片转换为芭比风格,效果好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可根据文本或参考图像生成有创意且质量不错的相似图像输出,但存在性能不稳定、生成内容不当等局限。 吐司网站的使用方法: 首页最上方有对话生图的快速入口,可输入想画的文字,没想法可点击右边的🎲随机出提示词,点击「对话生图」,几秒钟出图。 经典工作台:站内所有帖子均可轻松「一键做同款」,还有「今日灵感」。 模型选择:包括写实、2.5D、二次元。 Lora 选择:包括风格、元素、形象。 Controlnet 控制:线条、深度、姿态、语义、风格迁移,法向、色彩。 AI 小工具上手:涵盖扩图、高清修复、去背景等多个设计小工具,还有很多趣味玩法和风格滤镜,一键真人转动漫,有韩漫、日漫等风格。使用前请阅读标题和详情页描述。 有意思的小工具:一键特效写实笔刷_动效百宝箱(https://tusiart.com/template/771104332258195372 )、超精致 Q 版手办生成器(https://tusiart.work/template/773258443040693743 )、哇偶!!完美人偶(https://tusiart.com/template/724596781404555322 )。 在独立游戏开发中的 AI 绘画经验:先去掉微调模型用底模生图,然后用 ControlNet 加上微调模型出新图。从左到右依次是:底模+微调,底模,底模+微调+ControlNet,最终效果不错,该模型在美术做设计参考时也能用。
2024-12-15
我想学习文生图,怎么学
以下是学习文生图的方法: 1. 确定主题:明确您想要生成的图片的主题、风格和表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet(可选):用于控制图片中的特定图像,如人物姿态等,可在后期学习。 5. 局部重绘(下篇再学)。 6. 设置 VAE:选择 840000 即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语组合,用英文半角逗号隔开,无需考虑语法和长句。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样是单词和短语组合,用英文半角逗号隔开。 9. 采样算法:一般选择 DPM++2M Karras,也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数:选择 DPM++2M Karras 时,采样次数一般在 30 40 之间。 11. 尺寸:根据个人喜好和需求选择。 同时,您还需要根据电脑的硬件情况和自身财力选择合适的开始方式: 1. 本地部署:如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢,不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 2. 在线平台:对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,可根据实际情况选择。 3. 配台电脑(不建议一开始就配):非常不建议一上来就配主机,玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意。 此外,学习文生图还需要具备一定的先验经验,如熟练使用文生图、图生图,有一定的逻辑思考和推理能力,适合炼丹新人、小白。课程安排大约 70 80%是理论和方法论的内容,大部分练习会在课外沟通、练习,只有少部分必要内容会在课上演示。必学、必看内容是基础课,主要解决环境问题和软件安装不上的问题;建炉针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分。在吐司网站上,首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。Flex 模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练 Lora 模型改善。获取额外算力的方法:通过特定链接注册或填写邀请码 BMSN,新用户 7 天内可额外获得 100 算力。
2024-12-13
我想学习文生图,怎么学
以下是学习文生图的方法: 1. 确定主题:明确您想要生成的图片的主题、风格和表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet(可选):用于控制图片中的特定图像,如人物姿态、生成特定文字等,可在后期学习。 5. 局部重绘(下篇再学)。 6. 设置 VAE:无脑选择 840000 这个即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语的组合,用英文半角逗号隔开,不用管语法和长句。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样使用单词和短语组合,用英文半角逗号隔开,不用管语法。 9. 采样算法:一般选择 DPM++2M Karras,也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数:选择 DPM++2M Karras 时,采样次数一般在 30 40 之间。 11. 尺寸:根据个人喜好和需求选择。 同时,您还需要根据电脑的硬件情况和自身财力选择合适的开始方式: 1. 本地部署:如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢,不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 2. 在线平台:对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,可根据实际情况选择。 3. 配台电脑(不建议一开始就配):非常不建议一上来就配主机,因为大概率会变成游戏机或者吃灰(土豪请随意)。玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意。 此外,学习路径方面: 1. 先验经验:需要熟练使用文生图、图生图,有一定的逻辑思考能力和推理能力,适合炼丹新人、小白。 2. 课程简述:课程大约 70 80%是理论和方法论的内容,大部分练习会在课外沟通、练习,只有少部分必要内容会在课上演示。 3. 必学、必看内容是基础课,主要解决环境问题和软件安装不上的问题;建炉针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分。
2024-12-13
推荐一款免费的ai文生图工具
以下为您推荐一些免费的 AI 文生图工具: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. 哩布(https://www.liblib.ai/):免费在线的 SD 工具网站。 4. 吐司(https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh):免费在线的 SD 工具网站。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。
2024-12-12
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒,我要如何利用agent自动流实现这个模型可以生成更长,更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频,您可以参考以下几种模型和方法: 1. PixVerse V2 模型: 8 秒的视频生成需要花费 30 Credits,5 秒的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型: Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video:30B 参数 Transformer 模型,可以从单个文本提示生成 16 秒、16 帧每秒的高清视频,相当于 73K 个视频 tokens。对于精确视频编辑,它可以执行添加、删除或替换元素,或背景替换、样式更改等全局修改。对于个性化视频,它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio:13B 参数 Transformer 模型,可以接受视频输入以及可选的文本提示,生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成,在骨干网络架构上,它沿用了 Transformer,特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练,学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调,以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果,模型还引入了流匹配(Flow Matching)作为训练目标,这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型: 文生视频,图生视频,视频生视频,支持多种视频定制选项,如分辨率(从 480p 到 1080p)、视频长度(从 5 秒到更长时间)和视频风格。用户可以浏览社区共享的视频,获取灵感和学习技巧(直接抄别人 prompt)。 故事板:允许用户通过时间线指导视频中的多个动作,创建更加复杂的视频序列。 混音和编辑:提供视频混音功能,允许用户将视频转换成新的风格。支持视频的延伸和剪辑,以及创建循环视频。 高级功能:包括混合功能,可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户,Sora 的使用是包含在现有订阅中的,无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数;OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成,但这可能会减少每月的使用次数。Sora 的发布初期,对于某些地区(如欧洲和英国)可能会有延迟。
2024-12-19
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19
多图生成视频方案
以下是关于多图生成视频的几种方案: 1. 方法一: 利用 MJ 画图,先画出来一张想要的底图。 使用 InsightFaceSwap 这个插件来换脸或者让脸部更像,但因该插件对多人脸部同时处理效果不好,所以先需要进行图片的分割裁剪,分别利用插件处理后,再把图片重新缝合。 最后利用可灵或者其他软件来让图片动起来。 2. 方法二: 直接在网上寻找能够融合两张照片的软件或者项目,直接对图片进行融合。如果没有,就纯 P 图,然后利用图生视频的项目完成内容。 3. 利用现有的知识和工具,如具备 DiT(能够进行图片生成),把视频生成看作独立的图片生成,使用 DiT 生成多帧图片然后串起来就是视频,但这样可能会导致生成的多帧图像不连贯。 4. 使用视频工具 VIGGLE: Mix 模式:先上传一个视频和一张角色图像,Viggle 会自动将视频的动态赋予给这个角色,形成一段新视频,能模拟出角色的 3D 状态,准确还原复杂动作。 Multi 模式:通过视频的动作,将上传的多个角色进行识别并赋予动作,形成一段新视频。 Move 模式:将视频的动作直接映射在图片人物身上,实现“让静态图动起来”。 您可以根据实际需求和操作难度选择适合您的方案。
2024-12-19
免费的图生视频软件有推荐吗
以下是为您推荐的免费图生视频软件: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果您熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Kaiber:这是一款视频转视频 AI,能够将原视频转换成各种风格的视频。 此外,您还可以通过以下途径获取更多相关信息: 1. 更多的文生视频的网站可以查看: 2. Vidu 全球上线,Web 端访问:https://www.vidu.studio/ ,具有极速生成、动漫风格、角色可控、精准理解、大片质感等特点。 关于 SVD 图生视频模型的下载和使用: 1. 下载模型:最新模型在前面,建议除开第一个模型都下载。 https://huggingface.co/stabilityai/sv3d/ 【Stable Video 3D模型,最新模型,生成图片 3D 旋转视频,暂时没测试是否能支持】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vidxt11/ 【SVD 1.1 XT 版,支持生成 1024x576 分辨率每秒 14 帧视频,优化了文件大小,提高生成效率】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vidxt 【SVD 1.0 XT 版,支持生成 1024x576 分辨率生成每秒 25 帧视频】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vid 【SVD1.0 版,支持生成生成 1024x576 分辨率每秒 14 帧视频】 2. 放置模型:下载好的 SVD 图生视频模型放置在指定文件夹下。 3. 使用方法:Controlnet 中上传原图选择深度,预处理器可选择不同算法,右侧深度模型记得选择深度模型,获得需要的深度图。结合大模型和提示词,利用文生图就可以生成图片。然后上传制作好的图片,选择 SVD 图生视频大模型,设置参数,生成视频。 内容由 AI 大模型生成,请仔细甄别。
2024-12-19
图生视频的提示词怎么写
图生视频的提示词写作要点如下: 基础提示词结构为主体+运动。只描述想动的部分,避免对静止部分过多描述。当主体有突出特征时,可加上突出特征来更好定位主体,比如老人、戴墨镜的女人等。 需基于输入的图片内容来写,明确写出主体以及想做的动作或运镜,提示词不要与图片内容/基础参数存在事实矛盾。 对于 PixelDance V1.4,支持时序性的多个连续动作以及多个主体的不同动作,可以尝试写主体+动作 1+动作 2,主体 1+动作 1+主体 2+动作 2 等。 选用尽可能清晰的图片,上传图片比例最好为 3:2(横版),清影支持上传 png 和 jpeg 图像。如果原图不够清晰,可采用分辨率提升工具将图片变清晰。 提示词要简单清晰,可选择不写 prompt,直接让模型自己操控图片动起来;也可以明确想动起来的主体,并以「主体」+「主题运动」+「背景」+「背景运动」的方式撰写提示词(一定要有主体,不然可能会出现 AI 狂乱景象)。如果不明确大模型如何理解图片,推荐将照片发送到清言对话框进行识图,明确主体的描述。
2024-12-13
多模图生文评测集
以下是关于多模图生文评测集的相关信息: 为全面比较 Kolors 与其他模型的生成能力,构建了包含人工评估、机器评估的全面评测内容。构建了包含 14 种垂类、12 个挑战项、总数量为一千多个 prompt 的文生图评估集 KolorsPrompts。在 KolorsPrompts 上,收集了 Kolors 与市面上常见的 SOTA 级别的开源/闭源系统的文生图结果,并进行了人工评测和机器评测。 人工评测方面,邀请了 50 个具有图像领域知识的专业评估人员对不同模型的生成结果进行对比评估,衡量维度为画面质量、图文相关性、整体满意度三个方面。Kolors 在整体满意度方面处于最优水平,其中画面质量显著领先其他模型。具体的平均分数如下: AdobeFirefly:整体满意度平均分 3.03,画面质量平均分 3.46,图文相关性平均分 3.84。 Stable Diffusion 3:整体满意度平均分 3.26,画面质量平均分 3.5,图文相关性平均分 4.2。 DALLE 3:整体满意度平均分 3.32,画面质量平均分 3.54,图文相关性平均分 4.22。 Midjourneyv5:整体满意度平均分 3.32,画面质量平均分 3.68,图文相关性平均分 4.02。 Playgroundv2.5:整体满意度平均分 3.37,画面质量平均分 3.73,图文相关性平均分 4.04。 Midjourneyv6:整体满意度平均分 3.58,画面质量平均分 3.92,图文相关性平均分 4.18。 Kolors:整体满意度平均分 3.59,画面质量平均分 3.99,图文相关性平均分 4.17。所有模型结果取自 2024.04 的产品版本。 Kolors 开源模型相关: 2024.07.03,Kolors 在智源研究院评测中取得第二名,其中中文主观质量、英文主观质量两个单项排名第一。 2024.07.02,祝贺,可图项目组提出的可控视频生成方法被 ECCV 2024 接收。 2024.02.08,祝贺,可图项目组提出的生成模型评估方法被 CVPR 2024 接收。 多模态大模型入门指南: 训练过程: 预训练阶段:通常利用 XText 的数据集,来训练输入、输出的 Projector。通过优化损失函数来实现不同模态的对齐。PEFT 有时候用于 LLM Backbone。X文本数据集包含图像文本、视频文本和音频文本,其中图像文本有两种类型:图像文本对(即<img1><txt1>)和交错图像文本语料库(即,txt1><img1><txt2><txt3><img2><txt4>)。这些 XText 数据集的详细统计数据如附录 F 的表 3 所示。 多模态微调:对满足指令微调格式的一系列数据集对预训练好的多模态大模型进行微调。通过这种微调,MMLLM 可以遵循新的指令泛化到没有见过的任务,增强 zeroshot 的能力。MM IT 包括监督微调(SFT)和 RLHF 两部分,目的是为了使得模型符合人类的意图或者偏好,并且增强 MMLLMs 的交互能力。SFT 将 PT 阶段的数据转换为指令aware 的格式,使用 QA 任务作为例子。可以采用各种模板。优化目标和预训练相同,SFT 数据可以构造为单轮的 QA 或者多轮的 QA。常用的 SFT 和 RLHF 的数据集见表 4。
2024-12-06