直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图生图时,如何多参数脚本生图

回答

以下是关于图生图时多参数脚本生图的详细步骤:

  1. 当对关键帧图片试验满意后,进入图生图界面点击最下面的脚本按钮,选择 Ebsynth Utility 脚本。
  2. 填写对应的工程文件路径,此路径应与之前在插件中填写的一致。
  3. 注意 Mask option 选项,若需使用蒙版则维持默认参数,若不想使用则调整参数。
  4. 下面的 ControlNet 配置可保持默认参数,感兴趣的小伙伴可自行尝试。
  5. 配置脸部裁切,默认是关闭的,可自行决定是否开启。其中几个参数设置如下:
    • Face Detection method:面部裁切选择,使用默认即可。
    • Face Crop Resolution:面部裁切分辨率,一般给 512,可适当缩小或放大。
    • Max Crop Size:最大裁切尺寸,保持默认。
    • Face Denoising Strength:人脸去噪程度,若画面不清晰可稍微拉高。
    • Face Area Magnification:面部放大倍数,设置越大处理越费时间。
    • 若开启脸部裁切,会按照下方提示词对裁切后的面部进行重绘。
  6. 设置完所有参数后点击生成按钮,耐心等待,最后会在工程文件夹中生成一个 img2img_key 的文件夹。

另外,相比于文生图,图生图功能除文本提词框外还有图片框输入口,可通过图片给 AI 创作灵感。随便照一张照片拖入后,文本输入框旁有两个反推提示词的按钮:CLIP 可通过图片反推出完整含义的句子;DeepBooru 可反推出关键词组。但反推的提示词可能有瑕疵,需手动补充信息。写好提示词后,调整宽度和高度使红框刚好匹配图片,最重要的是提示词相关性和重绘幅度这两个参数。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

小田:视频转绘制作视频过程中不可或缺的一环

当我们对关键帧的图片试验完毕后的得到了满意的画面的时候我们就需要进行批量跑图了,这里我们来到图生图界面点击最下面的脚本按钮选择Ebsynth Utility这个脚本你会看到有很多参数,不用担心这里只需要简单的操作一下就可以了。第一个我们必须要要填写对应的工程文件路径这个路径和我们之前在插件填写的路径是一致的。接下载一个选项我们要注意一下就是Mask option这个选项。这个选项是控制是否使用蒙版,简单来讲就是是否只需要重绘主体部分这里如果我们需要使用蒙版就维持默认参数不修改如果你说你不想使用蒙版就像重绘所有画面,那这里把参数调整成如下参数或者将参数修改成这样好的我们再往下面看,下面的参数就是ControlNet配置这里可以不用管它保持默认参数就可以了。这两个配置一般不操作也可以保持默认感兴趣的小伙伴可以自行尝试一下哈~在过来配置脸部裁切这个配置默认是关闭的,但是开不开可以自己决定,我试验下来是开了以后可以明显改善一下面部崩坏的情况。这里几个参数大致说一下。Face Detection method:面部裁切选择(这个不需要动使用默认的即可)Face Crop Resolution:面部裁切分辨率(这里一般给512即可可以适当缩小或者放大)Max Crop Size:最大裁切尺寸(保持默认)Face Denoising Strength:人脸去噪程度(如果本来画面不清晰可以稍微拉高一点)Face Area Magnification:面部放大倍数(设置越大处理越废时间)至于这个选项如果开启了则会按照你下方的提示词来对裁切后的面部进行重绘。好了到这里所有的参数都设置完成了点击生成按钮。耐心等待就好了~。最后会在你的工程文件夹中生成一个img2img_key的一个文件夹

06-从0学生图

[heading2]总结关于AI生图的课程与分享:讨论了AI生图的学习课程安排,包括邀请白马老师授课、介绍相关工具网站吐司,还提及了AI工具的消费和应用情况等。AI绘图模型的介绍与比较:讨论了AI绘图中不同模型的特点、优势、应用场景以及在实际操作中的使用方法和技巧。关于AI绘图工具SD的介绍与应用:讨论了AI绘图工具SD的各种玩法、不同界面、模型分类及应用场景,强调了其在创意设计中的作用和优势。图像生成模型的发展与应用:讨论了不同图像生成模型的特点、发展历程、优势与应用,以及吐司网站的使用方法。关于吐司网站文生图功能的介绍与操作演示获取额外算力的方法:通过特定链接注册或填写邀请码BMSN,新用户7天内可额外获得100算力。文生图的操作方式:在首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。模型及生成效果:Flex模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。图生图及参数设置:可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。特定风格的生成:国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练Lora模型改善。

【SD】真人转二次元?图生图如此强大

作者:白马少年介绍:SD实践派,出品精细教程发布时间:2023-05-02 20:00原文网址:https://mp.weixin.qq.com/s/l-O9vT9-_xzy0uvxnkjV-w相比于文生图,图生图功能除了文本提词框以外还多了一个图片框的输入口,因此,我们还可以通过图片来给与AI创作的灵感。我们随便照一张照片,直接拖入进来。然后可以看到,在文本输入框的旁边有两个反推提示词的按钮:CLIP是可以通过图片反推出完整含义的句子;DeepBooru是可以反推出关键词组。上面的那一张图,我们通过两种反推方式得到的提示词分别为:CLIP——a young boy sitting on a bench with a toy train and a lego train set on the floor next to him,Adam Rex,detailed product photo,a stock photo,lyco art。(一个小男孩坐在长凳上,旁边的地板上放着一辆玩具火车和一辆乐高火车,亚当·雷克斯,详细的产品照片,一张库存照片,莱科艺术,)DeepBooru——shoes,solo,hat,orange_background,yellow_background,smile,socks,black_hair,sitting,sneakers。(鞋子,独奏,帽子,橙色背景,黄色背景,微笑,袜子,黑发,坐着,运动鞋)可以看到两种方式生成的提示词都有些瑕疵,比如第一组里面没有描述小孩的穿着,第二组里面没有描述小孩的性别和周围的物品,所以我们需要手动来补充提示词的信息。写好提示词之后,我们再调整一下宽度和高度,让这个红框刚好匹配我们的图片即可。接下来,最重要的是这两个参数:提示词相关性和重绘幅度。

其他人在问
图生图时,如何多维度多参数进行生图
以下是关于图生图时多维度多参数进行生图的方法: 1. 设置文生图提示词: 大模型:majicmixRealistic_v6.safetensors 正向提示词:,auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,,lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w 2. 设置参数: 迭代步数:50 采样方法:DPM++ 2M Karras 尺寸:1328×800px 3. 除了文本提词框,图生图功能还有图片框输入口,可通过图片给与 AI 创作灵感。 例如随便照一张照片拖入,文本输入框旁有两个反推提示词的按钮:CLIP 可通过图片反推出完整含义的句子;DeepBooru 可反推出关键词组。 两种反推方式生成的提示词可能有瑕疵,需手动补充提示词信息。 写好提示词后,调整宽度和高度使红框刚好匹配图片。 注意两个重要参数:提示词相关性和重绘幅度。
2024-12-03
文生图
以下是关于文生图的相关知识: 简明操作流程: 定主题:明确生成图片的主题、风格和要表达的信息。 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 选择 lora:寻找与生成内容重叠的 lora 以控制图片效果和质量。 ControlNet:可控制图片中特定的图像,如人物姿态、特定文字等,属于高阶技能。 局部重绘:下篇再教。 设置 VAE:选择 840000 即可。 Prompt 提示词:用英文写需求,使用单词和短语组合,用英文半角逗号隔开。 负向提示词 Negative Prompt:用英文写要避免产生的内容,单词和短语组合,用英文半角逗号隔开。 采样算法:一般选 DPM++2M Karras,也可参考模型作者推荐的采样器。 采样次数:选 DPM++2M Karras 时,采样次数在 30 40 之间。 尺寸:根据喜好和需求选择,注意尺寸并非越大越好。 提示词: 分为内容型提示词和标准化提示词,用于描述想要的画面。例如选择 anythingV5 大模型,输入“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”等描述。 采样迭代步数通常控制在 20 40 之间,步数越高绘画越清晰,但速度越慢。 采样方法常用的有 Euler a、DPM++2S a Karras、DPM++2M Karras、DPM++SDE Karras、DDIM 等,有的模型有指定算法,搭配更好用。 比例设置为 800:400,模型练图基本按 512x512 框架,太大数值可能导致奇怪构图,可通过高清修复放大图像倍率。 文生图工具: DALL·E:OpenAI 推出,可根据文本描述生成逼真图片。 StableDiffusion:开源,能生成高质量图片,支持多种模型和算法。 MidJourney:图像生成效果好,界面设计用户友好,在创意设计人群中流行。 更多工具可在 WaytoAGI 网站(https://www.waytoagi.com/category/104 )查看。
2024-12-19
Sd文生图的专业术语有哪些
以下是一些关于 SD 文生图的专业术语: 1. 内容型提示词:主要用于描述想要的画面,如“1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面”。 2. 标准化提示词:例如“,drawing,paintbrush”。 3. 权重:通过括号和特定数值来增加提示词的权重,权重越高在画面中体现越充分,提示词的先后顺序也会影响权重。 4. 反向提示词:告诉 AI 不要的内容,如“NSFw,”。 5. 采样迭代步数:指 AI 绘画去噪的次数,步数越高绘画越清晰,但绘画速度越慢,通常数值控制在 20 40 之间较好。 6. 采样方法:AI 生成图像时的特定算法,常用的有“Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM”。 7. 比例:尺寸并非越大越好,模型练图通常按 512x512 的框架绘制,高宽比尽量在这个数值附近。高清修复可放大图像倍率,高宽比主要控制画面比例。
2024-12-16
ai生图
以下是一些关于 AI 生图的信息: 好用的图生图产品: Artguru AI Art Generator:在线平台,生成逼真图像,为设计师提供灵感,丰富创作过程。 Retrato:AI 工具,将图片转换为非凡肖像,有 500 多种风格选择,适合制作个性头像。 Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具细节的全新视觉作品。 Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计,将上传照片转换为芭比风格,效果好。 这些 AI 模型通过组合技术如扩散模型、大型视觉转换器等,可根据文本或参考图像生成有创意且质量不错的相似图像输出,但存在性能不稳定、生成内容不当等局限。 吐司网站的使用方法: 首页最上方有对话生图的快速入口,可输入想画的文字,没想法可点击右边的🎲随机出提示词,点击「对话生图」,几秒钟出图。 经典工作台:站内所有帖子均可轻松「一键做同款」,还有「今日灵感」。 模型选择:包括写实、2.5D、二次元。 Lora 选择:包括风格、元素、形象。 Controlnet 控制:线条、深度、姿态、语义、风格迁移,法向、色彩。 AI 小工具上手:涵盖扩图、高清修复、去背景等多个设计小工具,还有很多趣味玩法和风格滤镜,一键真人转动漫,有韩漫、日漫等风格。使用前请阅读标题和详情页描述。 有意思的小工具:一键特效写实笔刷_动效百宝箱(https://tusiart.com/template/771104332258195372 )、超精致 Q 版手办生成器(https://tusiart.work/template/773258443040693743 )、哇偶!!完美人偶(https://tusiart.com/template/724596781404555322 )。 在独立游戏开发中的 AI 绘画经验:先去掉微调模型用底模生图,然后用 ControlNet 加上微调模型出新图。从左到右依次是:底模+微调,底模,底模+微调+ControlNet,最终效果不错,该模型在美术做设计参考时也能用。
2024-12-15
我想学习文生图,怎么学
以下是学习文生图的方法: 1. 确定主题:明确您想要生成的图片的主题、风格和表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet(可选):用于控制图片中的特定图像,如人物姿态等,可在后期学习。 5. 局部重绘(下篇再学)。 6. 设置 VAE:选择 840000 即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语组合,用英文半角逗号隔开,无需考虑语法和长句。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样是单词和短语组合,用英文半角逗号隔开。 9. 采样算法:一般选择 DPM++2M Karras,也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数:选择 DPM++2M Karras 时,采样次数一般在 30 40 之间。 11. 尺寸:根据个人喜好和需求选择。 同时,您还需要根据电脑的硬件情况和自身财力选择合适的开始方式: 1. 本地部署:如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢,不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 2. 在线平台:对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,可根据实际情况选择。 3. 配台电脑(不建议一开始就配):非常不建议一上来就配主机,玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意。 此外,学习文生图还需要具备一定的先验经验,如熟练使用文生图、图生图,有一定的逻辑思考和推理能力,适合炼丹新人、小白。课程安排大约 70 80%是理论和方法论的内容,大部分练习会在课外沟通、练习,只有少部分必要内容会在课上演示。必学、必看内容是基础课,主要解决环境问题和软件安装不上的问题;建炉针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分。在吐司网站上,首页有对话生图对话框,输入文字描述即可生成图片,不满意可通过对话让其修改。Flex 模型对语义理解强,不同模型生成图片的积分消耗不同,生成的图片效果受多种因素影响。可通过电图基于图片做延展,生图时能调整尺寸、生成数量等参数,高清修复会消耗较多算力建议先出小图。国外模型对中式水墨风等特定风格的适配可能存在不足,可通过训练 Lora 模型改善。获取额外算力的方法:通过特定链接注册或填写邀请码 BMSN,新用户 7 天内可额外获得 100 算力。
2024-12-13
我想学习文生图,怎么学
以下是学习文生图的方法: 1. 确定主题:明确您想要生成的图片的主题、风格和表达的信息。 2. 选择基础模型 Checkpoint:根据主题选择贴近的模型,如麦橘、墨幽的系列模型,如麦橘写实、麦橘男团、墨幽人造人等。 3. 选择 lora:寻找与生成内容重叠的 lora,以控制图片效果和质量。 4. ControlNet(可选):用于控制图片中的特定图像,如人物姿态、生成特定文字等,可在后期学习。 5. 局部重绘(下篇再学)。 6. 设置 VAE:无脑选择 840000 这个即可。 7. Prompt 提示词:用英文写想要 AI 生成的内容,使用单词和短语的组合,用英文半角逗号隔开,不用管语法和长句。 8. 负向提示词 Negative Prompt:用英文写想要 AI 避免产生的内容,同样使用单词和短语组合,用英文半角逗号隔开,不用管语法。 9. 采样算法:一般选择 DPM++2M Karras,也可参考 checkpoint 详情页上模型作者推荐的采样器。 10. 采样次数:选择 DPM++2M Karras 时,采样次数一般在 30 40 之间。 11. 尺寸:根据个人喜好和需求选择。 同时,您还需要根据电脑的硬件情况和自身财力选择合适的开始方式: 1. 本地部署:如果电脑是 M 芯片的 Mac 电脑(Intel 芯片出图速度慢,不建议)或者 2060Ti 及以上显卡的 Windows 电脑,可以选择本地部署,强烈建议在配有 N 卡的 Windows 电脑上进行。 2. 在线平台:对于电脑不符合要求的小伙伴可以直接使用在线工具,在线工具分为在线出图和云电脑两种,可根据实际情况选择。 3. 配台电脑(不建议一开始就配):非常不建议一上来就配主机,因为大概率会变成游戏机或者吃灰(土豪请随意)。玩几个月后还对 AI 有兴趣的话再考虑配个主机。主机硬盘要大,显卡预算之内买最好,其他的随意。 此外,学习路径方面: 1. 先验经验:需要熟练使用文生图、图生图,有一定的逻辑思考能力和推理能力,适合炼丹新人、小白。 2. 课程简述:课程大约 70 80%是理论和方法论的内容,大部分练习会在课外沟通、练习,只有少部分必要内容会在课上演示。 3. 必学、必看内容是基础课,主要解决环境问题和软件安装不上的问题;建炉针对不同炼丹方式提供了不同的炼丹工具的安装教程;正式的内容部分分为了数据集预处理、模型训练以及模型调试及优化三个部分。
2024-12-13
推荐一款免费的ai文生图工具
以下为您推荐一些免费的 AI 文生图工具: 1. DALL·E:由 OpenAI 推出,能根据输入的文本描述生成逼真的图片。 2. StableDiffusion:开源的文生图工具,可生成高质量图片,支持多种模型和算法。 3. 哩布(https://www.liblib.ai/):免费在线的 SD 工具网站。 4. 吐司(https://tusiart.com/images/635511733697550450?post_id=635512498197535244&source_id=nzywoVHilkK7o_cqaH31xAh):免费在线的 SD 工具网站。 您还可以在 WaytoAGI 网站(https://www.waytoagi.com/category/104)查看更多文生图工具。
2024-12-12
在国内可以免费用的图生视频的ai工具
以下是在国内可以免费用的图生视频的 AI 工具: 1. Hidreamai(国内,有免费额度):https://hidreamai.com//AiVideo 。支持文生视频、图生视频,提示词使用中文、英文都可以,文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制,支持多尺寸,可以生成 5s 和 15s 的视频。 2. ETNA(国内):https://etna.7volcanoes.com/ 。Etna 是一款由七火山科技开发的文生视频 AI 模型,它可以根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒,画质可达到 4K,最高 38402160,画面细腻逼真,帧率 60fps,文生视频,支持中文,时空理解。 3. Dreamina(国内内测,有免费额度):https://jimeng.jianying.com/aitool/video/generate 。支持文生视频、图生视频,视频生视频,支持图生视频首尾帧功能,提示词使用中文、英文都可以,文生视频支持正向提示词、运镜控制、运动强度控制、帧数选择,支持 16:9、9:16、1:1、3:4、4:3 尺寸,图生视频、视频生视频除了尺寸不可选以外,其他跟文生视频基本相同,默认生成 3s 的视频。 4. 可灵(免费):https://klingai.kuaishou.com/ 。支持文生视频、图生视频,支持图生视频首尾帧功能,提示词可使用中文,文生视频支持正向提示词、反向提示词、运镜控制、时长选择(5s、10s),支持 16:9、9:16、1:1 尺寸,图生视频除了不可运镜控制以外,其他跟文生视频基本相同,默认生成 5s 的视频。 此外,还有一些国内外提供文生视频功能的产品推荐: 1. Pika:非常出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看这里:https://www.waytoagi.com/category/38 。请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-12-20
图生视频的ai工具
以下是一些图生视频的 AI 工具: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:若熟悉 Stable Diffusion,可安装此最新插件,能在图片基础上直接生成视频,由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可生成长达 1 分钟以上的视频。 根据视频脚本生成短视频的 AI 工具: 1. ChatGPT + 剪映:ChatGPT 生成视频小说脚本,剪映根据脚本自动分析出视频所需要素并生成对应素材和文本框架。 2. PixVerse AI:在线 AI 视频生成工具,支持将多模态输入转化为视频。 3. Pictory:AI 视频生成器,用户提供文本描述即可生成相应视频内容。 4. VEED.IO:提供 AI 图像生成器和 AI 脚本生成器,帮助用户从图像制作视频,并规划内容。 5. Runway:AI 视频创作工具,能将文本转化为风格化的视频内容。 6. 艺映 AI:专注于人工智能视频领域,提供文生视频、图生视频、视频转漫等服务。 关于清影的图生视频: 输入一张图片加相应提示词,清影大模型会根据提示将图片转变为视频画面。也可以只输入一张图片,清影大模型将自行发挥想象力把图片扩展为有故事的视频。有两个小技巧: 1. 选用尽可能清晰的图片,上传图片比例最好为 3:2(横版),支持上传 png 和 jpeg 图像。若原图不够清晰,可采用分辨率提升工具。 2. 提示词要简单清晰。可以选择不写 prompt,直接让模型操控图片动起来;或者明确想动起来的主体,并以“主体+主题运动+背景+背景运动”的方式撰写提示词(一定要有主体,不然可能会出现 AI 狂乱景象)。若不明确大模型如何理解图片,推荐将照片发送到清言对话框进行识图,明确主体的描述。
2024-12-20
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒,我要如何利用agent自动流实现这个模型可以生成更长,更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频,您可以参考以下几种模型和方法: 1. PixVerse V2 模型: 8 秒的视频生成需要花费 30 Credits,5 秒的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型: Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video:30B 参数 Transformer 模型,可以从单个文本提示生成 16 秒、16 帧每秒的高清视频,相当于 73K 个视频 tokens。对于精确视频编辑,它可以执行添加、删除或替换元素,或背景替换、样式更改等全局修改。对于个性化视频,它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio:13B 参数 Transformer 模型,可以接受视频输入以及可选的文本提示,生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成,在骨干网络架构上,它沿用了 Transformer,特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练,学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调,以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果,模型还引入了流匹配(Flow Matching)作为训练目标,这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型: 文生视频,图生视频,视频生视频,支持多种视频定制选项,如分辨率(从 480p 到 1080p)、视频长度(从 5 秒到更长时间)和视频风格。用户可以浏览社区共享的视频,获取灵感和学习技巧(直接抄别人 prompt)。 故事板:允许用户通过时间线指导视频中的多个动作,创建更加复杂的视频序列。 混音和编辑:提供视频混音功能,允许用户将视频转换成新的风格。支持视频的延伸和剪辑,以及创建循环视频。 高级功能:包括混合功能,可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户,Sora 的使用是包含在现有订阅中的,无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数;OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成,但这可能会减少每月的使用次数。Sora 的发布初期,对于某些地区(如欧洲和英国)可能会有延迟。
2024-12-19
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19
多图生成视频方案
以下是关于多图生成视频的几种方案: 1. 方法一: 利用 MJ 画图,先画出来一张想要的底图。 使用 InsightFaceSwap 这个插件来换脸或者让脸部更像,但因该插件对多人脸部同时处理效果不好,所以先需要进行图片的分割裁剪,分别利用插件处理后,再把图片重新缝合。 最后利用可灵或者其他软件来让图片动起来。 2. 方法二: 直接在网上寻找能够融合两张照片的软件或者项目,直接对图片进行融合。如果没有,就纯 P 图,然后利用图生视频的项目完成内容。 3. 利用现有的知识和工具,如具备 DiT(能够进行图片生成),把视频生成看作独立的图片生成,使用 DiT 生成多帧图片然后串起来就是视频,但这样可能会导致生成的多帧图像不连贯。 4. 使用视频工具 VIGGLE: Mix 模式:先上传一个视频和一张角色图像,Viggle 会自动将视频的动态赋予给这个角色,形成一段新视频,能模拟出角色的 3D 状态,准确还原复杂动作。 Multi 模式:通过视频的动作,将上传的多个角色进行识别并赋予动作,形成一段新视频。 Move 模式:将视频的动作直接映射在图片人物身上,实现“让静态图动起来”。 您可以根据实际需求和操作难度选择适合您的方案。
2024-12-19
免费的图生视频软件有推荐吗
以下是为您推荐的免费图生视频软件: 1. Pika:一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果您熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。这是由 Stability AI 开源的 video model。 3. Kaiber:这是一款视频转视频 AI,能够将原视频转换成各种风格的视频。 此外,您还可以通过以下途径获取更多相关信息: 1. 更多的文生视频的网站可以查看: 2. Vidu 全球上线,Web 端访问:https://www.vidu.studio/ ,具有极速生成、动漫风格、角色可控、精准理解、大片质感等特点。 关于 SVD 图生视频模型的下载和使用: 1. 下载模型:最新模型在前面,建议除开第一个模型都下载。 https://huggingface.co/stabilityai/sv3d/ 【Stable Video 3D模型,最新模型,生成图片 3D 旋转视频,暂时没测试是否能支持】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vidxt11/ 【SVD 1.1 XT 版,支持生成 1024x576 分辨率每秒 14 帧视频,优化了文件大小,提高生成效率】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vidxt 【SVD 1.0 XT 版,支持生成 1024x576 分辨率生成每秒 25 帧视频】 https://huggingface.co/stabilityai/stablevideodiffusionimg2vid 【SVD1.0 版,支持生成生成 1024x576 分辨率每秒 14 帧视频】 2. 放置模型:下载好的 SVD 图生视频模型放置在指定文件夹下。 3. 使用方法:Controlnet 中上传原图选择深度,预处理器可选择不同算法,右侧深度模型记得选择深度模型,获得需要的深度图。结合大模型和提示词,利用文生图就可以生成图片。然后上传制作好的图片,选择 SVD 图生视频大模型,设置参数,生成视频。 内容由 AI 大模型生成,请仔细甄别。
2024-12-19
什么网站可以根据一个视频脚本生成一个视频?
以下是一些可以根据视频脚本生成视频的网站: 1. ChatGPT(https://chat.openai.com/)+剪映(https://www.capcut.cn/):ChatGPT 可生成视频脚本,剪映能根据脚本自动分析出视频所需场景、角色、镜头等要素,并生成对应素材和文本框架,实现从文字到画面的快速转化,节省时间和精力。 2. PixVerse AI(https://pixverse.ai/):在线 AI 视频生成工具,支持将多模态输入(如图像、文本、音频)转化为视频。 3. Pictory(https://pictory.ai/):AI 视频生成器,允许用户提供文本描述来生成相应视频内容,无需视频编辑或设计经验。 4. VEED.IO(https://www.veed.io/):提供 AI 图像生成器和 AI 脚本生成器,帮助用户从图像制作视频,并规划从开场到结尾的内容。 5. Runway(https://runwayml.com/):AI 视频创作工具,能将文本转化为风格化的视频内容,适用于多种场景。 6. 艺映 AI(https://www.artink.art/):专注于人工智能视频领域,提供文生视频、图生视频、视频转漫等服务,可根据文本脚本生成视频。 如果想用 AI 把小说做成视频,大致的制作流程如下: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 另外,Adobe Firefly 中的“生成视频”(https://www.adobe.com/products/firefly/features/aivideogenerator.html)(测试版)可以将您的书面描述转换为视频剪辑。在 Adobe Firefly 网站上(https://firefly.adobe.com/),选择“生成视频”。在 Generate video 页面上,在 Prompt 字段中输入文本提示,还可以使用 Upload 部分中的 Image 选项,将图像用于第一帧,并为视频剪辑提供方向参考。在 General settings 部分,可以确定 Aspect ratio 和 Frames per second。 请注意,具体的操作步骤和所需工具可能因项目需求和个人偏好有所不同。此外,AI 工具的可用性和功能可能会随时间变化,建议直接访问上述工具网址获取最新信息和使用指南。内容由 AI 大模型生成,请仔细甄别。
2024-12-13
如何实用ai生成旅游vlog脚本
以下是使用 AI 生成旅游 Vlog 脚本的流程: 1. 旅游内容分析:使用 AI 工具(如 ChatGPT)分析您的旅游经历,提取关键地点、活动和感受。 2. 生成场景与活动描述:根据旅游经历,使用工具(如 Stable Diffusion 或 Midjourney)生成场景和活动的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建相关图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将旅游经历的文字描述转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。内容由 AI 大模型生成,请仔细甄别。
2024-12-02
创作视频脚本
以下是关于创作视频脚本的相关内容: 在视频工作流中,前期策划和后期制作是核心环节,都可以借助 AIGC 提升效率。前期可利用 ChatGPT 生成文案,后期利用 AI 工具进行自动化视频制作。 生成视频脚本的具体步骤如下: 1. 把想写的选题告诉 ChatGPT,它能在数十秒内生成完整的视频脚本,包括具体场景和转场画面。虽然创意可能有限,但对于非专业人士入手视频创作有一定帮助。 2. 对于将小说做成视频,流程包括: 小说内容分析:使用 AI 工具(如 ChatGPT)提取关键场景、角色和情节。 生成角色与场景描述:利用工具(如 Stable Diffusion 或 Midjourney)生成视觉描述。 图像生成:使用 AI 图像生成工具创建图像。 视频脚本制作:将关键点和图像组合成脚本。 音频制作:利用 AI 配音工具(如 Adobe Firefly)转换语音,添加背景音乐和音效。 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)合成。 后期处理:进行剪辑、添加特效和转场。 审阅与调整:根据需要调整。 输出与分享:完成编辑后输出并分享。 制作商业级的 AI 视频广告脚本时,比如 30 秒时长的奔驰 GLE300L 广告脚本,要突出豪华感和车辆特点,脚本内容应包括时长、内容(开场白、基本介绍、亮点展示、客户证言、呼吁行动)、音乐、台词、道具、景别、运镜等。若对生成的脚本不满意,可要求 Claude 进行修改。
2024-12-02
怎么用ai写脚本
以下是关于如何用 AI 写脚本的一些指导: 首先,明确您要写的故事类型和来源。故事来源可以有两种路径: 1. 原创(直接经验):包括您或您周围人的经历、您做过的梦、您想象的故事等等。 2. 改编(间接经验):比如对经典 IP、名著、新闻进行改编或二创。 在剧本写作方面: 编剧是有一定门槛的手艺,不能单纯依赖剧作理论和模板,而应先大胆地写和实践,再结合看书学习,不断总结经验。对于短片创作,由于篇幅较小、情节和角色相对简单,可以从自己或朋友的经历改编入手,或者对触动您的短篇故事进行改编。多与他人讨论您的故事,有助于修改和进步。 如果您想用 AI 把小说做成视频,大致的制作流程如下: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说,提取关键场景、角色和情节。 2. 生成角色与场景描述:利用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:借助 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,并添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,提升视频质量。 8. 审阅与调整:观看视频,根据需要调整某些场景或音频。 9. 输出与分享:完成编辑后,输出最终视频并在所需平台分享。 需要注意的是,具体操作步骤和所需工具可能因项目需求和个人偏好有所不同,AI 工具的可用性和功能也可能变化,建议访问相关工具网址获取最新信息和使用指南。 另外,对于担心 AI 削弱孩子思考力的问题,如果使用方法正确,AI 反而能助力拓展思维边界。比如将提问方式从封闭性改为开放性,或者让 AI 帮助提出更多拓展思考的问题。在 AI 辅助写作文时,可以让孩子提交与 AI 共同完成作文的聊天记录,重点关注孩子能否说清 AI 作文的优缺点以及如何修改。
2024-11-22
怎么做好视频脚本用ai
以下是关于如何用 AI 做好视频脚本的相关内容: 制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 具体步骤: 1. 生产视频脚本:把您想写的选题告诉 ChatGPT,数十秒时间它就能生成一条完整的视频脚本,包括了具体场景和转场画面。虽然在创意上可能有所不足,但对于非专业人士入手视频创作、提高内容制作效率有一定帮助。 2. 筛选 BGM:视频制作时,为视频挑选合适的 BGM 很关键。告诉 ChatGPT 您的视频情绪,它会给出参考建议。期待未来能与音源网站结合,实现同步预览,提升体验。 此外,利用 ChatGPT 生成视频脚本时还有一些建议: 1. 视觉风格:确保赛博朋克的视觉元素(如霓虹灯、高科技界面、未来感城市景观)与《山海经》中神兽的古典形象相协调。使用先进的特效技术来创造神兽的逼真和神秘外观。 2. 音效与配乐:使用融合传统东方乐器和现代电子音乐的配乐,以增强视频的神秘感和未来感。音效在塑造氛围和强化视觉元素上起着关键作用。 3. 叙事节奏:考虑到视频长度有限,叙事节奏需要紧凑而流畅。确保每个场景都能有效地推进故事,同时保持观众的兴趣。 4. 角色设计:主角的形象设计应与赛博朋克环境和神兽的神秘感相协调。他们的服装、装备应体现未来科技的特点,同时在与神兽的互动中显示出好奇和敬畏。 5. 文化元素的融合:在尊重《山海经》文化精髓的基础上,巧妙融入赛博朋克元素。例如,可以通过高科技设备来解读或与神兽交流。 6. 观众参与:考虑在视频中加入悬念或互动元素,如隐藏的线索或暗示,鼓励观众进行讨论和猜测。 7. 后期制作:精心调整色彩、光影和特效,以确保最终视频的视觉效果符合预期。不要忽视细节,因为它们对于营造一个引人入胜的世界至关重要。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2024-11-20
推荐分镜脚本创作可用的AI
以下为您推荐一些可用于分镜脚本创作的 AI 相关资源和方法: 1. 阿汤的 AI 短片探索第一幕(动画篇)中的分镜脚本示例,包括景别(特写、全景、远景、中景等)、风格(彩色、灰白冷淡等)、画面内容、镜头时长和镜头运动等详细信息。 2. 关于如何做出商业级的 AI 视频广告的教程,其中提到分镜提示词的结构,如明确视频时长、分镜数量、每个分镜的内容和输出格式要求等。还介绍了让 Claude 生成分镜脚本的提示词,并指出对于 30 秒的广告视频,10 个分镜且每个分镜平均 3 秒较为合适。同时,景别设定有助于 MJ 理解需求,画面内容可用于生成图像,对话旁白可用于配音,音乐音效为创作背景音提供思路。您可以参考获取更具体的分镜脚本内容。
2024-11-03