直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

图片的前后一致性,如何实现

回答

要实现图片的前后一致性,可以参考以下步骤:

  1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。
  2. 确定前后图的构图风格:出第二张图时,描述其内容并在提示词中加入第一张图的构图风格(使用 iw 参数)。需注意,输入 --ar、--iw 等参数时,要与前面的提示词用空格隔开,否则会报错。例如:“a dog 空格 --ar 16:9 空格 --iw 1”。将生成的多张图中选择一张图作为垫图,通过右键图片获取其地址。按照格式将提示词、垫图关键词写入。通过微调提示词,得出满意图。
  3. 确定图片角色一致性:在得到构图相同后,利用 MJ 重绘功能对画面里的角色重绘。在重绘提示词里输入 --cref --cw 来保证角色一致性,cref 所垫图还是用之前的图,因为它包含构图和人物两个内容。如果出现黑边,可将黑边部分框住,重绘输入关键词“background”去除黑边,保证背景一致。

由于 MJ 存在不可控因素,如果要保证前后两张图画风、构图等都保持一致,可以按照上述三个确定来处理。需要注意的是,MJ 在重绘时,相较于改变整个画面结构,固定位置重绘局部内容会容易很多。先保证构图再确认角色一致性,就好比美术课画画,把背景风格做好了在固定位置添加内容,比将整个页面内容全部重绘且保证画面主题内容与参考图一样要容易,后者随机性更大。

内容由 AI 大模型生成,请仔细甄别(powered by aily)

参考资料

Jerry:MJ多张图保证构图、人物一致性实战教学

第一张图完成后,难点是在第二张图如何保证和第一张图完全一致,那我们首先描述第二张图的内容:“健身房卧推的人们”,有内容后在确认构图,即使用iw参数。注:这里需要垫的图的地址链接将生成的4张图中选择一张图作为即将垫的图,U1-U4代表从左到右,从上到下,将对应图单独拧出来,比如U3就是将第二行第一张图拧出来。点开图片,右键图片地址,即得到需要垫图地址。接着按照上文的格式将提示词,垫图关键词写入进去。保证图像构图一致性可以用上--iw参数(下面提示词最前方需要垫图的图片地址,即上图复制的图片地址,在提示后用iw,这是iw的使用基本格式)提示词如下:PS:温馨提醒,输入--ar --iw等参数时,需要和前面一个提示词用空格隔开,否则不生效报错。例如"a dog空格--ar 16:9空格--iw 1通过微调提示词,得出满意图。

Jerry:MJ多张图保证构图、人物一致性实战教学

[title]Jerry:MJ多张图保证构图、人物一致性实战教学[heading1]三、不同画面构图、人物一致性保证由于MJ不可控因素,如果需要前后两张图画风、构图等都保持一致,这里总结了一个SOP,可以按照三个确定来处理。1.确定画面元素优先出一张图,保证风格、构图样式及人物角色2.确定前后图的构图风格出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw参数)3.确定图片角色一致性在第二步得到构图风格没有问题的基础上,在保证人物一致性即可。WHY先保证构图再确认角色一致性?因为MJ在重绘时,如果要将一个角色从镜头一个位置挪到另外一个指定位置,非常难处理。整个MJ出图基本也是靠降噪重绘,那相较于把整个画面结构都变了,固定位置重绘局部内容会容易很多,如果整个画面结构变了先保证人物内容的话,会很依赖MJ抽卡(因为你不知道何时才能出到与你之前相同的构图样式)。这就好比美术课画画一样,给你一张参考图,一个是把背景风格都做好了,让你在固定位置添加内容,另外一个是让你将整个页面内容全部重绘,还要保证画面的主题内容要和参考图一样,相比之下后者的随机性会大非常多(抽卡次数也会很多)。

Jerry:MJ多张图保证构图、人物一致性实战教学

在得到构图相同后,基本就离成功不远啦。可以看到MJ没有办法记住上一张图的角色样子,所以面孔差别非常大,所以我们需要在生成的图里,对画面里的角色重绘,保证图片一致性。[heading3]3.3.1角色一致性[content]利用MJ重绘功能(上文讲过),对画面进行局部重绘,在重绘提示词里输入--cref --cw来保证角色一致性。cref所垫图还是用的是刚才一张图,因为第一张图有两个内容我们都要拿:构图、人物重绘关键词如下,需要注意的是cref的垫图可以将链接放在文末,和iw不同,它需同时配合cw参数来确定人物一致性:[heading3]3.3.2黑边处理[content]到这里基本上就大功告成了,但是发现每张图上会有黑边,那这个怎么处理呢?答案还是重绘。将黑边部分框住,重绘输入关键词:background就能去除黑边,保证背景一致了欢迎来尝试下~

其他人在问
我想做简洁卡通风格的ai动画,根据故事文案生成的那种,需要保持人物一致性,用哪个工具比较好?
以下是一些适合生成简洁卡通风格、根据故事文案生成动画并保持人物一致性的工具: 1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。新注册有免费生成额度。 2. 季梦:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。若为 1.2 版本,选慢速或适中的标准模式,效果更好,且生成的视频无水印。每天给 60 积分。 3. 可玲:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。每天给 60 积分,可用于日常使用,创作片子可能需买会员,生成的视频有无水印选项。 此外,在使用 Midjourney 生图时,若要保持人物和场景一致性,有两个取巧的方式:一个是像上个视频一样生成动物,动物会比较容易保持一致性;另一个方式是特定的名人或者有特殊属性的人物。在确定影片风格时,比如可以选择皮克斯动画风格。同时,在提示词中利用 cref 命令也有助于保持人物的一致性。
2024-12-18
sd角色一致性
在 Stable Diffusion(SD)中实现角色一致性多角度头像绘制的方法如下: 1. 准备工作: 准备一张人物的多角度图片,共有 15 个不同视图,尺寸设置为 1328×800px,放大两倍后保证每张小图为 512×512px。 加上网格图,通过 lineart 分割不同块面。 设置 controlnet,第一张图选择 openpose_face 得到人物的 15 个面部角度,第二张图选择 lineart_standard得到清晰的表格分区。 增加 ADetailer 的脸部修复插件防止小图模式下人脸崩坏。 2. 开始生图: 大模型:majicmixRealistic_v6.safetensors 正向提示词:,auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,,lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w 参数设置:迭代步数 50,采样方法 DPM++ 2M Karras,尺寸 1328×800px。 3. 细节放大: 发送到图生图,重绘幅度设置为 0.55,使用 controlnet 的 teil 模型增加细节,控制模式选择“更倾向 controlnet”。 使用 Ultimate SD upscale 脚本放大为 2 倍,采用 4xUltraSharp 放大算法。 4. 尝试不同风格: 例如使用 AnythingV5 大模型绘制浅绿色侧马尾女孩形象,使用 revAnimated 大模型绘制粉色头发的长发公主形象。 需要注意的是,由于 AI 绘画的随机性存在,15 个角度的画面不可能完美,controlnet 的控制能让我们更大程度接近想要的效果,想要好的结果需要多刷图。如需 stable diffusion 相关资料,可关注公众号【白马与少年】发送【sd】获取链接。
2024-11-25
请问现在好用的AI图片生产工具有哪些,对人物一致性要求高
以下是一些好用的 AI 图片生产工具,且对人物一致性要求较高: 1. Artguru AI Art Generator:是一个在线平台,能够生成逼真图像,为设计师提供灵感,丰富创作过程。 2. Retrato:这是一款 AI 工具,可将图片转换为非凡肖像,拥有 500 多种风格选择,适合制作个性头像。 3. Stable Diffusion Reimagine:新型 AI 工具,通过稳定扩散算法生成精细、具有细节的全新视觉作品。 4. Barbie Selfie Generator:专为喜欢梦幻童话风格的人设计的 AI 工具,能将上传的照片转换为芭比风格,效果出色。 在使用 AI 生图时,若要保证人物和场景的一致性,有两个取巧的方式:一是像生成动物,动物会比较容易保持一致性;二是特定的名人或有特殊属性的人物。 另外,目前市面上的 AI 工具分为线上和线下本地部署两种。线上的优势是出图速度快,不依赖本地显卡配置,无需下载大型模型,还能参考其他创作者的作品,但出图分辨率有限。线下部署的优势是可以添加插件,出图质量高,但对电脑配置要求高,使用时可能导致电脑宕机。可以充分发挥线上和线下平台的优势,线上用于找参考、测试模型,线下作为主要出图工具。
2024-11-23
mj如何保持人物一致性
在 MJ 中保持人物一致性可以按照以下步骤进行: 1. 确定画面元素:优先出一张图,保证风格、构图样式及人物角色。 2. 确定前后图的构图风格:出第二张图时,将第二张图提示词描述后加入第一张图的构图风格(iw 参数)。 iw 取值范围为,不填写默认 iw = 1,iw 值越大越接近垫的图像,反之更接近提示词。为确保人物一致性,建议取 iw 2。 3. 确定图片角色一致性: 在得到构图相同后,利用 MJ 重绘功能,对画面进行局部重绘。在重绘提示词里输入 cref cw 来保证角色一致性。cref 所垫图还是用的是刚才一张图,因为第一张图有两个内容我们都要拿:构图、人物。 若出现黑边,将黑边部分框住,重绘输入关键词“background”就能去除黑边,保证背景一致。 需要注意的是,由于 MJ 不可控因素,相较于保证人物位置,先保证构图会容易很多。因为 MJ 在重绘时,如果要将一个角色从镜头一个位置挪到另外一个指定位置,非常难处理。整个 MJ 出图基本也是靠降噪重绘,固定位置重绘局部内容会比改变整个画面结构容易很多。这就好比美术课画画,给一张参考图,一个是把背景风格都做好了,让在固定位置添加内容,另一个是将整个页面内容全部重绘,还要保证画面的主题内容要和参考图一样,相比之下后者的随机性会大非常多(抽卡次数也会很多)。 在生成人物图片时,先确定人物形象,如“a little girl wearing a yellow floral skirt+人物动作+风格词”,在 mj 中生成直到得到一张满意的人物图像。为了确保人物一致性,取 iw 2 。然后可以使用 PS 或者 Canva 将人物和场景合成到一张图,若色调不和谐,可将合成后的图作为垫图(iw 2),mj 重新生图。
2024-11-02
stable diffusion 绘本一致性
Stable Diffusion 绘本一致性相关知识如下: 工作原理: Stable Diffusion 生成随机噪声,并逐步更改噪声以努力获得与提示一致的图像。其基本结构包括 encoder + diffusion + decoder 的流程。Checkpoint 记录某个训练周期整个 diffusion 及可能的 encoder decoder 的参数,VAE 是 encoder decoder 的参数,在 SDXL 等大型模型中需配对以避免花屏现象。LoRA 模型训练时先冻结 SD 模型权重,然后在 UNet 结构中注入 LoRA 模块并与 CrossAttention 模块结合,只对部分参数微调。 相关论文: AnyDoor: MixofShow: LyCORIS: 影响生成结果的因素: 影响生成的图与他人不同的因素包括随机数种子(Seed)。随机数种子控制最底层形状,决定照片基础轮廓,如人物外形轮廓、姿势和站位等。当随机数为“1”时,SD 会随机生成种子。可在点击生成的照片下面的一大串英文中查看 seed 值。只有所有参数包括随机数种子都与他人相同时,才能生成相似的照片。
2024-09-30
如何用midijurney生生人物一致性
在 Midjourney 中实现人物一致性,主要通过以下方式: 1. Midjourney V6 更新了角色一致性命令“cref ”。您可以根据需要重复此过程,但要注意不要过多操作,以免丧失保真度。添加角色参考图像,并选择一个“cw”以达到效果。Midjourney 能够从参考图像中识别的角色属性将与提示混合,从而创建出角色的最终表现。您可以通过使用“cw N”参数(cref 权重)来大致控制转移,其中 N 的值可以从 1 到 100,默认值为 100。“cw”参数不会改变角色参考图像的强度/影响力,其作用如下: “cw 100”的值(默认值)将捕捉整个角色。 “cw 99 到cw 1”之间的值将开始捕捉较少的整个角色,仅集中于转移面部。 “cw 0”的值将仅捕捉面部,大致类似于面部替换。且无法关闭面部的转移。 2. 在群像人物一致性保持及空间深度控制方面,以双人画面人物一致性的保持为例,分为 5 步: Step 1:将初始图(A)以及人物图(B)作为风格(sref)及人物(cref)的参考内容,提示词中需要注意: 描述好空间关系(下方画线部分),视角问题可以略过(风格参考会自带角度)。 成功输出图(C),可能会遇到女同事 Lisa 无法保持跟初始图(A)一致的问题。其中:sref 为风格参考,cref 为人物参考,cw 范围为 0 100,默认 100 但建议写上去确保万无一失。 Step 2:找到已生成的 Lisa 纯人物的图,提取图片链接(url)做准备工作。 Step 3:基于 Step 1 生成的构图清晰但人物失控的成图(C)基础上,进行重绘 Vary Region,步骤为: 框选需要被替换的人物。 然后将 Step 2 准备好的链接,贴入框内界面 cref 后面,注意先把原始的 cref(即红色部分)删掉。
2024-09-23
图片放大
以下是关于图片放大的相关信息: 本地工具放大:https://www.upscayl.org/download SD 放大:扩散模型可以增加更多细节 开源工作流: stability.ai 的:https://clipdrop.co/tools 画质增强: https://magnific.ai/ https://www.krea.ai/apps/image/enhancer https://imageupscaler.com/ https://picwish.cn/photoenhancerapi?apptype=apsbdapi&bd_vid=8091972682159211710 腾讯 ARC:https://arc.tencent.com/zh/aidemos/humansegmentation?ref=88sheji.cn 腾讯开源的模型,能恢复老照片:https://github.com/TencentARC/GFPGAN,在线测试地址:https://replicate.com/tencentarc/gfpgan 美图老照片修复:https://www.xdesign.com/quality/?channel=sllbd90&bd_vid=11711254260543749686 https://imglarger.com/ https://letsenhance.io/ http://waifu2x.udp.jp/ 在 SD 中进行图片放大: 使用过插件、脚本和后期处理,原理相同,好坏需尝试,因为 AI 生图有随机性。 在 Tiled Diffusion 中,MultiDiffusion 方案适合图像重绘、风格迁移和放大等功能。 四个滑块代表分块大小、分块之间的重叠像素和同时处理的分块数量,数值越大效果越好、速度越快,数值越小占用显存越小,一般保持默认,重叠像素大小建议使用 MultiDiffusion 时选择 32 或 48,使用 Mixture of Diffusers 选择 16 或 32。 Tiled VAE 可极大程度降低 VAE 编解码大图所需的显存字节,分块大小根据电脑情况调节,数值越小占用显存越低。 生成 512x512 的图片,发送到图生图进行重绘,选择熟悉的放大算法和所需的放大倍数,重绘幅度设置为 0.35,放大算法下面的噪声反转可在重绘前对原图像进行噪声图反推,让放大的图片更接近原图。 在 SD 中文生图的相关提示词: Stable Diffusion 的生成方式主要分为文生图和图生图两种,文生图仅通过正反向词汇描述发送指令,图生图除文字外还可给 AI 参考图进行模仿(垫图)。 文本描述分为内容型提示词和标准化提示词,内容型提示词用于描述想要的画面,例如:1 个女孩,黑发,长发,校服,向上看,短袖,粉红色的花,户外,白天,蓝色的天空,云,阳光,上身,侧面(使用翻译软件翻译成英文)。 采样迭代步数通常控制在 20 40 之间,采样方法常用的有:Euler a;DPM++2S a Karras;DPM++2M Karras;DPM++SDE Karras;DDIM。 比例设置为 800:400,高宽比尽量在 512x512 数值附近,太大的数值会使 AI 构图奇怪,可同时点选高清修复来放大图像倍率。
2024-12-20
你可以根据问题说生成PPT或者图片吗
以下是关于生成 PPT 或图片的相关内容: 增强版 Bot 是基于 AI 驱动的智能创作平台,可实现一站式内容生成,包括图片、PPT、PDF 等。例如,在对话框输入诉求“生成常见的系统架构风格架构设计图”即可生成相应图片,输入“帮我生成一篇包含以上架构风格的完整 PPT”可生成 PPT 幻灯片内容及相关模板选择,输入“根据上面的架构风格,制作一篇常见系统架构风格的 PDF 文件”可生成相应的可选模板。 在 MJ 应用中,为 PPT 配图可通过复制图像链接和提示词,在 discord 中输入相应命令生成图像。生成后可改变比例和镜头拉远,检查构图,选择合适的图放入 PPT 调整构图。 在制作课程时,可通过一系列提问模板让 ChatGPT 协助创作章节内容,并将其转换成 PPT 格式,还可加入学员案例、参考范例让其进行改写或续写。
2024-12-19
如何通过图片素材,自动剪辑视频
以下是通过图片素材自动剪辑视频的步骤: 1. 访问 Adobe Firefly 网站(https://firefly.adobe.com/),选择“生成视频”。 2. 在“生成视频”页面的“提示”字段中输入文本提示,您还可以使用“上传”选项在“图像”部分使用图像作为第一帧,并为视频剪辑提供方向参考。添加图像以提供清晰的视觉引导,使生成的视频更紧密地与您的愿景对齐。 3. 在“常规设置”部分,确定“宽高比”和“每秒帧数”。 4. 在“高级”部分,您可以使用“种子”选项添加种子编号,以帮助启动流程并控制 AI 创建内容的随机性。如果使用相同的种子、提示和控制设置,可以重新生成类似的视频剪辑。 5. 选择“生成”。 此外,关于生成视频的常见问题解答: 视频模型可能需要裁剪您的图像以适应所需的图像大小,这是从中心完成的,可能会丢失边缘部分图像。要自己裁剪图像,可以使用 Adobe Express 等 Adobe 应用程序。 种子是帮助启动流程的数字,控制 AI 创建内容的随机性。如果使用相同的种子、提示和控制设置,可以重新生成类似的资源。如果更改了提示、上传的图像和控制等属性,则使用相同的种子。如果属性保持不变,则会生成新的种子。 当更改任何设置或提示时,种子将保持不变,这可能导致生成的人物在种族、民族或肤色方面看起来相似。在“高级设置”下更改种子编号可能会改变人物的种族、民族或肤色。
2024-12-19
我想用AI把图片生成营销视频
以下是关于用 AI 把图片生成营销视频的相关信息: 生成式人工智能在营销中的应用:DALLE 2 和其他图像生成工具已被用于广告,如亨氏使用番茄酱瓶的图像和类似标签论证“这就是人工智能眼中‘番茄酱’的样子”;雀巢使用维米尔画作的人工智能增强版帮助销售酸奶品牌;Stitch Fix 服装公司使用 DALLE 2 根据客户偏好创建服装可视化;美泰使用该技术生成玩具设计和营销的图像。 判断图片是否为 AI 生成:AI 作画的画质画风偶尔会波动,不像人类画师作品质量大多稳定向上发展,AI 就像皮下雇佣无数画技参差不齐画手的批皮营销号,画质质量胡乱。 制作商业级 AI 视频广告的出图方法:MJ 出图质量稳定,使用门槛低,暂时无其他替代工具。常规操作是登录 Discord 网站,打开 MJ 服务器出图,通过/imagine 命令输入提示词生成图片。若想提高效率,可使用 Autojourney 插件,它是电脑浏览器的一个插件,能批量发送提示词、自动下载图片、自动放大图片、生成提示词等,在浏览器拓展程序中下载安装,激活后将 MJ 出图提示词复制到插件中即可自动批量出图,一次可输入 10 组提示词。
2024-12-19
如何将照片生成漫画风格的图片
以下是将照片生成漫画风格图片的方法: 使用 SD 模型和 lora 的组合: 1. 选择大模型“Flat2D Animerge”,适合生成卡通动漫图片,官方建议 CFG 值在 5 或 6(使用动态阈值修复时可拉到 11)。 2. 选择两个 lora,“Chinese painting style”可增加中国画水彩风格效果,权重设置为 0.4;“Crayon drawing”可添加简单线条和小孩子的笔触,权重设置为 0.8。 3. 将图片丢到标签器中反推出关键词,然后发送到“文生图”。 4. 在正向提示词末尾添加上述 lora。 5. 按照参考图设置好尺寸,重绘幅度开 0.5 让 AI 更自由发挥,想更接近原图可降低数值。 6. 将图放入 controlnet 中,选择 tile 模型,权重为 0.5,控制模式选择“更注重提示词”。 使用 Midjourney 以图绘图功能生成迪斯尼卡通风格头像: 1. 选择一张满意的图片,在 Discord 社区的 Midjourney 服务器聊天栏点击“+”,上传文件选取图片并发送(记得点击回车或发送按钮)。 2. 点击图片,在浏览器中打开,复制图片链接。 3. 使用图片链接加 prompt 提示词发送给 Midjourney 进行以图绘图。 复杂提示词示例:Disney boy,Low saturation Pixar Super details,clay,anime waifu,looking at viewer,nighly detailedreflections transparent iridescent colors.lonctransparent iridescent RGB hair,art by Serafleurfrom artstation,white background,divine cinematic edgelighting,soft focus.bokeh,chiaroscuro 8K,bestquality.ultradetailultradetail.3d,c4d.blender,OCrenderer.cinematic lighting,ultra HD3D renderinoiw 1.5s 500v 5 不同照片生成:可更换照片使用相同提示词重新生成。 其他调整:若觉得风格太过卡通,可把提示词里的 Disney 换成 Pixar;若为女孩,把提示词里的 boy 换成 girl。每次生成 4 张图片,对某一张满意可点击下方的 U1~U4 生成大图,对风格满意但需调整可点击下方的 V1~V4 进行修改。
2024-12-19
图片处理AI工具都有哪些
以下是一些常见的图片处理 AI 工具: 1. 图片生成工具: DallE Leonardo BlueWillow Midjourney 2. 去水印工具: AVAide Watermark Remover:在线工具,支持多种图片格式,操作简单,可去除多种元素。 Vmake:可上传最多 10 张图片,适合快速去除水印并在社交媒体分享图片的用户。 AI 改图神器:提供智能图片修复去水印功能,支持粘贴或上传手机图像。 3. 画质增强工具: Magnific:https://magnific.ai/ ClipDrop:https://clipdrop.co/imageupscaler Image Upscaler:https://imageupscaler.com/ Krea:https://www.krea.ai/ 更多工具可以查看网站的图像放大工具库:https://www.waytoagi.com/category/17 。这些工具各有特点和功能,您可以根据具体需求选择合适的工具。请注意,内容由 AI 大模型生成,请仔细甄别。
2024-12-19
我想要实现一个微信ai客服,怎么弄呢
要实现一个微信 AI 客服,您可以参考以下两种方法: 方法一: 1. 搭建,用于汇聚整合多种大模型接口,方便后续更换使用各种大模型,同时会告诉您如何白嫖大模型接口。 2. 搭建,这是一个知识库问答系统,将知识文件放入其中,并接入上面的大模型作为分析知识库的大脑,最后回答您的问题。如果不想接到微信,自己使用,搭建完此系统即可,它也有问答界面。 3. 搭建,其中的 cow 插件能进行文件总结、MJ 绘画等。 方法二: 1. 确定功能范围: 支持用户发送“关键字”,自助获取您分享的“AI 相关资料链接”。 能够回答 AI 相关知识,优先以“您的知识库”中的内容进行回答,若知识库内容不足,则调用 AI 大模型回复,并在答案末尾加上“更多 AI 相关信息,请链接作者:jinxia1859”。 “AI 前线”能发布在您的微信公众号上,作为微信客服助手。 2. 准备以下内容: 根据 Bot 的目的、核心能力,编写 prompt 提示词。 整理“关键字”与“AI 相关资料链接”的对应关系,可用 word、txt、excel 整理。 创建一个自己的【知识库】,用于回答 AI 相关知识。 由于“AI 前线”要按照一定规则处理知识,创建一个【工作流】,控制 AI 按要求处理信息。 准备好自己的微信公众号,以便将机器人发布在微信公众号上。 以上就是实现微信 AI 客服的两种方式及具体步骤。
2024-12-20
计算两个文本的相识度代码实现
以下是关于计算两个文本相似度的代码实现相关内容: 在文本处理中,文本会先转为 tokens,再转为向量,然后放到计算机中运算以找出规律。在文本转为向量后,可以通过欧式距离或 cosin 角度来计算两个文本之间的相似性。例如,使用 SBERT 算法时,对于描述主体相同的情况(如屏幕相关的描述)会设为高相似性。文本统计单位“1”通常是以二级类别来衡量,比如屏幕模糊,它包括画面模糊、边缘模糊、文本模糊等细分情况。若要统计三级类别,目前多采用人工统计。同时,文本统计单位“1”是一个 clustering 概念,因为在向量空间中难以找到完全相同的两个单位,更多是距离较近的单位,所以统计通常以 clustering 计算。 另外,在初级菜鸟学 Langchain 实录中,对于文本相似度检索过程,包括读入文字、进行文字清洗、文本句子切分、文本向量化、计算相似度以及取前几的答案等步骤,详情可见 https://github.com/yuanzhoulvpi2017/DocumentSearch 。
2024-12-19
目前我已经有了一个可以文生视频或者图生视频的模型但是只能6秒,我要如何利用agent自动流实现这个模型可以生成更长,更可靠质量的视频呢
要利用 agent 自动流实现生成更长、更可靠质量的视频,您可以参考以下几种模型和方法: 1. PixVerse V2 模型: 8 秒的视频生成需要花费 30 Credits,5 秒的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。 目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,视频时长。图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. Meta Movie Gen 模型: Movie Gen 由视频生成和音频生成两个模型组成。 Movie Gen Video:30B 参数 Transformer 模型,可以从单个文本提示生成 16 秒、16 帧每秒的高清视频,相当于 73K 个视频 tokens。对于精确视频编辑,它可以执行添加、删除或替换元素,或背景替换、样式更改等全局修改。对于个性化视频,它在保持角色身份一致性和运动自然性方面取得 SOTA 性能。 Movie Gen Audio:13B 参数 Transformer 模型,可以接受视频输入以及可选的文本提示,生成与视频同步的高保真音频。 Movie Gen Video 通过预训练微调范式完成,在骨干网络架构上,它沿用了 Transformer,特别是 Llama3 的许多设计。预训练阶段在海量的视频文本和图像文本数据集上进行联合训练,学习对视觉世界的理解。微调阶段研究人员精心挑选了一小部分高质量视频进行有监督微调,以进一步提升生成视频的运动流畅度和美学品质。为了进一步提高效果,模型还引入了流匹配(Flow Matching)作为训练目标,这使得视频生成的效果在精度和细节表现上优于扩散模型。 3. Sora 模型: 文生视频,图生视频,视频生视频,支持多种视频定制选项,如分辨率(从 480p 到 1080p)、视频长度(从 5 秒到更长时间)和视频风格。用户可以浏览社区共享的视频,获取灵感和学习技巧(直接抄别人 prompt)。 故事板:允许用户通过时间线指导视频中的多个动作,创建更加复杂的视频序列。 混音和编辑:提供视频混音功能,允许用户将视频转换成新的风格。支持视频的延伸和剪辑,以及创建循环视频。 高级功能:包括混合功能,可以将两个视频场景合并成一个新的场景。 对于已经拥有 OpenAI Plus 或 Pro 账户的用户,Sora 的使用是包含在现有订阅中的,无需额外支付费用。OpenAI Plus 订阅每月 50 次视频生成次数;OpenAI Pro 订阅无限次慢速队列生成,500 次正常速度的视频生成次数。用户可以根据需要选择更高分辨率的视频生成,但这可能会减少每月的使用次数。Sora 的发布初期,对于某些地区(如欧洲和英国)可能会有延迟。
2024-12-19
nova有个图生视频的功能,但是只能生成6秒钟,我要如何组合服务去实现可以文生长视频并且也可以图生长视频呢
以下是一些实现文生长视频和图生长视频的方法: 1. 使用 PixVerse V2 模型: 单个视频生成(8s):8s 的视频生成需要花费 30 Credits,5s 的视频生成需要花费 15 Credits,且只能使用 PixVerse V2 模型,生成时请注意模型选择。目前仅支持 16:9 画面比例的视频生成。 文生视频:点击“Text to Video”,在“Model”选择“PixVerse V2”,视频时长。PixVerse V2 支持多风格的视频生成,您可以通过在提示词中加入“Anime”,“Realistic”等词语做到这点。 图生视频:点击“Image to Video”,在“Model”选择“PixVerse V2”,图生视频暂不支持“Magic Brush”、“Camera Motion”、“Motion Strength”等功能,如需要使用上述功能,请将模型切换至“PixVerse V1”。 2. 利用 runway: 视频的大部分片段用 runway(https://app.runwayml.com/)制作,少数的片段用的是即梦(https://jimeng.jianying.com/aitool/home)的动效画板和首尾帧。 以汽车内饰这一片段为例,登录 runway 账户后,在首页的左侧点击“Text/Imagine to Video”,中文即是“文生视频/图生视频”。点击 2 处将汽车内饰的图片上传到 runway 中。其中 1 处可以更改生成图片所用到的大模型版本,数字越大代表模型越强。目前只有 Gen2 每天有免费额度。3 处用于输入提示词。4 处可以修改生成的视频时长为 5s 或 10s,时长越长,生成的效果可能越不稳定。5 处可以看到生成的结果。提示词方框中输入的运镜方式“Roll Clockwise Shot slowly”是,即摄像机围绕垂直轴顺时针旋转,常用于创造动态的、有时令人眩晕的视觉效果。不想动脑的话,每个片段的运镜方式根据分镜表的建议来即可。运镜提示词该如何填写呢?可以参照:。runway 对于这些专有的运镜方式理解的很好。其他的提示词可以不填,先看看效果,如果效果不好,再补充简短的提示词重新生成视频。很多时候提示词过多,生成的视频就很怪异,像吃了毒蘑菇后看到的幻觉一样。改变提示词,改变生成时长,多抽卡几次,毕竟 runway 会员可以无限抽卡。 3. 海外产品 viva: viva 发布了首个开放给全部用户使用的 Sora 同架构视频生成模型,而且现阶段免费。支持文本生成视频、图片生成视频以及 4K 分辨率放大功能,另外也支持提示词的自动优化。文生视频单次可以生成一条 5 秒的视频,图生视频是 4 秒视频。
2024-12-19
推荐一个大模型,可以实现特定人的声音,朗读文字
以下为您推荐可以实现特定人声音朗读文字的大模型及相关工具: 大模型方面:包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 语音合成(TTS)工具: 微软的 edgetts:https://github.com/rany2/edgetts,只能使用里面预设的人物声音,目前接口免费。 VITS:https://github.com/jaywalnut310/vits,还有很多的分支版本,可以去搜索一下,vits 系列可以自己训练出想要的人声。 sovitssvc:https://github.com/svcdevelopteam/sovitssvc,专注到唱歌上面,前段时间很火的 AI 孙燕姿。 Eleven Labs:https://elevenlabs.io/ ,ElevenLabs Prime Voice AI 是一款功能强大且多功能的 AI 语音软件,使创作者和出版商能够生成逼真、高品质的音频。人工智能模型能够高保真地呈现人类语调和语调变化,并能够根据上下文调整表达方式。 Speechify:https://speechify.com/ ,Speechify 是一款人工智能驱动的文本转语音工具,使用户能够将文本转换为音频文件。它可作为 Chrome 扩展、Mac 应用程序、iOS 和 Android 应用程序使用,可用于收听网页、文档、PDF 和有声读物。 Azure AI Speech Studio:https://speech.microsoft.com/portal ,Microsoft Azure Speech Studio 是一套服务,它赋予应用程序能力,让它们能够“听懂、理解并与客户进行对话”。该服务提供了支持 100 多种语言和方言的语音转文本和文本转语音功能。此外,它还提供了自定义的语音模型,这些模型能够适应特定领域的术语、背景噪声以及不同的口音。 Voicemaker:https://voicemaker.in/ ,AI 工具可将文本转换为各种区域语言的语音,并允许您创建自定义语音模型。Voicemaker 易于使用,非常适合为视频制作画外音或帮助视障人士。 此外,上述算法开源的代码有很多,例如: ASR 语音识别: openai 的 whisper:https://github.com/openai/whisper wenet:https://github.com/wenete2e/wenet speech_recognition:https://github.com/Uberi/speech_recognition 除了算法,人物建模模型可以通过手动建模(音频驱动)或者 AIGC 的方式生成人物的动态效果(例如 wav2lip 模型)实现,这样就完成了一个最简单的数字人。但这种简单的构建方式还存在很多问题,例如如何生成指定人物的声音,TTS 生成的音频如何精确驱动数字人口型以及做出相应的动作,数字人如何使用知识库,做出某个领域的专业性回答等。
2024-12-18
推荐一个生成bpm系统产品原型图的ai工具,可以实现文字输入,甄别分析后直接生成原型图,并且导入Figma或者Axure可以二次编辑
以下是为您推荐的可生成 BPM 系统产品原型图、用于产品原型设计或绘制示意图的 AI 工具: 1. 即时设计:https://js.design/ 这是一款可在线使用的「专业 UI 设计工具」,为设计师提供更加本土化的功能和服务,相较于其他传统设计工具,更注重云端文件管理、团队协作,并将设计工具与更多平台整合,一站搞定全流程工作。 2. V0.dev:https://v0.dev/ Vercel Labs 推出的 AI 生成式用户界面系统。每个人都能通过文本或图像生成代码化的用户界面。它基于 Shadcn UI 和 Tailwind CSS 生成复制粘贴友好的 React 代码。 3. Wix:https://wix.com/ Wix 是一款用户友好的 AI 工具,可让您在没有任何编码知识的情况下轻松创建和自定义自己的网站,提供广泛的模板和设计供您选择,以及移动优化和集成电子商务功能等功能。Wix 建站工具通过拖放编辑、优秀模板和 250 多种 app,能帮助不同领域的用户创建所有种类的网站。 4. Dora:https://www.dora.run/ 使用 Dora AI,可以通过一个 prompt,借助 AI 3D 动画,生成强大网站。支持文字转网站,生成式 3D 互动,高级 AI 动画。 5. UIzard:是一个利用 AI 技术生成用户界面的工具,它可以根据设计师提供的信息快速生成 UI 设计。 6. Figma:是一个基于云的设计工具,它提供了自动布局和组件库,可以帮助团队快速协作并迭代产品设计。Figma 的社区也开发了一些 AI 插件,用于增强设计流程。 7. Sketch:是另一款流行的矢量图形设计工具,它提供了插件系统,其中一些插件利用 AI 技术来辅助设计工作,例如自动生成设计元素等。 请注意,以上内容由 AI 大模型生成,请仔细甄别。
2024-12-17