Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI图片制作视频如何保持人脸一致性的工具

Answer

以下是一些关于在 AI 图片制作视频中保持人脸一致性的工具和方法:

  1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。
  2. PixVerse:其“角色(Character)”新功能能实现 AI 生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的真实人脸图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在 AI 生成视频中轻松切换场景,同时保持同一角色身份。
  3. Midjourney:在有了 Midjourney 的新功能 Cref 以后,可在一定程度上保持人物一致性。先跑一张主角的定妆照,然后在需要出现主角人物的地方,扔进去 Cref 以保持发型、人脸、衣服。但 Midjourney 对亚洲人脸的一致性效果,尤其是亚洲老人的一致性效果较差,且 Cref 在画面的审美和构图上有一定的破坏性,所以能不用则不用。

需要注意的是,目前对于场景一致性,基本上还没有任何有效的解决办法。

Content generated by AI large model, please carefully verify (powered by aily)

References

娜乌斯嘉AIGC商业片制作 2024年11月1日 - 智能纪要

[heading2]总结关于电影制作中AI应用的交流电影镜头辅助工作:娜娜酱辅助电影出镜头,部分签了保密协议,如穿梭、泰坦尼克号类似的镜头,且不知影片是网大还是院线。AI工具与技术应用:使用AI跑动画,用Topaz放大720P至4K,输出60帧以避免大屏幕播放卡顿。传统影视面临冲击:传统影视因影视寒冬和AIGC冲击而缩水,广告导演费被砍,相关人员意识到危机并寻求加入。课程回顾与准备:回顾上次课程,准备开始新的课程,提到最初制作影片需要规划好文案脚本,并推荐了相关工具。AI工具在视频创作中的应用辅助写提示词工具:如Luna、季梦、可玲等可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。出图工具及使用:U传是可用的出图工具,新注册有免费生成额度,季梦每天给60积分,可玲也给积分,可用于日常使用,创作片子可能需买会员。保持人物一致性:在U传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。视频生成设置:季梦若为1.2版本,选慢速或适中的标准模式,效果更好;可玲用1.5,选择高品质生成。下载视频及插件:可下载生成的视频,季梦无水印,可灵有无水印选项;推荐Chrome浏览器的auto journey和猫抓等插件。

PixVerse 新功能Character 确保角色一致

本文档可编辑欢迎大家测试后在文档中贴上自己的视频~“角色(Character)”新功能,能实现AI生成视频中的角色保持一致。用户只需单击“Character”功能,上传符合要求的图像,点击创建自定义角色,训练一个新角色,然后可使用自定义角色生成视频,可在AI生成视频中轻松切换场景,同时保持同一角色身份。该功能目前只支持真实人脸,暂不支持动物或其他风格照片。网址https://app.pixverse.ai/目前可以免费使用上传照片,就可以得到这个人物一致性的视频[heading3][heading3]操作说明[heading3]在主页面点击选择“Character”。[heading3]点击“Create Character”。[heading3]在此界面通过点击或拖动的方式上传图片,命名您创建的Character,最后点击“Create Cha[content]提示:最好使用包含真实人脸的单人图片效果最佳,脸部大小需要超过200×200px,面部无遮挡[heading3]Character添加完毕后,等待20秒左右,在看到“Success”提示后,点击“Create”进[content]若未等到“Success”提示便进入创作界面,会找不到创建的Character,此时需等待10~30秒,待Character创建完成即可。[heading3]点击“Character”。

卡兹克:我们花了10天时间,给CCTV6做了一部AI短片 - 5000字全流程复盘拆解

在图片生成上,我们依然用的是Midjourney,原因依然单纯的很简单:我要的电影感和审美,只有Midjourney可以做出来。很多人问,画面的电影感到底怎么做出来,为什么我的图总是一股子AI感。其实挺简单的,画面的电影感无非就是几个点:画幅,审美、色调、构图、光影、景深等等。我最喜欢用的画幅比例就是,21:9。画幅的比例是会影响生图的构图和光影的,21:9,是出电影感最好的比例。同时在Prompt里,也可以加电影的专用摄影机,比如RED Helium 8K等等。而我们的整体Prompt风格后缀:________.Shot on Sony Venice 2,muted color tones,green and dark gray,award-winning composition,cinematic scene--ar 21:9而在人物一致性上,在有了Midjourney的新功能Cref以后,其实就非常简单了。我们直接先跑了一张主角的定妆照。然后在需要出现主角人物的地方,扔进去Cref。保持发型、人脸、衣服。坦率的讲,Midjourney对亚洲人脸的Cref一致性,要比对欧美的人脸的一致性效果差太多太多了,年轻人还好点,亚洲老人简直惨不忍睹。而且Cref的效果,在画面的审美和构图上,其实是有一定的破坏性的,所以在原则上,是能不用Cref就不用Cref,比如只有背影的时候,写个短发男人黑卫衣就完事了。这是人物一致性,而场景一致性,目前基本上还没有任何解决办法,纯粹随缘。roll的大差不差也就那样了。

Others are asking
AI阅读书籍的最佳实践是什么?
以下是关于 AI 阅读书籍的一些最佳实践: 1. 方法论萃取: 针对不同类型书籍的阅读和记忆方法进行分类,探讨共性方法论。 研究阅读和记忆的思维模型及小技巧。 思考如何优先选择自己“一定看得下去”的书籍,通过目录大纲确定核心内容。 确定一本书的阅读次数和顺序。 考虑读书过程中做笔记还是读完后回忆做大纲。 探索如何教刚毕业的孩子学会有效读书。 根据上述问题的答案设计“书籍阅读助手”“催我读书”等 Prompt,并不断优化和迭代。 2. 成为博物学家: 了解各个领域的知识,在恰当的时候调用。 参考权威、准确、有框架、成体系且好读的推荐书单,如涵盖心理学、人工智能、经济学等 13 个学科的书单。 3. 批判性思考: 思考在哪些情况下使用和不使用 AI 辅助阅读。 避免将 AI 作为默认选项,例如在使用地图导航时,不应完全依赖,而应注重自身对环境的观察和记忆。
2025-01-31
有没有完全免费的AI工具?
以下是一些完全免费的 AI 工具: 绘图方面: draw.io(现在称为 diagrams.net):免费的在线图表软件,支持创建逻辑视图和部署视图等。 PlantUML:文本到 UML 的转换工具,可通过编写描述性文本自动生成序列图、用例图、类图等,帮助创建逻辑视图。 Archi:免费的开源工具,用于创建 ArchiMate 和 TOGAF 模型,支持逻辑视图的创建。 会议内容转文字方面: 飞书妙记:飞书的办公套件之一。 通义听悟:阿里推出的 AI 会议转录工具。 讯飞听见:讯飞旗下智慧办公服务平台。 Otter AI:转录采访和会议纪要。 写代码或辅助编程方面: CodeGeeX:智谱 AI 推出的开源的免费 AI 编程助手,基于 130 亿参数的预训练大模型,可以快速生成代码,帮助开发者提升开发效率。 需要注意的是,部分工具可能存在使用时间限制或功能限制,您可以根据自己的具体需求选择适合的工具。
2025-01-31
ai本地化部署
AI 本地化部署主要包括以下方面: 线上和线下本地部署的 AI 特点: 线上 AI 出图速度快,不吃本地显卡配置,无需下载大模型,能看他人作品,但出图尺寸受限。 线下部署可添加插件,不卡算力,出图质量高,但使用时电脑易宕机,配置不高可能爆显存导致出图失败。 线上和线下平台的结合使用: 线上用于找参考、测试模型。 线下作为主要出图工具。 智谱 BigModel 共学营第二期微信助手本地电脑环境部署(以 Windows 为例): 程序在本地运行,关闭窗口进程结束,若要持续使用需保持窗口打开和运行。 若突然不管用,可点击窗口并按空格,因选中状态下 powershell 窗口不继续执行。 完成部署后: 登录成功给微信发送消息可看到正常回复。 可在智谱清流更改 AI 功能或人设,即时生效。 对文件内代码更改需重新打印登陆二维码,在“文件”的【终端】输入 python app.py 重新扫码登录。 无手机登录可用夜神模拟器模拟。 报错“wxsid”可能因微信未实名,实名即可。 制作完成后 24 小时内会掉线一次,重新登录即可,先不要急着加好友。
2025-01-31
北大excel处理ai
以下是关于 Excel 处理的 AI 相关内容: 目前有多种工具和插件可增强 Excel 的数据处理和分析能力,例如: Excel Labs:是 Excel 插件,新增基于 OpenAI 技术的生成式 AI 功能,可用于数据分析和决策支持。 Microsoft 365 Copilot:整合了多种办公软件,能通过聊天形式完成用户需求,如数据分析和格式创建。 Formula Bot:提供数据分析聊天机器人和公式生成器功能,支持自然语言交互。 Numerous AI:支持 Excel 和 Google Sheets,能生成公式、文本内容、执行情感分析和语言翻译等任务。 对于 Excel 与其他工具的比较: Excel 有手就会,但 VBA 进阶版功能门槛高。 多维表格在处理一些数据处理功能时更方便,例如自带 AI 插件,能通过自然语言提取网址和电话、添加 AI 标签等。 都能帮助整理数据、做计算、做图表,但多维表格能让人偷更多懒。 在作业测评方面,可提要求让 AI 处理 Excel 数据,制作数据分析图等。例如天津师大王树义老师的案例。 随着技术发展,未来可能会有更多 AI 功能集成到 Excel 中,进一步提高工作效率和智能化水平。内容由 AI 大模型生成,请仔细甄别。
2025-01-31
怎么学习AI提示词??
以下是关于学习 AI 提示词的建议: 1. 了解 AI 基本概念:建议阅读「」部分,熟悉 AI 的术语和基础概念,包括其主要分支(如机器学习、深度学习、自然语言处理等)以及它们之间的联系。同时,浏览入门文章,了解 AI 的历史、当前应用和未来发展趋势。 2. 开始 AI 学习之旅:在「」中,您可以找到为初学者设计的课程,特别推荐李宏毅老师的课程。还可以通过在线教育平台(如 Coursera、edX、Udacity)按照自己的节奏学习,并获得证书。 3. 选择感兴趣的模块深入学习:AI 领域广泛,您可以根据兴趣选择特定模块,比如一定要掌握提示词的技巧,它上手容易且很有用。 4. 实践和尝试:理论学习后,实践是巩固知识的关键。尝试使用各种产品做出作品,在知识库中也有很多实践后的作品和文章分享。 5. 体验 AI 产品:与现有的 AI 产品(如 ChatGPT、Kimi Chat、智谱、文心一言等)进行互动,了解其工作原理和交互方式。 6. 学习提示词的构建技巧: 理解提示词的作用,它向模型提供上下文和指示,影响模型输出质量。 明确任务目标,用简洁准确的语言描述,给予足够背景信息和示例,使用清晰指令,对特殊要求明确指示,如输出格式、字数限制等。 7. 参考优秀案例:研究和学习已有的优秀提示词案例,在领域社区、Github 等资源中可找到大量案例。 8. 实践、迭代、优化:多与语言模型互动,根据输出提高提示词质量,尝试各种变体,比较分析输出差异,持续优化提示词构建。 9. 活用提示工程工具:目前已有一些提示工程工具可供使用,如 Anthropic 的 Constitutional AI。 10. 跟上前沿研究:提示工程是前沿研究领域之一,持续关注最新研究成果和方法论。 精心设计的提示词能最大限度发挥语言模型的潜力,多实践、多学习、多总结,终可掌握窍门。
2025-01-31
AI的发展历史
AI 的发展历史可以追溯到二十世纪中叶,大致经历了以下几个阶段: 1. 早期阶段(1950s 1960s):包括专家系统、博弈论、机器学习初步理论等。心理学家麦卡洛克和数学家皮特斯在 1943 年提出了机器的神经元模型,为后续的神经网络奠定了基础。1950 年,图灵最早提出了图灵测试,作为判别机器是否具备智能的标准。1956 年,马文·明斯基和约翰·麦凯西等人共同发起召开了著名的达特茅斯会议,“人工智能”一词被正式提出,并作为一门学科被确立下来。 2. 知识驱动时期(1970s 1980s):这一时期专家系统、知识表示、自动推理较为流行。 3. 统计学习时期(1990s 2000s):机器学习算法如决策树、支持向量机、贝叶斯方法等得到发展。 4. 深度学习时期(2010s 至今):深度神经网络、卷积神经网络、循环神经网络等技术兴起。当前的前沿技术点包括大模型(如 GPT、PaLM 等)、多模态 AI(视觉 语言模型、多模态融合)、自监督学习(自监督预训练、对比学习、掩码语言模型等)、小样本学习(元学习、一次学习、提示学习等)、可解释 AI(模型可解释性、因果推理、符号推理等)、机器人学(强化学习、运动规划、人机交互等)、量子 AI(量子机器学习、量子神经网络等)、AI 芯片和硬件加速等。 然而,AI 的发展并非一帆风顺,20 世纪 70 年代曾出现“人工智能寒冬”,因为当时符号推理等方法在实现应用场景大规模拓展时面临诸多困难。但随着计算资源变得便宜、数据增多,神经网络方法在计算机视觉、语音理解等领域展现出卓越性能,在过去十年中,“人工智能”一词常被用作“神经网络”的同义词。
2025-01-31
人脸识别技术价值
人脸识别技术具有一定的价值。过去,AI 在人脸识别等分类判断任务上取得了成果,方便了我们的生活。然而,其使用过程中会让人感受到明显的机器感。相比之下,生成式 AI 在写文章、画画、写歌等方面展现出类似人类的智慧和能力。在 AI 研究中,搜索和学习是利用大量计算的两个重要技术类别。在计算机围棋、国际象棋、语音识别和计算机视觉等领域,都经历了从依赖人类知识到依靠统计方法和大量计算的转变。在 AI 相关的监管方面,对于像人脸识别这样的特定技术或应用,不采用僵化的法律定义,而是基于功能能力来设计应对挑战的方法,以适应 AI 的快速发展。
2024-12-25
我给定一张图片,根据这张图片的人脸特征 生成一组写真图片
以下是关于根据给定图片的人脸特征生成写真图片的相关内容: 使用 SD 进行多人物脸部替换生成写真: 先正常生成一张特定内容的图片,如两个古风人物在大漠黄沙下互相对视。正向提示词包括“best quality, official art, 8k wallpaper, highly detailed, illustration, closeup, , upper body, antique style, drifting snow, yellow sand fills the sky, withered tree, desert, gu, <lora:武侠 V2_2.0:1>”,模型使用 majicmixRealistic 及武侠 lora。将生成的图发送到图生图中,调整重绘幅度为 0.4。在 roop 插件中进行脸部替换,如载入至尊宝和紫霞的照片形象。插件强大之处在于仅凭一张照片能复刻角色其他角度和表情。最后可使用 ps 扩图。如需插件,可添加公众号【白马与少年】回复【SD】获取。 给自己做卡通头像: 1. 复杂提示词:如“Disney boy, Low saturation Pixar Super details, clay, anime waifu, looking at viewer, nighly detailedreflections transparent iridescent colors. lonctransparent iridescent RGB hair, art by Serafleurfrom artstation, white background, divine cinematic edgelighting, soft focus. bokeh, chiaroscuro 8K, bestquality.ultradetailultra detail.3d, c4d. blender, OCrenderer. cinematic lighting, ultra HD3D renderino iw 1.5 s 500 v 5”。 2. 不同照片生成:若对照片风格不满意,可更换新照片使用上述提示词重新生成。 3. 其他调整:若觉得 Disney 风格太过卡通,可将提示词中的 Disney 换成 Pixar;若为女孩,可把 boy 换成 girl。每次生成 4 张图片,对满意的某张可点击下方的 U1~U4 生成大图,对风格满意但需调整可点击 V1~V4 进行修改。 快手「可灵」和「Sora」背后的 DiT 技术: DiT 不仅训练高效,在实际应用中图像生成能力强大。输入简单文字描述即可生成逼真图像,如各种自然景观、人物肖像、动物等,甚至能细致到毛发纹理和眼神光彩。还能在图像修复方面表现出色,智能识别瑕疵并修复,如修复老照片中被遮挡的人物面部。此外,能赋予图像不同艺术风格,如将普通照片转换成梵高风格油画或改变白天夜晚效果,为图像创作和编辑提供全新可能。
2024-12-11
gpt是否可以识别图片中的人脸、人物
GPT 可以在一定程度上对图片中的人物进行识别和描述。例如,可以利用 GPT 的识图功能对人物照片的内容进行细致描述,包括人物的年龄、发型、肤色、五官、穿着、表情等方面,还能对人物所处的背景进行分析。但需要注意的是,其识别和描述的准确性可能会受到多种因素的影响,如图片的质量、清晰度、复杂程度等。同时,对于 GPT 是否能准确识别所有人脸和人物,还存在一定的不确定性和局限性。
2024-11-24
人脸识别
以下是关于人脸识别的相关信息: 视频模型“可灵”的测试内容包括场景识别(室内和室外)、物体识别(静态和动态)、人物识别(面部、姿态)、动作识别(基本动作)等方面。例如,测试了模型在不同室内环境(办公室、厨房、卧室等)和室外环境(街道、公园、商场等)中的表现,对不同面部特征(不同年龄、性别、种族等)、人物姿态(站立、坐下、躺卧等)和基本动作(走路、跑步、跳跃等)的识别能力。 11 月 24 日的 XiaoHu.AI 日报中提到: DeepFace 是面部识别和分析工具,功能包括面部验证、识别和属性分析,整合多个先进模型,准确率超越人类,支持实时视频分析和外部系统调用。 Comfyui 进行了 SVD Image 2 Video 优化,优化内存占用至 8GB,并提供 workflow 以供在不同显卡上运行。 有泄露的 GPTs 提示大集合,涵盖学术、占卜、医疗咨询等多个应用领域。 PixelDance 是高动态视频生成模型,能通过文本和图片生成复杂场景视频,在连贯性和视频质量方面表现卓越。
2024-09-06
lora训练的数据集没有跳绳动作,后期如何使用lora生成跳绳的图,需求要保持人脸和服装跟训练人物一致
如果您的 Lora 训练数据集没有跳绳动作,但希望生成跳绳的图并保持人脸和服装与训练人物一致,可以参考以下步骤: 1. 首先,在已有训练集中选择一两张合适的形象图片,用 PS 把人物肢解处理一下,得到各部位的图片。 2. 在 Tripo 中逐个上传图片转换成 3D 模型(由于全身图单次转换 3D 目前效果较差,所以需逐个分部转换)。 3. 利用 3D 软件将模型整合,绑定骨架。 4. 最后对照所需的分镜图凹好造型,再进行重绘。重绘时可以使用 cref cw0 来保证基础面部。 另外,训练 Lora 时需要注意: 1. 对于一个固定的形象,面部五官最重要,其次是体型、服装、配饰等。收集训练集时,收集形象的头部图片很重要。 2. 给图片打标时,要仔细检查每一张图片,打标的好坏会影响到后面人物 Lora 的泛化性。若想让人物有更多变化,描述应尽量详细。
2024-08-12
视频中如何检测人脸目光是否注视镜头
要在视频中检测人脸目光是否注视镜头,通常需要使用计算机视觉技术,特别是人脸检测和面部特征点跟踪。以下是一些可能的方法和工具: 1. 使用OpenCV库:OpenCV是一个开源的计算机视觉和机器学习软件库,它提供了多种人脸检测方法,包括使用Haar特征分类器或深度学习方法。你可以使用OpenCV的`CascadeClassifier`进行人脸检测,并通过检测到的人脸区域进一步分析目光方向 。 2. 面部标记和特征点跟踪:更高级的方法是使用面部标记检测,这通常涉及到定位面部的特定特征点,如眼角、瞳孔等。然后,通过分析这些点的位置和相互之间的关系来推断目光方向。dlib库结合OpenCV可以用于这种类型的分析 。 3. 眨眼检测:作为面部特征点跟踪的一部分,眨眼检测也可以提供有关目光注视方向的线索。例如,如果一个人在视频中眨眼,他们的眼皮运动会暂时遮挡视线,这可以作为目光不在镜头上的一个信号 。 4. 眼睛纵横比(EAR):这是一种评估眼睛开放程度的指标,可以用来检测眨眼或闭眼的状态。EAR是通过计算眼睛特征点之间的距离比值来计算的。如果EAR值低于某个阈值,可以认为眼睛是闭上的,从而推断目光不在镜头上 。 5. 深度学习方法:使用预训练的深度神经网络模型,如基于CNN的架构,可以更准确地检测和分析面部特征,包括目光方向。这些模型可以从大量的图像数据中学习到复杂的表情和视线模式。 6. 集成解决方案:一些商业软件或服务可能提供集成的解决方案,包括人脸检测、面部特征点跟踪和目光检测等功能。 请注意,实际实现时可能需要考虑多种因素,如视频质量、光照条件、人的头部姿态等,这些都可能影响检测的准确性。
2024-08-01
图的角色 用 cref 去控制一致性 风格可以用 sref 去控制
在 Midjourney 中,cref 和 sref 是用于引用图片的功能,它们有以下区别和使用方法: 1. 角色参考(cref): 作用:保持图像角色的一致性。 使用方法:在提示后添加“cref”,紧接着指向人物参考图像的 URL。例如:/imagine prompt beautiful girlcref。可以使用“cw”调整参考图像对生成图像的影响程度,数值范围从 0 到 100。强度 100(“cw 100”)是默认值,会使用面部、头发和衣服,cw 为 0 的话仅保证脸部一致。基础格式为“cref 图片链接,cw 100”。 参考链接: 2. 风格参考(sref): 作用:生成类似风格的图片,保持画风的一致性。 使用方法:在提示后添加“sref”,紧接着指向风格参考图像的 URL。例如:/imagine prompt beautiful girlsref。可以使用“sw”调整参考风格对生成图像的影响程度,数值范围从 0 到 1000。基础格式为“sref 图片链接,sw 100”。 参考链接: 如果想引用一张图,但只是把它作为新图的一部分,可以使用“sref”或“cref”,并通过调整“sw”或“cw”的值来控制引用图像的影响程度。例如:/imagine prompt beautiful girlsrefsw 500。这样,生成的图像将会在保持原有风格的同时,融入一部分引用图像的风格。
2025-01-13
flux lora调参数,我训练出来的人物模型和数据集的人物图片不像,出现这种情况的原因都有哪些,应该调整哪些参数,我需要我的flux模型训练出来的模型是一致性还原性,和泛化性比较不错的,按照这个方向给我指导
以下是关于 flux lora 调参数以获得一致性、还原性和泛化性较好的人物模型的指导: 打标环节: 选择基础大模型,如“麦橘写实”,并为 lora 命名。 将照片导入,选择合适分辨率,可勾选“脸部加强训练”,然后进行预处理。手动裁剪图片比自动裁剪更可靠。 预处理后会出现脸部和整体文件夹,且每张照片自动打好 tag 标签。 可为整体添加统一标签,也可单独修改每张图片的标签。标签有助于 AI 理解图片,描述越详细,人物变化可能越多,泛化性可能越好。仔细检查每张图片的标签,其质量会影响人物 lora 的泛化性。 参数调整环节: 大部分参数是固定的,主要的几个按照人物参数配置一遍。后期根据生成结果再调整。 炼丹环节: 例如 18 张脸部图片,20 张整体图片,各训练 50 步,循环训练 10 次,并行步数为 1。训练总步数和时长会有所不同,loss 值可作为参考,但最终效果仍需通过测试判断。 此外,在 Lora 串联方面,多个 Lora 串联时左右顺序不影响结果,可复制并点对点连接。CLIP 层 1 和 2 的效果不同,加 Lora 时某些 Lora 可能更适合 2。Lora 可用于生成底模无法画出的内容。在运行中点击取消可打断正在渲染跑的图。图像放大可通过 up scale image using model 节点,选择放大模型,用 resize 节点调整尺寸,再用编码器和采样器处理。放大模型直接放大的图像效果不佳,需再次采样增加细节。添加飞桨缺失节点可通过拖入工作流查看标红节点,从管理器安装或从 GitHub 获取节点包放入文件管理系统。采样器和调度器参数设置建议参考模型作者推荐,并结合自己调试。Web UI 中 Lora 库有刷新按钮,将 Lora 丢到文件夹后多点几次刷新即可。
2025-01-04
LLM输出的结果一致性如何保证
要保证 LLM 输出结果的一致性,可以采取以下几种策略: 1. Prompt 工程: 明确的待处理内容指引:在构建 Prompt 时,清晰地定义需要处理的文本,并使用标记框起来,让模型准确识别待处理内容范围,从中提取信息。 提供明确字段定义:具体化每个字段的名称、用途及要求,为 LLM 提供明确的提取方向和标准。 异常处理:设置异常处理原则,如规定缺失数据使用默认值填充,特殊数据类型符合标准格式,确保模型输出的完整性和一致性。 要求结构化输出:指示 LLM 以结构化格式(如 JSON)输出数据,便于后续处理和系统集成。 2. 自我一致性增强可靠性:促使 LLM 对同一问题产生多个答案,通过一致性审查衡量其可信度。一致性评估可从内容重叠、语义相似性评估及高级指标(如 BERT 分数或 ngram 重叠)等多方面进行,增强 LLM 在事实核查工具中的可靠性。 3. 衡量和评估不确定性:如牛津大学通过生成一个问题的多个答案,并使用另一个模型根据相似含义分组来衡量 LLM 不确定性。 4. 利用外部工具验证:如 Google DeepMind 推出的 SAFE,通过将 LLM 响应分解为单个事实、使用搜索引擎验证事实以及对语义相似的陈述进行聚类来评估 LLM 响应的真实性。 5. 借助其他 LLM 发现错误:如 OpenAI 推出的 CriticGPT,使用基于大量有缺陷输入数据集训练的 GPT 式 LLM 来发现其他 LLM 生成代码中的错误。 6. 利用 LLM 生成的评论增强 RLHF 的奖励模型:如 Cohere 使用一系列 LLM 为每个偏好数据对生成逐点评论,评估提示完成对的有效性。
2025-01-02
可灵ai如何保持人物一致性
要保持可灵 AI 中人物的一致性,可以参考以下方法: 1. 人物设定: 明确主角、配角等人物的性格特点、外貌特征等,如主角是一位 40 岁的中年男探险家,性格特点是面对挑战从不轻言放弃,外貌特征是健壮、棕色头发、常穿探险服。 2. MJcref 控制人物一致性: 先根据人物设定,在 MJ 里筛选适合的人物形象,选中后右键复制图片链接。 在尾缀加入【cref 图片链接】控制人物一致性,【cw 数值】控制权重。 对于镜头较多的角色,建议炼个人物模型出来控制,不然 MJ 容易不稳定。 3. 控制多人物场景统一: 先控制一个角色再进行重绘。 选一张合适的图片后,点击 Vary进行局部重绘,并把尾缀机器人的 cref 链接改成主角的 cref 链接。 4. 通过 prompt 格式实现“角色一致性”: 公式:发型+年龄性别+衣物颜色+环境+其他(动作、镜头等)。 发型/衣物:构造尽可能多的角色非面部视觉元素,产生观众对角色的“一致性观感”。 年龄:约束角色年龄特征。 环境:约束能够产生相同观感的环境空间,尤其是光环境,增加观众对于形象认识的“一致性”认知。例如: 特写一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,面部被烛光照亮,表情惊讶,环境昏暗明暗对比强烈。 特写一个棕色卷发,身穿棕褐色上衣的小男孩,侧对镜头,微微仰头走在一片暗绿色的森林中,面部被手中提着的油灯照亮,环境昏暗明暗对比强烈。 一个棕色卷发,身穿棕褐色上衣的小男孩侧对镜头,看着面前桌上的蜡烛,环境昏暗明暗对比强烈。 中景拍摄一个棕色卷发,身穿棕褐色上衣的小男孩,正对镜头,在一个梦幻感的暖色调房间里,全身贯注地拼装面前的积木玩具。
2024-12-21
我想做简洁卡通风格的ai动画,根据故事文案生成的那种,需要保持人物一致性,用哪个工具比较好?
以下是一些适合生成简洁卡通风格、根据故事文案生成动画并保持人物一致性的工具: 1. U 传:在 U 传中,通过点击相应按钮参考角色、风格或图生图,可保持人物一致性。新注册有免费生成额度。 2. 季梦:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。若为 1.2 版本,选慢速或适中的标准模式,效果更好,且生成的视频无水印。每天给 60 积分。 3. 可玲:可辅助写视频提示词,能根据上传的图片生成合理的运镜及提示词,还可写分镜脚本。每天给 60 积分,可用于日常使用,创作片子可能需买会员,生成的视频有无水印选项。 此外,在使用 Midjourney 生图时,若要保持人物和场景一致性,有两个取巧的方式:一个是像上个视频一样生成动物,动物会比较容易保持一致性;另一个方式是特定的名人或者有特殊属性的人物。在确定影片风格时,比如可以选择皮克斯动画风格。同时,在提示词中利用 cref 命令也有助于保持人物的一致性。
2024-12-18
sd角色一致性
在 Stable Diffusion(SD)中实现角色一致性多角度头像绘制的方法如下: 1. 准备工作: 准备一张人物的多角度图片,共有 15 个不同视图,尺寸设置为 1328×800px,放大两倍后保证每张小图为 512×512px。 加上网格图,通过 lineart 分割不同块面。 设置 controlnet,第一张图选择 openpose_face 得到人物的 15 个面部角度,第二张图选择 lineart_standard得到清晰的表格分区。 增加 ADetailer 的脸部修复插件防止小图模式下人脸崩坏。 2. 开始生图: 大模型:majicmixRealistic_v6.safetensors 正向提示词:,auburn hair,eyes open,cinematic lighting,Hyperrealism,depth of field,photography,ultra highres,photorealistic,8k,hyperrealism,studio lighting,photography 负向提示词:EasyNegative,canvasframe,canvas frame,eyes shut,wink,blurry,hands,closed eyes,,lowres,sig,signature,watermark,username,bad,immature,cartoon,anime,3d,painting,b&w 参数设置:迭代步数 50,采样方法 DPM++ 2M Karras,尺寸 1328×800px。 3. 细节放大: 发送到图生图,重绘幅度设置为 0.55,使用 controlnet 的 teil 模型增加细节,控制模式选择“更倾向 controlnet”。 使用 Ultimate SD upscale 脚本放大为 2 倍,采用 4xUltraSharp 放大算法。 4. 尝试不同风格: 例如使用 AnythingV5 大模型绘制浅绿色侧马尾女孩形象,使用 revAnimated 大模型绘制粉色头发的长发公主形象。 需要注意的是,由于 AI 绘画的随机性存在,15 个角度的画面不可能完美,controlnet 的控制能让我们更大程度接近想要的效果,想要好的结果需要多刷图。如需 stable diffusion 相关资料,可关注公众号【白马与少年】发送【sd】获取链接。
2024-11-25
有没有什么工具,把教学操作视频,转ppt或者pdf
目前在 AI 领域,暂时没有专门直接将教学操作视频转换为 PPT 或 PDF 的工具。但您可以通过以下方式来实现类似的效果: 1. 手动观看视频,并根据内容自行制作 PPT 或 PDF。 2. 使用视频编辑软件,提取关键帧,然后将这些图片插入到 PPT 或 PDF 中。 3. 利用语音转文字工具,获取视频中的讲解内容,再整理到 PPT 或 PDF 中。
2025-01-30
推荐关于AI的视频
以下为为您推荐的关于 AI 的视频: 软件教程: 入门学习:
2025-01-29
推荐关于AI的视频学习课件
以下为您推荐关于 AI 的视频学习课件: 1. 【野菩萨】课程: 预习周课程:包括 AI 绘画电脑配置要求、高效 AIGC 创意者的数字人工具包、SD 插件安装方法、画静为动的 AIGC 视频制作讲解等。 基础操作课:涵盖 AI 绘画通识课、AI 摄影虚拟的真实、AI 电影 穿越的大门等内容。 核心范式课程:涉及词汇的纸牌屋、核心范式应用、控制随机性等方面。 SD WebUi 体系课程:包括 SD 基础部署、SD 文生图、图生图、局部重绘等。 ChatGPT 体系课程:有 ChatGPT 基础、核心 文风、格式、思维模型等内容。 ComfyUI 与 AI 动画课程:包含部署和基本概念、基础工作流搭建、动画工作流搭建等。 应对 SORA 的视听语言课程:涉及通识 欢迎参加电影的葬礼、影像赏析、基础戏剧影视文学等。 免费课程机会:如果想要免费获得这门课程,可以来参与 video battle,获胜者有机会获得课程奖励,包括冠军奖励 4980 课程一份、亚军奖励 3980 课程一份、季军奖励 1980 课程一份、入围奖励 598 野神殿门票一张。扫码添加菩萨老师助理,了解更多课程信息。 2. B 站 up 主 Nally 的课程:免费且每节 15 分钟,内容很棒。 3. 新手学习 AI 推荐: 了解 AI 基本概念:建议阅读「」部分,熟悉 AI 的术语和基础概念。浏览入门文章,了解 AI 的历史、当前的应用和未来的发展趋势。 开始 AI 学习之旅:在「」中,您将找到一系列为初学者设计的课程。通过在线教育平台(如 Coursera、edX、Udacity)上的课程,按照自己的节奏学习,并有机会获得证书。 选择感兴趣的模块深入学习:AI 领域广泛(比如图像、音乐、视频等),可以根据自己的兴趣选择特定的模块进行深入学习。建议掌握提示词的技巧。 实践和尝试:理论学习之后,实践是巩固知识的关键,尝试使用各种产品做出作品。在知识库提供了很多大家实践后的作品、文章分享。 体验 AI 产品:尝试使用如 ChatGPT、Kimi Chat、智谱、文心一言等 AI 聊天机器人,了解它们的工作原理和交互方式。
2025-01-29
视频换脸
以下是关于视频换脸的相关信息: 视频换脸可以自动识别视频中的人脸,并将其替换为选择的脸部,实现在视频中快速、精确地替换人物的脸部。 操作指引: 1. 上传原始视频。 2. 上传换脸图片。 3. 点击生成。 相关工具及链接: 1. 【TecCreative】: 图片大小上限 5M,支持 JPG、PNG 格式。 2. Swapface(有免费额度): https://swapface.org//home 需要下载电脑客户端使用,没有在线版,可以通过邀请好友、点评软件获取积分。 视频换脸是可以上传视频或者 gif 图,换脸可以识别图片、视频里的多张脸进行替换。 效果预览:左边原视频,右边换脸后效果。
2025-01-28
我想用ai辅助视频创作
如果您想用 AI 辅助视频创作,可以按照以下流程进行: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 需要注意的是,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。 现阶段,AI 视频产品的主要受众群体包括: 1. 专业创作者(艺术家、影视人等):AI 生成能够为作品赋予独特风格和想象力,为创作者提供灵感,配合高超的剪辑技巧和叙事能力,便可以制作出超乎想象的效果。低成本动捕更是能够大幅降低后期制作的门槛和成本,自动识别背景生成绿幕、视频主体跟随运动等能够辅助视频编辑,为后期制作增加更多空间。目前该应用主要集中在音乐 MV、短篇电影、动漫等方向。一些 AI 视频平台也积极寻求创意合作,为创作者提供免费支持。 2. 自媒体、非专业创作者:这部分人群通常有着非常具体且明确的视频剪辑痛点。比如科技、财经、资讯类重脚本内容的视频在制作时需花费大量时间寻找视频素材、还需注意视频版权问题。一些产品(Invideo AI、Pictory)已经在发力脚本生成分镜、视频,帮助创作者降低视频素材制作门槛。Gamma AI 已经实现了文章高效转 PPT 的能力,若能结合 Synthesia、HeyGen AI、DID 等产品的 Avatar、语音生成能力也可快速转化为视频内容。不同平台适合不同内容形式,创作者想要将同一个素材在不同平台分发就意味着制作成本的升高。而 OpusClip 提供的长视频转短视频致力于解决这一痛点。 3. 企业客户:对于没有足够视频制作资金的小企业、非盈利机构来说,AI 视频生成可以为其大幅缩减成本。 在视频制作中,新技术与流程包括: 1. Sono 产品更新:Sono 产品今年下半年更新到 V4 版本,具有写歌、生成配乐等功能,V4 版本可能需会员使用。 2. 配音工具介绍:外文场景配音推荐 So,yeah,11,11,11,国内配音软件常用剪映,其声音克隆方便,音色选择多。 3. 传统线性流程:先写剧本再拆分镜,确定角色和场景,准备素材后剪辑成片,特点是可控性高,适合团队协作,以之前的片子《梦镜》为例,用飞书多维表格做分镜管理。 4. 基于 AI 的个人流程:自由度高,先有想法就做画面,根据 AI 生成结果进一步演化角色和内容。 AI 在视频制作中的应用与提升方法包括: 1. AI 制作视频实例:以一个片子为例,讲述基于 AI 特性尝试制作短片的过程,包括文字融合画面效果、错误修改与调整方式等。 2. AI 助力视频创作:AI 能与创作者不断交流共创,启发创作者调整分镜、风格等,最终串联成故事,比传统方式更灵活自由。 对于新手入门,建议通过与他人合作了解视频制作环节,有经验者应尝试自己制作,利用 AI 反馈可高效完成片子。提升制作能力的方式总结为多看优秀作品以获取启发,多在不同平台和工具上尝试以了解其特点,多做输出和积累以形成自己的资源。
2025-01-27
为文字配视频
以下是关于为文字配视频的相关内容: 制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 实战: 1. 准备内容:先准备一段视频中播放的内容文字,可以是产品介绍、课程讲解、游戏攻略等任何您希望推广让大家了解的文字,也可以利用 AI 生成这段文字。 2. 制作视频:使用剪映 App 对视频进行简单处理。电脑端打开剪映 App,点击“开始创作”,进入创作页面,选择顶部工具栏中的“文本”,点击默认文本右下角的“+”号,为视频添加一个文字内容的轨道,添加完成后在界面右侧将准备好的文字内容替换默认文本内容。 文字生成视频的 AI 产品: 1. Pika:擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以直接安装这款最新的插件,在图片基础上直接生成视频。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的文生视频的网站可以查看: 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-27