Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

根据自己5000小时的视频制作属于自己的数字人

Answer

以下是根据您 5000 小时的视频制作属于自己的数字人的方法:

生成数字人

  1. 在剪映右侧窗口顶部,打开“数字人”选项,选取免费且适合的数字人形象,比如“婉婉-青春”。选择数字人形象时,软件会播放其声音,可判断是否需要,然后点击右下角的“添加数字人”,将其添加到当前视频中。剪映会根据提供的内容生成对应音视频,并添加到视频文件的轨道中,左下角会提示渲染完成时间。之后可点击预览按钮查看效果。
  2. 增加背景图片:删除先前导入的文本内容,点击左上角的“媒体”菜单并点击“导入”按钮,选择本地一张图片上传,如书架图片,点击图片右下角的加号将其添加到视频轨道(会覆盖数字人)。书架图片所在轨道会新增,将轨道最右侧的竖线向右拖拽至视频最后使其在整个视频播放时显示。选中背景图片所在轨道,在显示区域拖动图片的角将其放大到适合尺寸,如覆盖视频窗口,并将数字人拖动到合适位置。
  3. 增加字幕:点击文本-智能字幕-识别字幕,点击开始识别,软件会自动将文字智能分段并形成字幕。完成后点击右上角的“导出”按钮,导出视频备用。

AI 换脸: 打开 facefusion 软件,返回实例列表,点击自定义服务按钮,通过 web 浏览器访问 facefusion 提供的 UI 界面。在 facefusion 软件界面上传准备好的图片、视频,在右侧可看到预览效果,点击下方的开始按钮执行换脸处理。处理完成后,在输出位置会出现处理后的视频,输出窗口右上角有下载按钮,可导出换脸后的视频到本地。

本次制作的成本和时间:

  1. 时间:大约 10 分钟左右。
  2. 制作数字人视频:免费。
  3. 数字人换脸:约 0.8 元。
  4. 数字人换脸时长:经实际测试 1 分 28 秒的视频,总转换时间在 200 秒。GPU 服务器此次整体运行时长所需花费 0.97 元,facefusion 软件运行只占服务器运行时长的一部分,所以换脸的成本约 0.8 元。
Content generated by AI large model, please carefully verify (powered by aily)

References

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

3.1生成数字人在剪映右侧窗口顶部,我们打开“数字人”选项,选取一位免费的、适合的数字人形象,这里我选择“婉婉-青春”。当你选择一个数字人形象时,软件会马上播放出该数字人的声音。你可以判断是否是你需要的,点击右下角的“添加数字人”,就会将选择的数字人添加到当前视频中。剪映App将会根据之前提供的内容,来生成对应音视频,并添加到当前视频文件的轨道中。左下角会提示你渲染何时完成。然后你可以点击预览按钮,查看生成的数字人效果。3.2增加背景图片接下来,可以直接删除先前导入的文本内容。这是因为视频中的音频中已经包含文字内容了。鼠标点击下方代表文字的轨道,或者点击软件中间文字内容,按删除键删去文字:为了让视频更美观,我们为视频增加背景图片。当然你可以增加多个背景图片,为简化演示,这里增加1张图片。点击左上角的“媒体”菜单,并点击“导入”按钮,来选择本地的一张图片上传:我选择一张书架图片上传,然后像添加文字内容一样,点击图片右下角的加号,将这个图片添加到视频的轨道上(会覆盖数字人):

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

此时,书架图片就会在视频轨道的下面,添加一条新轨道:为了让图片在整个视频播放的时候都显示,可以点击这个轨道最右侧的竖线,向右拖拽,直到视频的最后,也就是和视频对齐:此时,背景图片所在的轨道是选中状态。如果没选中,鼠标点击一下这个规定即可。在显示区域,拖动背景图的一个角,将图片放大到适合的尺寸,比如覆盖视频窗口。并将数字人拖动到合适的位置:3.3增加字幕点击文本-智能字幕-识别字幕,点击开始识别:软件会自动将文字智能分段并形成字幕:至此,数字人视频就完成了。点击右上角的“导出”按钮,导出视频以作备用。如果你希望数字换成自己希望的面孔,比如这个:就需要用另一个工具来进行换脸了。

实战: 每个人都可以用10分钟轻松制作AI换脸、AI数字人视频的方法!

打开facefusion软件,需要返回实例列表,点击自定义服务按钮,会打开一个新的浏览器窗口。这样,我们才能够通过web浏览器来访问facefusion提供的UI界面:在facefusion软件界面上(见上图),上传准备好的图片,视频后,在右侧可以看到预览效果。点击下方的开始按钮,执行换脸处理。执行完成后,在输出的位置,会出现处理后的视频,输出窗口的右上角有一个下载按钮,点击它你可以导出变量后的视频到本地。最后来看看效果:通过剪映制作的数字人视频:1.变脸前的视频:1.变脸后的视频:本次GPU服务器的使用花费:总成本:1.时间:大约10分钟左右2.制作数字人视频:免费3.数字人换脸:约0.8元4.数字人换脸时长:经实际测试1分28秒的视频,总转换时间在200秒,下方是运行facefusion的终端反馈的信息:如上图所示,GPU服务器此次整体运行时长所需花费0.97元,facefusion软件运行其实只占服务器运行时长的一部分,所以换脸的成本应该在0.8元左右。

Others are asking
怎么能让AI生成5000字以上的小说或论文?
以下是让 AI 生成 5000 字以上小说或论文的一些方法和经验: 1. 丰富细化:先让 AI 写故事概要和角色背景介绍,并基于此按自己的审美略做修改。使用让 AI 以表格形式输出细节描述的技巧,这样有打破叙事习惯、便于局部调整、确保内容具体等好处。 2. 串联成文:把生成的表格依次复制粘贴,让 AI 照着写文章,过程中可能需要您给点建议。 3. 注意要求:比如某些小说大赛要求最终作品必须是 AI 直接输出的,不能有任何改动,且有字数限制。 4. 标题选择和评估:当文章接近目标字数时,与 AI 讨论标题选项并做整体评估,修改语法错误和表达不一致的地方。 例如,在将 1000 字的文章扩展到 5000 字的过程中,通过与 AI 持续互动,不仅能节省时间,还能提升文章的深度和广度。但也要认识到,人类创作者在利用 AI 工具时,要保持创造力和批判性思维。
2024-12-10
我现在需要写一篇工作经验分享发言稿,有什么好用的AI工具可以帮我生成一篇5000字的发言稿吗?
以下为您推荐一些可能有助于生成工作经验分享发言稿的 AI 工具: 1. GPT4:可以通过输入相关提示生成较为丰富和准确的文本内容。 2. WPS AI:在处理文档相关任务时能提供一定的帮助。 3. chatPPT:有助于完成 PPT 的大纲内容、排版和动画等方面。 您还可以参考以下相关案例: 1. 卓 sir 利用 AI 完成了电子商务汇报的 PPT,包括大纲内容、排版、动画等,最后仅需添加企业背景图片即可提交。想查看 PPT 可移步飞书:https://fr3qe44cid.feishu.cn/docx/DW44djbRioSL4lxURmlcn5cEnte?from=from_copylink (也可以点击最后的阅读原文)。 2. 大聪明通过 PUA AI 完成了 500 万字的报告,最近在玩 Coze/扣子,发现无需代码,人人都能操作,比如将链接丢过去即可完成工作,还可搭配飞书,实现“AI 打工你躺平”。
2024-08-03
用AI制作视频
将小说用 AI 制作成视频的流程如下: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 需要注意的是,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问以下工具网址获取最新信息和使用指南: 1. Stable Diffusion(SD):一种 AI 图像生成模型,可以基于文本描述生成图像。网址:https://github.com/StabilityAI 2. Midjourney(MJ):另一个 AI 图像生成工具,适用于创建小说中的场景和角色图像。网址:https://www.midjourney.com 3. Adobe Firefly:Adobe 的 AI 创意工具,可以生成图像和设计模板。网址:https://www.adobe.com/products/firefly.html 4. Pika AI:文本生成视频的 AI 工具,适合动画制作。网址:https://pika.art/waitlist 5. Clipfly:一站式 AI 视频生成和剪辑平台。网址:https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO:在线视频编辑工具,具有 AI 视频生成器功能。网址:https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪:结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址:https://tiger.easyartx.com/landing 8. 故事 AI 绘图:小说转视频的 AI 工具。网址:https://www.aihub.cn/tools/video/gushiai/ 在 Adobe Firefly 的 Advanced 部分,您可以使用 Seed 选项添加种子编号(https://helpx.adobe.com/firefly/generatevideo/generatevideoclips/generatevideofaq.htmlwhatisaseed),以帮助启动流程并控制 AI 创建的内容的随机性。如果使用相同的种子、提示和控制设置,则可以重新生成类似的视频剪辑。然后选择 Generate(生成)。
2025-01-22
有AI工具可以帮我把视频里的文字内容提取吗
以下是一些可以帮助您提取视频里文字内容的 AI 工具和方法: 1. 对于 B 站视频,如果视频有字幕,您可以安装油猴脚本。安装之后,刷新浏览器,点击字幕,会出现“下载”按钮,您可以选择多种字幕格式,然后将下载的字文字内容全选复制发送给 GPTs 进行总结。 2. 如果您想用 AI 把小说做成视频,大致流程如下: 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-22
如何用现有人的照片生成拜年短视频
以下是用现有人的照片生成拜年短视频的流程: 1. 拍摄训练的图片:先拍好所需图片。 2. 使用 EasyPhoto 开始训练:放入图片开始炼丹,等待显示“The training has been completed.”表示完成。 3. 训练好的 lora 用来推理:开始推理,注意推理使用的底图尽量选择和自己外形、头发相似的图片,因为除了面部,发型等也是关键。 4. 先用 Stable different 脸一个自己脸部的 Lora,然后生成各种不同风格的图片。 5. 配音。 6. 在 heygen 里面让图片口型和配音对上。 7. 后期剪辑。 8. 封面制作。 制作最后的拜年祝福语,希望以上工作流能对您有所帮助。
2025-01-22
图片生成视频的ai有哪些
以下是一些图片生成视频的 AI 工具: 1. Pika:是一款出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频。它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要收费。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 更多的相关网站可以查看:https://www.waytoagi.com/category/38 。 另外,使用快影(可灵)处理图片生成视频的步骤如下: 1. 打开快影(需要先通过内测申请),选择 AI 创作。 2. 选择 AI 生成视频。 3. 选择图生视频。 4. 上传处理好的图片,填写想要的互动动作和效果,然后点击生成视频。 5. 排队等待生成结束,点击下载。 以上工具均适合于不同的使用场景和需求,您可以根据自己的具体情况进行选择。
2025-01-21
制作ai视频都需要用到哪些工具
制作 AI 视频通常需要用到以下工具: 1. Stable Diffusion(SD):一种 AI 图像生成模型,可基于文本描述生成图像。网址:https://github.com/StabilityAI 2. Midjourney(MJ):适用于创建小说中的场景和角色图像的 AI 图像生成工具。网址:https://www.midjourney.com 3. Adobe Firefly:Adobe 的 AI 创意工具,能生成图像和设计模板。网址:https://www.adobe.com/products/firefly.html 4. Pika AI:文本生成视频的 AI 工具,适合动画制作。网址:https://pika.art/waitlist 5. Clipfly:一站式 AI 视频生成和剪辑平台。网址:https://www.aihub.cn/tools/video/clipfly/ 6. VEED.IO:在线视频编辑工具,具有 AI 视频生成器功能。网址:https://www.veed.io/zhCN/tools/aivideo 7. 极虎漫剪:结合 Stable Diffusion 技术的小说推文视频创作提效工具。网址:https://tiger.easyartx.com/landing 8. 故事 AI 绘图:小说转视频的 AI 工具。网址:https://www.aihub.cn/tools/video/gushiai/ 此外,制作 AI 视频还需要考虑故事的来源和剧本写作。故事来源可以是原创(如个人或周围人的经历、梦境、想象的故事等),也可以是改编(如经典 IP、名著、新闻、二创等)。剧本写作方面,虽然有一定门槛,但可以从自身或朋友的经历改编入手,多与他人讨论并不断实践总结。在生成视频画面时,可能需要大量抽卡来获取合适的画面。比如在科幻片、战争片、奇幻片等不同类型的视频中,通过不同的工具生成相应的画面。
2025-01-21
有哪些能够生成视频封面的ai
以下是一些能够生成视频封面的 AI 工具: 1. Pika:出色的文本生成视频 AI 工具,擅长动画制作,并支持视频编辑。 2. SVD:如果熟悉 Stable Diffusion,可以安装这款最新的插件,在图片基础上直接生成视频,它是由 Stability AI 开源的 video model。 3. Runway:老牌 AI 视频生成工具,提供实时涂抹修改视频的功能,但需要注意是收费的。 4. Kaiber:视频转视频 AI,能够将原视频转换成各种风格的视频。 5. Sora:由 OpenAI 开发,可以生成长达 1 分钟以上的视频。 如果您想用 AI 把小说做成视频,可参考以下制作流程: 1. 小说内容分析:使用 AI 工具(如 ChatGPT)分析小说内容,提取关键场景、角色和情节。 2. 生成角色与场景描述:根据小说内容,使用工具(如 Stable Diffusion 或 Midjourney)生成角色和场景的视觉描述。 3. 图像生成:使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作:将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作:利用 AI 配音工具(如 Adobe Firefly)将小说文本转换为语音,添加背景音乐和音效。 6. 视频编辑与合成:使用视频编辑软件(如 Clipfly 或 VEED.IO)将图像、音频和文字合成为视频。 7. 后期处理:对生成的视频进行剪辑、添加特效和转场,以提高视频质量。 8. 审阅与调整:观看生成的视频,根据需要进行调整,比如重新编辑某些场景或调整音频。 9. 输出与分享:完成所有编辑后,输出最终视频,并在所需平台上分享。 请注意,具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外,AI 工具的可用性和功能也可能会随时间而变化,建议直接访问上述提供的工具网址获取最新信息和使用指南。
2025-01-21
怎样学习AI制作短视频
以下是学习 AI 制作短视频的相关内容: 1. 制作步骤: 剧本创作:可以从原创(如自身或周围人的经历、做过的梦、想象的故事等)和改编(如经典 IP、名著、新闻、二创等)两个路径获取灵感。 分镜脚本创作 角色设计:需保持角色的一致性,并增加个性化特性。 分镜图片制作:生成一张合适的图片就直接开始进行对应动画镜头的生成。 动画制作:主要使用了 pixverse、pika、runway 三种视频生成工具。 配音和配乐 2. 注意事项: 编剧方面,虽然有剧作理论和模板,但不能死板套用,应多实践、总结经验,从简单的短片创作入手,可从自身或朋友经历改编,或对短篇故事进行改编,多与他人讨论故事。 不论使用镜头拍摄还是 AI 工具生成,都脱离不了影视制作的基础逻辑。 短片以短故事片为主,后续会讨论广告片等类型。 相关原文链接:
2025-01-21
我想组织一个团队,完成属于自己的一套数字人制作技术
以下是组织一个团队完成属于自己的一套数字人制作技术的相关内容: 方案一:剪映数字人“个性化“—无限免费私模数字人 1. 准备谷歌账号(可在淘宝或“”购买)。 2. 第一步:打开谷歌浏览器,点击链接https://github.com/facefusion/facefusioncolab 并点击 open colab 进入程序主要运行界面,在右上角点击“代码执行程序”选择“全部运行”,无需安装和付费。点击红框对应的 URL 打开操作界面。 3. 第二步:点击“source”上传自己的照片和“target”上传之前的剪映数字人视频,保持默认参数,点击“START”生成。 4. 第三步:等待专属数字人视频出炉。 方案二:借助开源社区力量构建高质量的 AI 数字人 1. 推荐借助开源社区的像 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流模型供应商、工具及算法实现等。 2. 可通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。 在开源项目中,使用 dify 框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,实现相对复杂功能,如知识库搭建、工具使用等,无需编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于此可将数字人的语音识别和语音生成都交由 Dify 控制,低门槛做出高度定制化的数字人。具体部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 若有更高度定制的模型,也可在 Dify 中接入 XInference 等模型管理平台部署自己的模型。 数字人 GUI 工程中保留了 LLM、ASR、TTS、Agent 等多个模块,能保持更好的扩展。 注意事项: 1. 使用 Dify 接口时,必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,可自行选择方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可根据个人喜好添加。 制作数字人的工具: 1. HeyGen:AI 驱动的平台,可创建逼真的数字人脸和角色,适用于游戏、电影和虚拟现实等应用。 2. Synthesia:AI 视频制作平台,允许创建虚拟角色并进行语音和口型同步,支持多种语言,可用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入要说的内容,平台提供的 AI 语音机器人将自动转换成语音,然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。请注意,这些工具的具体功能和可用性可能会变化,使用时请遵守相关使用条款和隐私政策,并注意保持对生成内容的版权和伦理责任。
2025-01-21
ai制作anki卡
以下是关于 AI 制作 Anki 卡的相关内容: AI 漫画 Anifusion 工具教程 Anifusion 是一款基于人工智能的在线工具,旨在帮助用户轻松创建专业质量的漫画和动漫作品。即使没有绘画技能,用户只需输入文本描述,Anifusion 的 AI 就能将其转化为完整的漫画页面或动漫图像。 主要功能: 1. AI 文本生成漫画:用户输入描述性提示,AI 会根据文本生成相应的漫画页面或面板。 2. 直观的布局工具:提供预设模板,用户也可自定义漫画布局,设计独特的面板结构。 3. 强大的画布编辑器:在浏览器中直接优化和完善 AI 生成的艺术作品,调整角色姿势、面部细节等。 4. 多种 AI 模型支持:高级用户可访问多种 LoRA 模型,实现不同的艺术风格和效果。 5. 商业使用权:用户对在平台上创作的所有作品拥有完整的商业使用权,可自由用于商业目的。 使用案例: 1. 独立漫画创作:有抱负的漫画艺术家无需高级绘画技能即可将他们的故事变为现实。 2. 快速原型设计:专业艺术家可以在详细插图之前快速可视化故事概念和布局。 3. 教育内容:教师和教育工作者可以为课程和演示创建引人入胜的视觉内容。 4. 营销材料:企业可以制作动漫风格的促销漫画或用于活动的分镜脚本。 5. 粉丝艺术和同人志:粉丝可以基于他们最喜欢的动漫和漫画系列创作衍生作品。 优点: 1. 非艺术家也可轻松进行漫画创作。 2. 基于浏览器的全方位解决方案,无需安装额外软件。 3. 快速迭代和原型设计能力。 4. 创作的全部商业权利。 如何利用 AI 的方式批量制作单词卡片 1. 提示词编写测试 完整提示词:最外围的核心是生成符合要求的单词卡内容,并按照对应位置填入 Excel 文件中。首先给出基本示例,作为 GPT 完成任务的核心依托,然后根据不同生成内容限定规则。 测试结果:一起输入五个单词可同时解析,效果有的稍差,大体格式符合要求。关于第二部分,虽改变了最初设定,但仍可通过复制粘贴使用。 2. 批量产出:上传压缩文件,上传成功后点击完成套版,即可获得符合要求的单词卡片。
2025-01-20
有制作爆款短视频的ai提示词吗?
以下是一些制作爆款短视频的 AI 提示词相关内容: 1. 写脚本方面: 可以选择 Kimi、Claude、Chatgpt 等大模型,对于科学上网困难的小伙伴,可优先选择免费好用的 kimi(https://kimi.moonshot.cn/),有条件可选功能更强大的 chatgpt(https://chatgpt.com/),本作品用的是 Claude(https://claude.ai/new),Claude 在脚本创作方面有优势。 脚本提示词的结构是:我要做什么样的视频+视频要包含哪些关键的元素+对脚本的输出有什么要求。例如,要做 30 秒时长的广告宣传片脚本、做一个孩子们喜欢的儿童绘本脚本等;重点要把产品的特性或者想要的广告风格说出来,如奔驰高端商务、豪华舒适的特性,苹果香脆多汁、红润饱满的特点;按照一定的格式输出,推荐使用 Markdown 格式输出,方便后续操作。 2. 单镜头内容注意:要给 AI 确切的画面描述,杜绝不确切描述,如将“一个女生备考,用纳米 AI 定制模拟专题练习,最后成功上岸”改为“一个中年妇女辅导 12 岁的女儿作业,女孩看着妇女,妇女挠挠头,表情沉重。然后拿出手机对着桌子上的书拍照,然后放下手机,跟小姑娘说话,表情舒缓,欣慰,温柔。侧面镜头,镜头环绕到正面”。 3. 提示词网站分享: Learn Prompting https://learnprompting.org/docs/intro AI Short https://www.aishort.top/en/ AIPRM https://www.aiprm.com/prompts/ Prompt Library https://promptlibrary.org/
2025-01-20
开源项目数字人
以下是关于开源项目数字人的相关内容: 一、构建高质量的 AI 数字人 1. 构建数字人躯壳 建好的模型可以使用 web 前端页面(Live2D 就提供了 web 端的 SDK)或者 Native 的可执行程序进行部署,最后呈现在用户面前的是一个 GUI。 开源数字人项目选择了 live2d 作为数字人躯壳,因为这类 SDK 的驱动方式相比现在的 AI 生成式的方式更加可控和自然,相比虚幻引擎这些驱动方式又更加轻量和简单。 卡通二次元的形象给人的接受度更高。关于 live2d 的 SDK 驱动方式可以参考官方示例:https://github.com/Live2D 。 2. 构建数字人灵魂 自建代码实现各模块开发工作量巨大,迭代难度高,对于个人开发者不现实。 推荐借助开源社区的力量,如 dify、fastgpt 等成熟的高质量 AI 编排框架,它们有大量开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等。 在开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。 如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。 数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展。 上述 Dify 接口使用注意事项: 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。 二、写在最后 数字人在未来肯定会有很多的应用场景,比如家庭中有数字人管家,全面接管智能家居或其他设备;学校中有数字人老师,孜孜不倦的为学生答疑解惑;商场里有数字人导购,为顾客提供指路、托管个人物品等悉心服务。 数字人在未来肯定还有很多的技术突破,比如可以将五感数据作为输入(例如声音、图像、气味、震动等等),将所有可以控制躯壳的参数也作为输入(例如躯壳骨骼节点,面部混合形状参数等);次世代的算法可以自我迭代升级,也可以拿到感官输入以及躯壳控制方法后,自行演化躯壳控制方式。 作者希望通过 Dify 搭建数字人的开源项目,给大家展现低门槛高度定制数字人的基本思路,但数字人的核心还是在于我们的 Agent,也就是数字人的灵魂,怎样在 Dify 上面去编排专属自己的数字人灵魂是值得大家自己亲自体验的。真诚的希望看到,随着数字人的多模态能力接入、智能化水平升级、模型互动控制更精确,用户在需要使用 AI 的能力时,AI 既可以给你提供高质量的信息,也能关注到你的情绪,给你一个大大的微笑,也许到了那时,数字世界也开始有了温度。
2025-01-22
我能否借助开源社区力量构建高质量的 AI 数字人
您可以借助开源社区力量构建高质量的 AI 数字人。 构建数字人的躯壳有多种方式: 1. 2D 引擎:风格偏向二次元,亲和力强,定制化成本低,代表是 Live2D Cubism。 2. 3D 引擎:风格偏向超写实的人物建模,拟真程度高,定制化成本高,代表是 UE、Unity、虚幻引擎 MetaHuman 等,但个人学习在电脑配置和学习难度上有一定门槛。 3. AIGC:省去建模流程直接生成数字人的展示图片,但存在算法生成的数字人很难保持 ID 一致性、帧与帧连贯性差等弊端。如果对人物模型真实度要求不高,可以使用,典型项目有 wav2lip、videoretalking 等。AIGC 还有直接生成 2D/3D 引擎模型的方向,但仍在探索中。 构建数字人的灵魂需要注意以下几个工程关键点: 1. AI Agent:要让数字人像人一样思考就需要写一个像人一样的 Agent,工程实现所需的记忆模块、工作流模块、各种工具调用模块的构建都是挑战。 2. 驱动躯壳的实现:灵魂部分通过定义接口由躯壳部分通过 API 调用,调用方式可以是 HTTP、webSocket 等。但包含情绪的语音表达以及如何保证躯壳的口型、表情、动作和语音的同步及匹配,目前主流方案只能做到预设一些表情动作,再做一些逻辑判断来播放预设,语音驱动口型相对成熟但闭源。 3. 实时性:由于算法部分组成庞大,几乎不能实现单机部署,特别是大模型部分,所以算法一般会部署到额外的集群或者调用提供出来的 API,这里面就会涉及到网络耗时和模型推理耗时,如果响应太慢就会体验很差,所以低延时也是亟需解决的一个问题。 4. 多元跨模态:不仅仅是语音交互,还可以通过添加摄像头数据获取数据,再通过系列 CV 算法做图像解析等。 5. 拟人化场景:正常和人交流时不是线性对话,会有插话、转移话题等情况,这些情景需要通过工程丝滑处理。 如果都要自建代码实现各模块,开发工作量巨大,迭代难度也很高,对于个人开发者来讲不现实。因此推荐借助开源社区的力量,现在开源社区已经有了像 dify、fastgpt 等等成熟的高质量 AI 编排框架,它们有大量的开源工作者维护,集成各种主流的模型供应商、工具以及算法实现等等。我们可以通过这些框架快速编排出自己的 AI Agent,赋予数字人灵魂。在笔者的开源项目中,使用了 dify 的框架,利用其编排和可视化交互任意修改流程,构造不同的 AI Agent,并且实现相对复杂的功能,比如知识库的搭建、工具的使用等都无需任何的编码和重新部署工作。同时 Dify 的 API 暴露了 audiototext 和 texttoaudio 两个接口,基于这个两个接口就可以将数字人的语音识别和语音生成都交由 Dify 控制,从而低门槛做出来自己高度定制化的数字人。具体的部署过程参考 B 站视频:https://www.bilibili.com/video/BV1kZWvesE25 。如果有更加高度定制的模型,也可以在 Dify 中接入 XInference 等模型管理平台,然后部署自己的模型。此外,数字人 GUI 工程中仍然保留了 LLM、ASR、TTS、Agent 等多个模块,能够保持更好的扩展,比如实现更加真实性感的语音转换、或者如果有更加 Geek 的 Agent 实现也可以选择直接后端编码扩展实现。 使用 Dify 接口需要注意: 1. 必须在应用编排功能中打开文字转语音和语音转文字功能,否则接口会返回未使能的错误。 2. 只有接入了支持 TTS 和 SPEECH2TEXT 的模型供应商,才会在功能板块中展示出来,Dify 的模型供应商图标下标签有展示该供应商支持哪些功能,这里可以自行选择自己方便使用的。对于 TTS,不同的模型供应商支持的语音人物不同,可以根据个人喜好添加。
2025-01-21
方案一生成的数字人效果怎么样
生成数字人的效果因使用的工具和方法而异。以下是一些常见的情况: 在剪映中生成数字人: 打开“数字人”选项,选择免费且适合的形象,如“婉婉青春”,软件会播放其声音,可判断是否需要,点击“添加数字人”将其添加到视频中,剪映会根据提供的内容生成对应音视频并添加到轨道中。左下角会提示渲染完成时间,可点击预览按钮查看效果。 腾讯的 MimicMotion 项目: 效果显著优于阿里,支持面部特征和唇形同步,不仅用于跳舞视频,也可应用于数字人。其优化包括基于置信度的姿态引导机制确保视频连贯流畅、基于姿态置信度的区域损失放大技术减少图像扭曲变形、创新的渐进式融合策略实现任意长度视频生成。项目地址:https://github.com/tencent/MimicMotion 节点地址:https://github.com/AIFSH/ComfyUIMimicMotion 此外,还有适合小白用户的开源数字人工具,如: 特点:一键安装包,无需配置环境,简单易用。 功能:生成数字人视频,支持语音合成和声音克隆,操作界面中英文可选。 系统兼容:支持 Windows、Linux、macOS。 模型支持:MuseTalk(文本到语音)、CosyVoice(语音克隆)。 使用步骤:下载 8G+3G 语音模型包,启动模型即可。 GitHub: 官网:
2025-01-21
ai数字人怎么生成
生成 AI 数字人主要有以下步骤: 1. 在剪映中生成数字人: 打开剪映右侧窗口顶部的“数字人”选项,选取免费且适合的数字人形象,如“婉婉青春”。 软件会播放数字人的声音,可判断是否需要,点击右下角“添加数字人”将其添加到当前视频中,软件会生成对应音视频并添加到轨道中,左下角会提示渲染完成时间,可点击预览查看效果。 2. 增加背景图片: 删除先前导入的文本内容,因为视频音频已包含文字。 点击左上角“媒体”菜单并“导入”,选择本地图片上传,如一张书架图片,点击图片右下角加号添加到视频轨道(会覆盖数字人)。 拖动轨道最右侧竖线使图片与视频对齐,选中轨道,拖动图片角放大到合适尺寸,并将数字人拖动到合适位置。 3. 增加字幕: 点击文本智能字幕识别字幕,点击开始识别,软件会自动将文字智能分段形成字幕。 4. 算法驱动的数字人实现流程: 核心算法包括 ASR(语音识别),能将用户音频数据转化为文字,便于数字人理解和生成回应。 AI Agent(人工智能体)充当数字人大脑,可接入大语言模型,拥有记忆模块等使其更真实。 TTS(文字转语音)将数字人依靠 LLM 生成的文字输出转换为语音。 完成上述步骤后,点击右上角“导出”按钮导出视频备用。若希望数字人换脸,则需使用其他工具。
2025-01-20
数字人
数字人是运用数字技术创造出来的人,虽现阶段不能如科幻作品中的人型机器人般高度智能,但已在生活各场景中常见,且随 AI 技术发展迎来应用爆发。目前业界对其无准确定义,一般按技术栈分为真人驱动和算法驱动两类。 真人驱动的数字人重在通过动捕设备或视觉算法还原真人动作表情,主要用于影视行业及直播带货,表现质量与手动建模精细度及动捕设备精密程度直接相关,不过视觉算法进步使无昂贵动捕设备时,通过摄像头捕捉人体骨骼和人脸关键点信息也能有不错效果。 制作数字人的工具主要有: 1. HeyGen:AI 驱动的平台,能创建逼真数字人脸和角色,使用深度学习算法生成高质量肖像和角色模型,适用于游戏、电影和虚拟现实等。 2. Synthesia:AI 视频制作平台,可创建虚拟角色并进行语音和口型同步,支持多种语言,用于教育视频、营销内容和虚拟助手等场景。 3. DID:提供 AI 拟真人视频产品服务和开发,上传人像照片和输入内容,平台的 AI 语音机器人自动转换成语音并合成逼真说话视频。 更多数字人工具请访问网站查看:https://www.waytoagi.com/category/42 。使用这些工具时,请遵守相关使用条款和隐私政策,注意生成内容的版权和伦理责任。 以下是一些包含数字人的节目单示例: 1. 节目“猜真人”:魔术互动类表演,2 个、8 个数字分身,猜哪个是真正的我,需求技术为 AI 数字人。 2. 节目“亲情的应用场景(逝者)”:女儿打扫房间扫到去世父亲二维码再次对话,涉及 AI 分身积累准备。 3. 节目“AI 转绘”:经典电影混剪,涉及短片素材、AI 转绘、Lora 等。 4. 节目“AI 贺岁”:晚会中场致谢,包括共创团队记录、新年祝福等。 5. 节目“打工人共情”:涉及 AI 素材、共情脚本、炫技视频剪辑等。
2025-01-20