直达「 通往AGI之路 」飞书知识库 →
首页/问答列表/问答详情

静态动物图片，生成说话视频

回答

以下是一些能够将静态动物图片生成说话视频的技术和相关信息：

  • VividTalk：单张照片和一段音频可生成看似真实的说话视频，支持多种语言和风格，如真实和卡通风格，由南京大学、阿里巴巴、字节跳动和南开大学合作开发。链接：https://x.com/xiaohuggg/status/1732026172509421697?s=20
  • 腾讯 AniPortrait：根据音频和静态人脸图片生成逼真的动态视频，支持多种语言、面部重绘、头部姿势控制，比阿里 EMO 项目先开源。链接：https://github.com/Zejun-Yang/AniPortrait 、https://arxiv.org/abs/2403.17694 、https://x.com/imxiaohu/status/1772965256220045659?s=20
内容由 AI 大模型生成，请仔细甄别（powered by aily）

参考资料

XiaoHu.AI日报

🔔 Xiaohu.AI日报「12月5日」✨✨✨✨✨✨✨✨1⃣️🗣️ VividTalk：让照片说话的技术单张照片和一段音频可生成看似真实的说话视频。支持多种语言和风格，如真实和卡通风格。合作开发：南京大学、阿里巴巴、字节跳动和南开大学。🔗 https://x.com/xiaohuggg/status/1732026172509421697?s=202⃣️👤 HeyGen的Avatar2.0：即时虚拟分身5分钟内用手机创建个人虚拟分身。多语言支持和口型同步。免费提供服务。🔗 https://x.com/xiaohuggg/status/1732014004950974917?s=203⃣️💃 MagicAnimate：基于扩散模型的动画框架将静态图片转换为动作视频。结合文本生成多人动画。旨在增强动画的时间一致性和真实感。🔗 https://x.com/xiaohuggg/status/1731868943340707855?s=204⃣️🖥️ ComfyUI + SD + AnimateDiff效果演示制作方法即将公布。作者@DreamStarter_1预告即将分享细节。🔗 https://x.com/xiaohuggg/status/1731950309042229688?s=205⃣️🔬 IBM量子计算的新进展介绍了IBM Quantum System 2和下一代量子处理器。Condor拥有1121个超导量子位，Heron拥有133个固定频率量子位。量子位（Qubits）指数级增长存储信息能力。

XiaoHu.AI日报

🔔 Xiaohu.AI日报「12月5日」✨✨✨✨✨✨✨✨1⃣️🗣️ VividTalk：让照片说话的技术单张照片和一段音频可生成看似真实的说话视频。支持多种语言和风格，如真实和卡通风格。合作开发：南京大学、阿里巴巴、字节跳动和南开大学。🔗 https://x.com/xiaohuggg/status/1732026172509421697?s=202⃣️👤 HeyGen的Avatar2.0：即时虚拟分身5分钟内用手机创建个人虚拟分身。多语言支持和口型同步。免费提供服务。🔗 https://x.com/xiaohuggg/status/1732014004950974917?s=203⃣️💃 MagicAnimate：基于扩散模型的动画框架将静态图片转换为动作视频。结合文本生成多人动画。旨在增强动画的时间一致性和真实感。🔗 https://x.com/xiaohuggg/status/1731868943340707855?s=204⃣️🖥️ ComfyUI + SD + AnimateDiff效果演示制作方法即将公布。作者@DreamStarter_1预告即将分享细节。🔗 https://x.com/xiaohuggg/status/1731950309042229688?s=205⃣️🔬 IBM量子计算的新进展介绍了IBM Quantum System 2和下一代量子处理器。Condor拥有1121个超导量子位，Heron拥有133个固定频率量子位。量子位（Qubits）指数级增长存储信息能力。

XiaoHu.AI日报

🔔Xiaohu.AI日报「3月27日」 ✨✨✨✨✨✨✨✨1⃣️🖌️ Creatie AI - AI驱动的设计神器:几分钟设计网站或程序，融合思维导图、设计、协作、原型制作、代码交接。自动分析设计文件，创建统一样式库，快速转化为高保真可交互原型并生成代码。🔗 http://creatie.ai🔗 https://x.com/imxiaohu/status/1772986701859934253?s=202⃣️🎤腾讯AniPortrait -让照片唱歌说话:根据音频和静态人脸图片生成逼真的动态视频。支持多种语言、面部重绘、头部姿势控制，比阿里EMO项目先开源。🔗 https://github.com/Zejun-Yang/AniPortrait🔗 https://arxiv.org/abs/2403.17694🔗 https://x.com/imxiaohu/status/1772965256220045659?s=203⃣️📹 NoLang -直接从文本生成视频:支持将文字、网页链接、PDF等直接转换为视频。自动总结PDF内容并生成解答视频，还可追问，但目前服务器承受压力大，支持日语和英语。🔗 http://no-lang.com🔗 https://x.com/imxiaohu/status/1772884036522017149?s=204⃣️📘 Awesome-Generative-AI-Guide -生成式AI一站式资源库:汇总最新研究、免费课程、面试资源、代码库等。定期更新，适合研究者、学习者、面试准备者和AI进展关注者。

其他人在问
如果选择一个最需要的AI工具，你会建议我学什么？比如视频剪辑？
如果要选择一个最需要学习的 AI 工具用于视频剪辑，以下是一些相关建议： 工具选择： 剪映是一个较为方便的选择，它具有很多人性化设计和简单的音效库、小特效。但也存在一些不足，如无法协同工作和导出工程文件，难以与其他软件进行工程联通，影响视频的商业化效果。 剪辑流程： 1. 视频粗剪：先确定画面逻辑，声音可作部分参考，快速对片子全貌有整体把握，把素材放上，再进行细节调整和画面替换。画面不需要精美，重点是把握整体。 2. 视频定剪：将画面素材调整和替换到满意效果。 3. 音效/音乐：以剪映为例，有简单音效库，复杂音效可能需另外制作。使用商用音乐要注意版权。 4. 特效：以剪映为例，可适当添加一些光的效果。 5. 包装（如字幕）：字幕最后上，剪映可智能匹配字幕再修改。 故事创作： 除了工具，故事也很重要。故事来源有两条路径： 1. 原创（直接经验）：自身或周围人的经历、做过的梦、想象的故事等。 2. 改编（间接经验）：经典 IP、名著改编、新闻改编、二创等。 剧本写作： 编剧有一定门槛，不能仅套剧作理论和模版，要多写多实践，再结合看书总结经验。短片创作可从自身或朋友经历改编入手，或对触动自己的短篇故事进行改编。多与他人讨论故事，有助于修改和进步。 声音制作： 在传统影视制作中，声音部分包括现场录音、后期配音、音效音乐制作等。对于 AI 声音制作对话，如使用 11labs 进行英文对白制作，效果较好但存在没有情绪和情感的问题，需通过标点符号改变语音效果，不断抽卡调试。国内可使用魔音工坊，其有情绪调节控件。 剪辑软件： 对于 13 分钟的短片，剪映较方便；更长篇幅或追求更好效果，可能需使用 PR/FCP/达芬奇等传统剪辑软件。
2024-11-22
中国国产最好用的免费视频AI是哪个呢
以下是一些中国国产好用的免费视频 AI 工具： Hidreamai（国内，有免费额度）：https://hidreamai.com//AiVideo 。支持文生视频、图生视频，提示词使用中文、英文都可以，文生视频支持正向提示词、反向提示词、运镜控制、运动强度控制，支持多尺寸，可以生成 5s 和 15s 的视频。 ETNA（国内）：https://etna.7volcanoes.com/ 。是一款由七火山科技开发的文生视频 AI 模型，能根据用户简短的文本描述生成相应的视频内容。生成的视频长度在 8 15 秒，画质可达 4K，最高 38402160，画面细腻逼真，帧率 60fps。 Dreamina（国内内测，有免费额度）：https://jimeng.jianying.com/aitool/video/generate 。支持文生视频、图生视频、视频生视频，支持图生视频首尾帧功能，提示词使用中文、英文都可以。 可灵（免费）：https://klingai.kuaishou.com/ 。支持文生视频、图生视频，支持图生视频首尾帧功能，提示词可使用中文。 此外，还有一些其他的相关工具： Leiapix：https://www.leiapix.com/ ，免费，可把一张照片转动态。 Krea：https://www.krea.ai/ ，12 月 13 日免费公测。 luma： ，30 次免费。 hailuoai：https://hailuoai.video/ ，新账号 3 天免费，过后每天 100 分，语义理解能力强。 Opusclip：https://www.opus.pro/ ，可利用长视频剪成短视频。 Raskai：https://zh.rask.ai/ ，短视频素材可直接翻译至多语种。 invideoAI：https://invideo.io/make/aivideogenerator/ ，输入想法生成脚本和分镜描述，生成视频后可人工二编合成长视频。 descript：https://www.descript.com/?ref=feizhuke.com 。 veed.io：https://www.veed.io/ ，有一次免费体验，可自动翻译自动字幕。 clipchamp：https://app.clipchamp.com/ ，免费，高级功能付费。 typeframes：https://www.revid.ai/?ref=aibot.cn ，有免费额度。
2024-11-22
推荐一款国内不错的AI视频生成软件
以下为您推荐几款国内不错的 AI 视频生成软件： 1. 可灵：在 AI 视频生成领域表现出色，具有以下优势： 卓越的视频生成质量，与国际顶级模型相当，能满足普通用户和专业创作者的需求。 生成速度快，处理效率高于国外同类产品，提升用户工作效率。 对国内用户可访问性强，提供便捷、稳定的使用体验。 2. Hidreamai：有免费额度，支持文生视频、图生视频，提示词使用中文、英文均可，文生视频支持多种控制，可生成 5s 和 15s 的视频。网址：https://hidreamai.com//AiVideo 3. ETNA：由七火山科技开发，可根据简短文本描述生成相应视频内容，生成视频长度 8 15 秒，画质可达 4K，最高 38402160，画面细腻逼真，帧率 60fps，支持中文，时空理解。网址：https://etna.7volcanoes.com/ 此外，还有 Pika、SVD、Runway、Kaiber、Sora 等国内外提供此类功能的产品，您可以根据自己的具体情况进行选择。更多的文生视频网站可查看： 需注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-11-22
如何做一个我自己的AI数字人进行短视频出镜主播
以下是制作您自己的 AI 数字人进行短视频出镜主播的方法： 一、准备视频内容 1. 准备一段视频中播放的文字内容，可以是产品介绍、课程讲解、游戏攻略等。您也可以利用 AI 来生成这段文字。 2. 使用剪映 App 对视频进行处理。电脑端打开剪映 App，点击“开始创作”。选择顶部工具栏中的“文本”，并点击默认文本右下角的“+”号，为视频添加一个文字内容的轨道，然后将准备好的文字内容替换默认文本内容。这将为数字人提供语音播放的内容以及生成相对应的口型。 二、生成数字人 1. 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费且适合的数字人形象，例如“婉婉青春”。选择数字人形象时，软件会播放其声音，您可判断是否需要，点击右下角的“添加数字人”，将其添加到当前视频中。 2. 剪映 App 会根据提供的内容生成对应音视频，并添加到当前视频文件的轨道中。左下角会提示渲染完成时间，您可点击预览按钮查看生成的数字人效果。 三、增加背景图片 1. 直接删除先前导入的文本内容，因为视频中的音频已包含文字内容。 2. 为视频增加背景图片。点击左上角的“媒体”菜单，并点击“导入”按钮，选择本地的一张图片上传。 3. 点击图片右下角的加号，将图片添加到视频的轨道上（会覆盖数字人）。 4. 点击轨道最右侧的竖线，向右拖拽直到与视频对齐。 5. 选中背景图片所在的轨道，在显示区域拖动背景图的一个角，将图片放大到适合尺寸，并将数字人拖动到合适位置。 另外，您还可以通过以下网站生成虚拟数字人短视频： 1. 打开网站（要科学）：https://studio.did.com/editor 2. 输入内容选项，在右侧的文字框里面输入从 ChatGPT 产生的内容，还可以更换想要的头像，选择不同的国家和声音。 3. 内容和人像都选择好之后，点击右上角的 Create Video，等待一段时间生成。生成好数字人视频后，结合产品做讲解即可发布去做视频带货。
2024-11-22
现在哪几家的大模型支持通过手机视频多模态实时交流？
以下几家的大模型支持通过手机视频多模态实时交流： 1. PandaGPT：能够理解不同模式的指令并根据指令采取行动，包括文本、图像/视频、音频、热、深度和惯性测量单位。 2. VideoLLaMA：引入了多分支跨模式 PT 框架，使语言模型能够在与人类对话的同时处理给定视频的视觉和音频内容。 3. 视频聊天 GPT：专门为视频对话设计，能够通过集成时空视觉表示来生成有关视频的讨论。 4. NExTGPT：端到端、通用的 anytoany 多模态语言模型，支持图像、视频、音频、文本的自由输入输出。
2024-11-22
我想要能够爬取我想要的视频的工作流有吗
以下为您提供两种关于视频爬取工作流的信息： 1. Stable Video Diffusion 模型的 ComfyUI 部署实战： 完成准备工作后运行 ComfyUI。 安装 ComfyUI Manager 插件。 下载工作流，使用 ComfyUI 菜单的 load 功能加载。 点击菜单栏「Queue Prompt」开始视频生成，可通过工作流上的绿色框查看运行进度。 生成的视频可在 ComfyUI 目录下的 output 文件夹查看。若出现显存溢出问题，请另行处理。工作流可关注公众号「魔方 AI 空间」，回复【SVD】获取。 2. 来来的 AI 视频短片工作流： 完整文档： 工作流概述： 概念设定：MJ 剧本+分镜：ChatGPT AI 出图：MJ,SD,D3 AI 视频：Runway，pika，PixVerse，Morph Studio 对白+旁白：11labs，睿声 音效+音乐：SUNO,UDIO,AUDIOGEN 视频高清化：Topaz Video 字幕+剪辑：CapCut，剪映 直播回放：
2024-11-21
图片生成图片的AI模型有哪些
目前比较成熟的图片生成图片（图生图）的 AI 模型主要有： 1. Artguru AI Art Generator：在线平台，能生成逼真图像，为设计师提供灵感，丰富创作过程。 2. Retrato：AI 工具，可将图片转换为非凡肖像，有 500 多种风格供选择，适合制作个性头像。 3. Stable Diffusion Reimagine：新型 AI 工具，通过稳定扩散算法生成精细、具细节的全新视觉作品。 4. Barbie Selfie Generator：专为喜欢梦幻童话风格的人设计的 AI 工具，能将上传的照片转换为芭比风格，效果出色。 此外，一些受欢迎的文生图工具也可用于图生图，例如： 1. DALL·E：由 OpenAI 推出，能根据输入的文本描述生成逼真的图片。 2. StableDiffusion：开源的文生图工具，可生成高质量的图片，支持多种模型和算法。 3. MidJourney：因高质量的图像生成效果和友好的用户界面设计而广受欢迎，在创意设计人群中尤其流行。 在 WaytoAGI 网站（https://www.waytoagi.com/category/104），可以查看更多文生图工具。 关于图生图的操作方式：在相关工具的首页有对话生图对话框，输入文字描述即可生成图片，不满意可通过对话让其修改。例如在吐司网站，图生图时能调整尺寸、生成数量等参数，高清修复会消耗较多算力建议先出小图。Flex 模型对语义理解强，不同模型生成图片的积分消耗不同，生成的图片效果受多种因素影响。国外模型对中式水墨风等特定风格的适配可能存在不足，可通过训练 Lora 模型改善。
2024-11-23
如何搭建利用产品原图和模特模板生成商业图的工作流 或者有没有这类ai 应用
以下是关于利用产品原图和模特模板生成商业图的工作流及相关 AI 应用的信息： 美国独立站搭建工作流中，有给模特戴上珠宝饰品的应用。 大淘宝设计部在主题活动页面、超级品类日传播拍摄创意、产品营销视觉、定制模特生成、产品场景生成等方面应用了 AI。例如，七夕主题活动页面通过 AI 生成不受外部拍摄条件限制的素材；在 UI 设计场景中，利用 SD 中 controlnet 生成指定范围内的 ICON、界面皮肤等；通过对 AI 大模型的训练和应用，提升合成模特的真实性和美感，提供定制化线上真人模特体验，如 AI 试衣间、AI 写真等；还能根据商品图和用户自定义输入生成多张场景效果，无需 3D 模型、显卡渲染和线下拍摄。
2024-11-22
可以根据照片生成人物的AI软件
以下是一些可以根据照片生成人物的 AI 软件： PhotoMaker：可以根据文字描述生成人物照片，能混合不同人物特征创造新形象，还能改变照片中人物的性别、年龄。访问链接：https://photomaker.github.io ，https://x.com/xiaohuggg/status/1746861045027869072?s=20 HeyGen：通过上传照片或文字提示，即可生成个性化 AI 数字形象视频。支持自定义肢体动作、服装、背景、年龄、性别等特征。仅需 1 分钟即可生成包含脚本、声音和情感表达的数字人视频。访问链接：https://x.com/imxiaohu/status/1852317866038809035
2024-11-22
可以生成原生动漫人物的AI软件
以下是一些可以生成原生动漫人物的 AI 软件： 1. 数字人的躯壳构建方面： 2D 引擎：风格偏向二次元，亲和力强，定制化成本低，代表软件是 Live2D Cubism。 3D 引擎：风格偏向超写实的人物建模，拟真程度高，定制化成本高，代表有 UE、Unity，虚幻引擎 MetaHuman 等。个人学习在电脑配置和学习难度上有一定门槛。 AIGC：虽然省去了建模流程，直接生成数字人的展示图片，但算法生成的数字人在 ID 一致性和帧与帧的连贯性上存在弊端。典型的项目有 wav2lip等。AIGC 还有一个方向是直接生成 2D/3D 引擎的模型，但该方向还在探索中。 2. 生成式 AI 在艺术创作方面： Lensa 可以生成肖像画等内容。 3. 其他相关软件： 百川智能 BaichuanNPC 可以定制游戏角色和动漫人物，并融合角色知识库和多轮记忆，提供 Lite 和 Turbo 两种版本。 阿里巴巴 FaceChainFACT 支持零样本肖像生成，秒级速度，支持百余种定制模板，兼容 ControlNet 和 LoRA 插件。 BakedAvatar 可以从视频创建逼真 3D 头部模型，实时渲染和多视角查看，兼容多种设备，可交互性编辑。 DragNUWA 能够基于文本、图像和轨迹生成视频，用户绘制轨迹即可动态生成。
2024-11-22
可以根据照片，生成漫画人物的AI软件
以下是一些可以根据照片生成漫画人物的 AI 软件和相关信息： HeyGen 推出了基于照片生成数字人的新功能，您可以上传照片或输入文字提示来生成个性化的 AI 数字人形象。能选择性别、年龄、种族，定制肢体动作、服装、姿势和背景，支持脚本编辑，提供多种声音和情感表达，一分钟即可生成视频。详情链接： 在使用过程中，如果生成了自己比较满意的图，一定要记得存起来。下次想要同种类型的就可以直接拿来喂图，效果要比重新找的好很多。
2024-11-22
可以生成人物的AI软件
以下是一些可以生成人物的 AI 软件： 1. HeyGen：这是一个 AI 驱动的平台，能创建逼真的数字人脸和角色。它运用深度学习算法生成高质量的肖像和角色模型，适用于游戏、电影和虚拟现实等应用。 2. Synthesia：这是一个 AI 视频制作平台，允许用户创建虚拟角色并进行语音和口型同步，支持多种语言，可用于教育视频、营销内容和虚拟助手等场景。 3. DID：这是一家提供 AI 拟真人视频产品服务和开发的公司，只需上传人像照片和输入要说的内容，平台提供的 AI 语音机器人将自动转换成语音，然后合成逼真的会开口说话的视频。 更多数字人工具请访问网站查看：https://www.waytoagi.com/category/42 。 在剪映中生成数字人的步骤如下： 在剪映右侧窗口顶部，打开“数字人”选项，选取一位免费且适合的数字人形象，比如“婉婉青春”。选择数字人形象时，软件会播放其声音，可判断是否需要，点击右下角“添加数字人”将其添加到当前视频中，剪映 App 会生成对应音视频并添加到轨道中。左下角会提示渲染完成时间，可点击预览查看效果。 关于数字人的相关算法开源代码仓库有： 1. ASR 语音识别： openai 的 whisper:https://github.com/openai/whisper wenet:https://github.com/wenete2e/wenet speech_recognition：https://github.com/Uberi/speech_recognition 2. AI Agent： 大模型包括 ChatGPT、Claude、ChatGLM、文星一言、千帆大模型、通义千问等。 Agent 部分可使用 LangChain 的模块去做自定义，基本包含了 Agent 实现的几个组件 3. TTS： 微软的 edgetts：https://github.com/rany2/edgetts，只能使用里面预设的人物声音，目前接口免费。 VITS：https://github.com/jaywalnut310/vits，还有很多分支版本。 sovitssvc:https://github.com/svcdevelopteam/sovitssvc，专注于唱歌。 除了算法，人物建模模型可通过手动建模（音频驱动）或者 AIGC 的方式生成人物的动态效果（例如 wav2lip 模型）实现。但这种简单的构建方式还存在一些问题，比如如何生成指定人物的声音、TTS 生成的音频如何精确驱动数字人口型以及做出相应动作、数字人如何使用知识库做出某个领域的专业性回答等。 请注意，这些工具的具体功能和可用性可能会随时间和技术发展而变化。在使用这些工具时，请确保遵守相关的使用条款和隐私政策，并注意保持对生成内容的版权和伦理责任。
2024-11-22