Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI视频

Answer

以下是关于 AI 视频的相关内容：

  1. 来来的 AI 视频短片工作流：
    • 概念设定：MJ
    • 剧本+分镜：ChatGPT
    • AI 出图：MJ、SD、D3
    • AI 视频：Runway、pika、PixVerse、Morph Studio
    • 对白+旁白：11labs、睿声
    • 音效+音乐：SUNO、UDIO、AUDIOGEN
    • 视频高清化：Topaz Video
    • 字幕+剪辑：CapCut、剪映
    • 完整文档：AI 视频-完整工作流.pdf
    • 直播回放：直播回放-05 月 10 日.mp4
  2. Bay 的 AI 视频生成（上）：
    • 长期以来，人们对 AI 视频技术应用的认知停留在各种“换脸”和视频特效上。
    • 随着 AI 图像领域的技术发展，AI 视频技术逐渐取得突破。
    • 从交互方式来看，当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。
    • 一些视频生成方法是先生成静态关键帧图像，然后构建为视频序列。也存在直接端到端生成视频的技术，无需进行多阶段处理即可生成视频，如基于 GAN、VAE、Transformer 的方法。
    • 微软 NUWA-XL：通过逐步生成视频关键帧，形成视频的“粗略”故事情节，然后通过局部扩散模型（Local Diffusion）递归地填充附近帧之间的内容。
  3. Bay 的 AI 视频生成（下）：
    • 若从生成方式分类，AI 视频生成包含：
      • 文生视频、图生视频（Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation）
      • 视频生视频：又分逐帧生成（SD+Mov2Mov）、关键帧+补帧（SD+Ebsynth、Rerender A Video）、动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI）
      • AI Avatar+语音生成：Synthesia、HeyGen AI、D-ID
      • 长视频生短视频：Opus Clip
      • 脚本生成+视频匹配：Invideo AI
      • 剧情生成：Showrunner AI
    • 若从产品阶段和可用维度分类，将按照相关维度进行产品介绍。
Content generated by AI large model, please carefully verify (powered by aily)

References

来来：AI视频短片工作流揭密

本文作者：来来联系方式：laiweb3（添加请注明AI视频）公众号/视频号/小红书/B站：来来说AI标签：20年设计师，10年大学设计老师，电商设计公司创始人10年，AI图书作者《一本书读懂AI绘画》《一本书读懂AIGC提示词》[heading2]完整文档[content][AI视频-完整工作流.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/YJTVb6hA0oXv0vx8lgyc35Dan1c?allow_redirect=1)[heading2]AI视频工作流概述[content][heading2]详见上面的PDF[content]1、概念设定：MJ 2、剧本+分镜：ChatGPT。3、AI出图：MJ,SD,D3 4、AI视频：Runway，pika，PixVerse，Morph Studio。5、对白+旁白：11labs，睿声6、音效+音乐：SUNO,UDIO,AUDIOGEN 7、视频高清化：Topaz Video。8、字幕+剪辑：CapCut，剪映。[heading2]直播回放[content][直播回放-05月10日.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/N0L0bGKtDoHqd1xtjwIcxfENn9e?allow_redirect=1)

AI视频生成(上) | 技术发展概况和应用场景思考

本文作者Bay，写于23.09月底，关注公众号“Bay的设计奥德赛”可接受及时推送AI生成视频发展到什么程度了，效果如何？有哪些可用的产品方案？网上炫酷的效果如何实现？AI视频的应用场景和案例有哪些？本着对以上问题的探索，我开启了AI视频系列的探索。上篇将着重介绍技术发展概况和应用场景思考。[heading2]一.技术发展概况[content]长期以来,人们对AI视频技术应用的认知停留在各种“换脸”和视频特效上。随着AI图像领域的技术发展，AI视频技术也逐渐取得了突破。本节内容结合Claude、Perplexity查询、项目论文整理而成。[heading2]1.1生成方法[content]从交互方式来看，当前AI视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术，无需进行多阶段处理即可生成视频，如基于GAN、VAE、Transformer的方法。微软NUWA-XL：通过逐步生成视频关键帧，形成视频的“粗略”故事情节，然后通过局部扩散模型（Local Diffusion）递归地填充附近帧之间的内容

AI视频生成(下) | 20个产品推荐及实践教学

本文作者Bay，写于23.09月底，关注公众号“Bay的设计奥德赛”接受及时推送本篇通过产品介绍和丰富的案例实践，带你了解AI视频有哪些产品，效果如何实现。若从生成方式分类，AI视频生成包含：1.文生视频、图生视频（Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation）2.视频生视频：又分逐帧生成（SD+Mov2Mov）、关键帧+补帧（SD+Ebsynth、Rerender A Video）、动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI）3.AI Avatar+语音生成：Synthesia、HeyGen AI、D-ID4.长视频生短视频：Opus Clip5.脚本生成+视频匹配：Invideo AI6.剧情生成：Showrunner AI若从产品阶段和可用维度分类：下面将按照上图维度进行产品介绍。

Others are asking
ai 学习路径
以下是为新手提供的 AI 学习路径： 1. 了解 AI 基本概念： 阅读「」部分，熟悉 AI 的术语和基础概念，包括其主要分支（如机器学习、深度学习、自然语言处理等）以及它们之间的联系。 浏览入门文章，了解 AI 的历史、当前的应用和未来的发展趋势。 2. 开始 AI 学习之旅： 在「」中，找到为初学者设计的课程，特别推荐李宏毅老师的课程。 通过在线教育平台（如 Coursera、edX、Udacity）上的课程，按照自己的节奏学习，并有机会获得证书。 3. 选择感兴趣的模块深入学习： AI 领域广泛，如图像、音乐、视频等，可根据兴趣选择特定模块深入学习。 掌握提示词的技巧，它上手容易且很有用。 4. 实践和尝试： 理论学习后，实践是巩固知识的关键，尝试使用各种产品做出作品。 在知识库提供了很多大家实践后的作品、文章分享，欢迎实践后的分享。 5. 体验 AI 产品： 与现有的 AI 产品如 ChatGPT、Kimi Chat、智谱、文心一言等聊天机器人进行互动，了解其工作原理和交互方式，获得对 AI 在实际应用中表现的第一手体验，并激发对 AI 潜力的认识。 另外，如果您的学习路径偏向技术研究方向，您需要： 1. 具备数学基础，如线性代数、概率论、优化理论等。 2. 掌握机器学习基础，如监督学习、无监督学习、强化学习等。 3. 深入学习深度学习，包括神经网络、卷积网络、递归网络、注意力机制等。 4. 了解自然语言处理，如语言模型、文本分类、机器翻译等。 5. 熟悉计算机视觉，如图像分类、目标检测、语义分割等。 6. 关注前沿领域，如大模型、多模态 AI、自监督学习、小样本学习等。 7. 进行科研实践，包括论文阅读、模型实现、实验设计等。 如果您的学习路径偏向应用方向，您需要： 1. 具备编程基础，如 Python、C++等。 2. 掌握机器学习基础，如监督学习、无监督学习等。 3. 熟悉深度学习框架，如 TensorFlow、PyTorch 等。 4. 了解应用领域，如自然语言处理、计算机视觉、推荐系统等。 5. 掌握数据处理，包括数据采集、清洗、特征工程等。 6. 学会模型部署，如模型优化、模型服务等。 7. 进行行业实践，包括项目实战、案例分析等。 无论是技术研究还是应用实践，数学和编程基础都是必不可少的。同时需要紧跟前沿技术发展动态，并结合实际问题进行实践锻炼。 记住，学习 AI 是一个长期的过程，需要耐心和持续的努力。不要害怕犯错，每个挑战都是成长的机会。随着时间的推移，您将逐渐建立起自己的 AI 知识体系，并能够在这一领域取得成就。完整的学习路径建议参考「通往 AGI 之路」的布鲁姆分类法，设计自己的学习路径。
2025-01-07
国内的免费文生图AI
以下是一些国内的免费文生图 AI 工具： Hidreamai：https://hidreamai.com//AiVideo ，支持文生视频、图生视频，提示词使用中文、英文都可以，文生视频支持多种控制，可生成 5s 和 15s 的视频。 ETNA：https://etna.7volcanoes.com/ ，由七火山科技开发，能根据简短文本描述生成 8 15 秒、画质达 4K 的视频，支持中文。 Dreamina：https://jimeng.jianying.com/aitool/video/generate ，在内测中，有免费额度，支持多种生成方式和控制，默认生成 3s 的视频。 可灵：https://klingai.kuaishou.com/ ，支持文生视频、图生视频，提示词可使用中文，默认生成 5s 的视频。 更多相关工具可查看：https://www.waytoagi.com/category/38 。请注意内容由 AI 大模型生成，请仔细甄别。
2025-01-07
怎么通过AIGC接单
以下是一些通过 AIGC 接单的方式和相关案例： 1. 变现渠道：包括直播带货、橱窗带货（如抖音需 1000 粉丝、托管橱窗）、商单、介绍粉丝接项目等。 2. 具体项目：如 AI 绘图十二生肖、化妆品公司产品设计、产品包装设计、海报设计、游戏背景设计、儿童绘本、AI 漫画、PFP 头像设计、AI 图片+视频（徐悲鸿教育系列 AI 内容）、AIGC+地方文旅、重庆美术馆数字人、长沙美仑美术馆数字人、玛莎拉蒂汽车宣传片、喜马拉雅微短剧等。 3. 广告：可通过平台（如抖音星图、B 站花火）接广告，也有私单。视频广告价格可自定义设置。 4. 视频挂载：如视频号挂载画小二课程，成交后返佣 299 元。 此外，还有一些与 AIGC 相关的节目形式，如节目单中的 AI 热梗串烧、AIGC 技术短片、AIGC 温情短片、原创 RAP、经典节目再现等。
2025-01-07
学习AI工具
以下是关于学习 AI 工具的相关内容： 用 AI 学习一门外语： 1. 语言学习应用： Duolingo：使用 AI 个性化学习体验，根据进度和错误调整练习内容，通过游戏化方式提供词汇、语法、听力和口语练习。下载应用，选择语言，按课程指引学习。 Babbel：结合 AI 技术提供个性化课程和练习，重点在于实际交流所需语言技能。注册账户，选择课程，按学习计划学习。 Rosetta Stone：使用动态沉浸法，通过 AI 分析学习进度，提供适合练习和反馈。注册并选择语言，使用多种练习模式学习。 2. AI 对话助手： ChatGPT：可模拟对话练习，提高语言交流能力。在聊天界面选择目标语言，与 AI 对话，询问语法、词汇等问题，模拟交流场景。 Google Assistant：支持多种语言，用于日常对话练习和词汇学习。设置目标语言，通过语音或文本输入互动，练习日常用语。 中学生学习 AI： 1. 从编程语言入手学习：如 Python、JavaScript 等，学习编程语法、数据结构、算法等基础知识。 2. 尝试使用 AI 工具和平台：如 ChatGPT、Midjourney 等，探索面向中学生的教育平台，如百度的“文心智能体平台”、Coze 智能体平台等。 3. 学习 AI 基础知识：了解基本概念、发展历程、主要技术（机器学习、深度学习等）及在各领域的应用案例。 4. 参与 AI 相关的实践项目：参加学校或社区组织的编程竞赛、创意设计大赛等，尝试解决实际问题，培养动手能力。 5. 关注 AI 发展的前沿动态：关注权威媒体和学者，思考对未来社会的影响，培养思考和判断能力。 基于 LLM 的 AI Agent： 1. 行动模块（Action）：AI Agent 有效使用工具需全面了解其应用场景和调用方法，利用 LLM 的 zeroshot learning 和 fewshot learning 能力获取工具知识。面对复杂任务，应分解子任务并有效组织协调，这依赖 LLM 的推理和规划能力及对工具的理解。 2. 使用工具：学习方法包括从 demonstration 中学习和从 reward 中学习，环境反馈包括结果反馈和中间反馈，人类反馈包括显性评价和隐性行为。 3. 具身智能：具身 Agent 强调智能系统与物理世界紧密结合，与传统深度学习模型不同，LLMbased Agent 能主动感知和理解物理环境并互动，其行为称为“具身行动”。
2025-01-07
ai编程工具
以下是一些常见的 AI 编程工具： 1. GitHub Copilot：由 GitHub 联合 OpenAI 和微软 Azure 团队推出，支持多种语言和 IDE，能为程序员快速提供代码建议，帮助更快、更少地编写代码。 2. 通义灵码：阿里巴巴团队推出，基于通义大模型，提供行级/函数级实时续写、自然语言生成代码等多种能力。 3. CodeWhisperer：亚马逊 AWS 团队推出，由机器学习技术驱动，为开发人员实时提供代码建议。 4. CodeGeeX：智谱 AI 推出的开源免费 AI 编程助手，基于 130 亿参数的预训练大模型，可快速生成代码提升开发效率。 5. Cody：代码搜索平台 Sourcegraph 推出，借助强大的代码语义索引和分析能力，了解开发者的整个代码库。 6. CodeFuse：蚂蚁集团支付宝团队为国内开发者提供的免费 AI 代码助手，基于自研的基础大模型微调。 7. Codeium：由 AI 驱动，通过提供代码建议、重构提示和代码解释帮助软件开发人员提高编程效率和准确性。 更多辅助编程 AI 产品，还可以查看这里：https://www.waytoagi.com/category/65 。每个工具的功能和适用场景可能不同，您可以根据自身需求选择最适合的工具。 2024 年，AI 编程工具领域迎来两个划时代的产品：年末爆火的编辑器 Cursor 和横空出世的 AI 工程师 Devin。Cursor 允许开发者用自然语言描述需求，能够理解整个项目的结构和依赖关系，进行跨文件的语义分析，还能提供智能的代码重构建议、自动诊断和修复常见错误，甚至基于代码自动生成文档，让开发者的注意力从语法细节转移到业务逻辑本身。 如果您要安装通义灵码 AI 编程助手，在配置 AI 插件之前，需要先安装 python 的运行环境，具体操作是：点击左上角的 FileSettingsPluginsMarketplace。安装完成插件会提示您登录，按要求注册登录即可。使用上和 Fitten 差不多。
2025-01-07
ai编程
以下是关于 AI 编程的相关内容： 1. 借助 AI 学习编程的关键：打通学习与反馈循环。从“Hello World”起点开始，验证环境、建立信心、理解基本概念，形成“理解→实践→问题解决→加深理解”的学习循环。学习建议包括使用流行语言和框架（如 React、Next.js、TailwindCSS），先运行再优化，小步迭代，一次解决一个小功能，借助 AI 生成代码后请求注释或解释以帮助理解代码，遇到问题时采取复现、精确描述、回滚的步骤。同时要明确 AI 是强大的工具，但仍需人工主导，掌握每次可运行的小成果才能实现持续提升。原文链接： 2. 麦橘 0 基础跨界 AI 编程共学活动：麦橘是哲学专业模型师，此次跨界教学。活动从上星期开始策划未预告。麦橘展示用 AI 做小游戏，认为机制对简单小游戏很重要，还分享了自己尝试做 horror game 等的想法。使用 Poe 制作小游戏，因其性价比高且多种模型可用，支持写代码后的预览，还能教大家分享游戏。以小鸟过管道游戏为例，不懂代码也能让 AI 做游戏，通过告诉 AI 想要的效果让其调整，如降低难度等，最终做出游戏再搭排行榜成为洗脑小游戏。麦橘还介绍了增量游戏、肉鸽游戏的制作以及与 AI 交互的情况。 3. 软件 2.0 编程：在可以低成本反复评估、并且算法难以显式设计的领域，软件 2.0 日益流行。考虑整个开发生态以及如何适配这种新的编程范式时，会发现很多令人兴奋的机会。长远来看，这种编程范式拥有光明的未来，因为当开发通用人工智能（AGI）时，一定是使用软件 2.0。
2025-01-07
文生视频
以下是关于文生视频的相关信息： 文字生成视频的 AI 产品： Pika：出色的文本生成视频 AI 工具，擅长动画制作，支持视频编辑。 SVD：Stable Diffusion 的插件，可在图片基础上生成视频，由 Stability AI 开源。 Runway：老牌 AI 视频生成工具，提供实时涂抹修改视频功能，收费。 Kaiber：视频转视频 AI，能将原视频转换成各种风格的视频。 Sora：由 OpenAI 开发，可生成长达 1 分钟以上的视频。 更多文生视频的网站可查看：https://www.waytoagi.com/category/38 。内容由 AI 大模型生成，请仔细甄别。 Sora 的前世今生：官方展示 Sora 的应用包括文生视频、图生视频、视频反推、视频编辑、视频融合等。其模型推理策略中，文生视频时喂入 DiT 的是文本 embedding+全噪声 patch；视频编辑类似 SDEdit 的做法，在视频上加噪声（不全是噪声）然后逐步去噪；图生视频、视频反推、视频融合时喂入 DiT 的是文本 embedding（可选）+特定帧用给定图片的 embedding+其他帧用全噪声 patch。 PixVerse 提示词技巧：文生视频是 AI 生成视频中最直接的方式，通过输入提示词让 PixVerse 生成视频。这种方式需要对提示词有深入了解，能准确描述画面内容，提示词的基本规则可参考：。为方便创作，提供了灵感分镜、风格选择等功能帮助更快掌握文生视频。
2025-01-07
我需要找一个帮我生成数字人口播视频的AI工具
以下为您推荐一些可以生成数字人口播视频的 AI 工具： 1. 【TecCreative】 只需输入口播文案，选择期望生成的数字人形象及目标语言，即可生成数字人口播视频。操作指引：输入口播文案——选择目标语言——选择数字人角色——选择输出类型——点击开始生成。 支持多场景数字人口播配音，操作指引：输入口播文案——选择数字人角色和场景——选择输出类型——点击开始生成。 支持音频驱动多场景数字人，操作指引：上传音频链接——选择数字人角色和场景——选择输出类型——点击开始生成。 2. XiaoHu.AI 推荐的开源且适合小白用户的数字人工具 特点：一键安装包，无需配置环境，简单易用。 功能：生成数字人视频，支持语音合成和声音克隆，操作界面中英文可选。 系统兼容：支持 Windows、Linux、macOS。 模型支持：MuseTalk（文本到语音）、CosyVoice（语音克隆）。 使用步骤：下载 8G+3G 语音模型包，启动模型即可。 GitHub： 官网：
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
短视频文案提取的AI有哪些
以下是一些可用于短视频文案提取的 AI 工具和方法： 可以利用 GPT 来写文案，但需要更具体地提出需求，因为它不了解文案的前因后果、拍摄风格等。 360 浏览器的字幕提取功能可捕捉相关视频文案。 让 Kimi 和 GPT 分别对已有文案进行分析和学习，有助于让 AI 按照预期写作。在中文理解和写作能力上，Kimi 表现更突出。 完成文案创作后，可对比 Kimi 和 GPT 的结果并进行整合调整，例如让它们修改语句使其更押韵。 文案整理完后，可让 AI 输出简单的画面分镜。
2025-01-07
多模态大模型与图像、视频生成
多模态大模型与图像、视频生成相关知识如下： 多模态大模型的架构和原理：基于大圆模型，能识别页面组件结构和位置绝对值信息，并与组件、文本映射。由解码器、backbone、Generator 等部件组成，左侧多模态理解，右侧生成输出。 Stable Diffusion 模型原理：是生成模型，通过加噪和去噪实现图像的正向扩散和反向还原，解决潜在空间模型中的速度问题。其应用场景包括带货商品图生成、模特服装展示、海报生成、装修设计等。 吉梦 AI 和吐司平台的使用体验：吉梦 AI 提供 AI 视频生成等能力，通过简单提示词生成图像，对数字体有专项场景训练；吐司是类似的在线生成平台，具备多种 AI 能力，有模型、在线训练、上传模型工作流等功能，可通过输入提示词生成图片。 模型训练：训练模型需要大量图像数据和标签化处理。 AI 视频生成原理：主要基于 Sara 的整体架构，采用 diffusion Transformer 架构，以扩散模型通过随机造点、加噪和去噪得到连续图像帧，输入视频可看成若干帧图片，经处理后生成视频。 模态生成器 MG_X 一般用于生成不同的模态来输出。当前的工作一般使用现成的扩大模型（Latent diffusion model），例如 Stable Diffusion 用于图像生成，Zeroscope 用于视频生成，AudioLDM2 用于音频生成。 多模态模型的技术架构：如果模型既支持 3D 生成，又支持视频生成，就可以实现图文编辑以及具有强一致性的视频生成。Open AI 可能会尝试把图片、视频、3D 变为一个自然空间，Google 的 VideoPoet 已在这个方向上有尝试，但分辨率不够高。Transformer 架构的多模态模型给机器提供了像人类一样与世界互动的新机会，杨立昆（Yann LeCun）提出的世界模型可能是近一年值得关注的研究点。
2025-01-07
视频面部替换 有什么工具推荐？
以下是为您推荐的视频面部替换工具： 1. 三思教程：https://www.xiaohongshu.com/explore/666e8bfc00000000060044aa 2. 白马少年文生图教程：https://www.xiaohongshu.com/explore/6669d3c9000000000e0300fb 3. 阿米的 VB 工作流拆解：https://www.xiaohongshu.com/explore/66699475000000000e0325cf 4. 红泥小火炉的 VB 工作流拆解：https://www.xiaohongshu.com/explore/66699e13000000000d00d236 5. 岳超楠：AI 教程丨教您如何用 comfyUI 修复脸部：https://www.xiaohongshu.com/explore/666be3ed0000000006004d88 6. guahunyo 老师的工作流： 7. Dreamina 图片生成功能：https://dreamina.jianying.com/aitool/image/generate ，上传深度图，选择适应画布比例并填写描述
2025-01-07