Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

AI视频

Answer

以下是关于 AI 视频的相关内容：

AI 视频短片工作流：

  1. 概念设定：MJ
  2. 剧本+分镜：ChatGPT
  3. AI 出图：MJ、SD、D3
  4. AI 视频：Runway、pika、PixVerse、Morph Studio
  5. 对白+旁白：11labs、睿声
  6. 音效+音乐：SUNO、UDIO、AUDIOGEN
  7. 视频高清化：Topaz Video
  8. 字幕+剪辑：CapCut、剪映

AI 视频生成技术发展概况： 长期以来，人们对 AI 视频技术应用的认知停留在各种“换脸”和视频特效上。随着 AI 图像领域的技术发展，AI 视频技术逐渐取得突破。从交互方式来看，当前 AI 视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像，然后构建为视频序列。也存在直接端到端生成视频的技术，无需进行多阶段处理即可生成视频，如基于 GAN、VAE、Transformer 的方法。例如微软 NUWA-XL 通过逐步生成视频关键帧，形成视频的“粗略”故事情节，然后通过局部扩散模型（Local Diffusion）递归地填充附近帧之间的内容。

AI 视频生成产品推荐： 若从生成方式分类，包含：

  1. 文生视频、图生视频（Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation）
  2. 视频生视频：又分逐帧生成（SD+Mov2Mov）、关键帧+补帧（SD+Ebsynth、Rerender A Video）、动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI）
  3. AI Avatar+语音生成：Synthesia、HeyGen AI、D-ID
  4. 长视频生短视频：Opus Clip
  5. 脚本生成+视频匹配：Invideo AI
  6. 剧情生成：Showrunner AI

若从产品阶段和可用维度分类，将按照相关维度进行产品介绍。

Content generated by AI large model, please carefully verify (powered by aily)

References

来来：AI视频短片工作流揭密

本文作者：来来联系方式：laiweb3（添加请注明AI视频）公众号/视频号/小红书/B站：来来说AI标签：20年设计师，10年大学设计老师，电商设计公司创始人10年，AI图书作者《一本书读懂AI绘画》《一本书读懂AIGC提示词》[heading2]完整文档[content][AI视频-完整工作流.pdf](https://bytedance.feishu.cn/space/api/box/stream/download/all/YJTVb6hA0oXv0vx8lgyc35Dan1c?allow_redirect=1)[heading2]AI视频工作流概述[content][heading2]详见上面的PDF[content]1、概念设定：MJ 2、剧本+分镜：ChatGPT。3、AI出图：MJ,SD,D3 4、AI视频：Runway，pika，PixVerse，Morph Studio。5、对白+旁白：11labs，睿声6、音效+音乐：SUNO,UDIO,AUDIOGEN 7、视频高清化：Topaz Video。8、字幕+剪辑：CapCut，剪映。[heading2]直播回放[content][直播回放-05月10日.mp4](https://bytedance.feishu.cn/space/api/box/stream/download/all/N0L0bGKtDoHqd1xtjwIcxfENn9e?allow_redirect=1)

AI视频生成(上) | 技术发展概况和应用场景思考

本文作者Bay，写于23.09月底，关注公众号“Bay的设计奥德赛”可接受及时推送AI生成视频发展到什么程度了，效果如何？有哪些可用的产品方案？网上炫酷的效果如何实现？AI视频的应用场景和案例有哪些？本着对以上问题的探索，我开启了AI视频系列的探索。上篇将着重介绍技术发展概况和应用场景思考。[heading2]一.技术发展概况[content]长期以来,人们对AI视频技术应用的认知停留在各种“换脸”和视频特效上。随着AI图像领域的技术发展，AI视频技术也逐渐取得了突破。本节内容结合Claude、Perplexity查询、项目论文整理而成。[heading2]1.1生成方法[content]从交互方式来看，当前AI视频生成主要可分为文本生成视频、图片生成视频、视频生成视频三种形式。一些视频生成方法是先生成静态关键帧图像,然后构建为视频序列。也存在直接端到端生成视频的技术，无需进行多阶段处理即可生成视频，如基于GAN、VAE、Transformer的方法。微软NUWA-XL：通过逐步生成视频关键帧，形成视频的“粗略”故事情节，然后通过局部扩散模型（Local Diffusion）递归地填充附近帧之间的内容

AI视频生成(下) | 20个产品推荐及实践教学

本文作者Bay，写于23.09月底，关注公众号“Bay的设计奥德赛”接受及时推送本篇通过产品介绍和丰富的案例实践，带你了解AI视频有哪些产品，效果如何实现。若从生成方式分类，AI视频生成包含：1.文生视频、图生视频（Runway、Pika labs、SD+Deforum、SD+Infinite zoom、SD+AnimateDiff、Warpfusion、Stability Animation）2.视频生视频：又分逐帧生成（SD+Mov2Mov）、关键帧+补帧（SD+Ebsynth、Rerender A Video）、动态捕捉（Deep motion、Move AI、Wonder Dynamics）、视频修复（Topaz Video AI）3.AI Avatar+语音生成：Synthesia、HeyGen AI、D-ID4.长视频生短视频：Opus Clip5.脚本生成+视频匹配：Invideo AI6.剧情生成：Showrunner AI若从产品阶段和可用维度分类：下面将按照上图维度进行产品介绍。

Others are asking
大模型的实际应用有哪些？Agent?AI网站
大模型的实际应用包括以下方面： 1. 在影刀 RPA+AI Power 中的应用： 集成丰富的 AI 组件及各种技能组件，拓展 AI 服务的能力边界，打造 AI Agent。例如搜索引擎组件可让 AI 接入互联网获取实时信息，RPA 组件可直接调用影刀 RPA 客户端应用实现 AI 自动化操作。 提供网页分享、对话助理、API 集成等无缝多样的使用方式，方便企业在不同业务场景下灵活选择接入方式，让内部员工、外部客户便捷地与 AI 交互。 为企业提供教学培训、技术答疑、场景共创等贴身的服务支持，帮助企业把产品用起来，把 AI 落地下去。 2. 在 Ranger 相关介绍中的应用： Agent 被认为是大模型未来的主要发展方向。 中间的“智能体”就是大模型，通过为其增加工具、记忆、行动、规划四个能力来实现。目前行业里主要用到的是 langchain 框架，在 prompt 层和工具层完成相关设计。 3. 在大圣的相关介绍中的应用： 大模型的产品类型主要有 Copilot 和 Agent 两种。 Copilot 是辅助驾驶员，在帮助用户解决问题时起辅助作用，更多地依赖于人类的指导和提示来完成任务，功能局限于给定框架内，处理流程依赖于人类确定的静态流程，主要用于处理简单、特定的任务，开发重点在于 Prompt Engineering。 Agent 是主驾驶，智能体，可以根据任务目标进行自主思考和行动，具有更高的自主性和决策能力，解决问题的流程是由 AI 自主确定的动态流程，能够处理复杂、大型的任务，在 LLM 薄弱阶段使用工具或 API 增强，开发重点在于 Flow Engineering。
2025-01-07
解释AI大模型和各种AI网站的关系
AI 大模型是一种具有大规模参数和强大能力的模型。 AI 网站通常会提供各种与 AI 相关的服务和工具，例如： 1. 提供多种 AI 生成工具，如输入简单提示词就能创作音乐的 so no 音频生成工具，能创建个人 AI 智能体的豆包，输入文本可生成播客的 Notebook LN 等。 2. 包含模型社区，为大模型提供数据、企业模型和算力服务，有按任务划分的模型库、数据集和在线应用供体验。 3. 拥有 AI 工程平台，对模型和应用有要求，像 define 是典型的工程平台，涉及数据清洗管道、数据存储和检索、编辑生成平台、构建 prompt 技巧、智能体概念、插件调用、运维平台、模型层和缓存机制等，还能接入多家大模型。 总之，AI 网站是展示和应用 AI 大模型的平台，通过这些网站，用户可以接触和使用到基于 AI 大模型开发的各种功能和服务。
2025-01-07
AI智能数据库查询助手
以下是关于您提出的“AI 智能数据库查询助手”的相关信息： 能联网检索的 AI： 存在能联网检索的 AI，它们通过连接互联网实时搜索、筛选并整合所需数据，为用户提供更精准和个性化的信息。例如： ChatGPT Plus 用户现在可以开启 web browsing 功能，实现联网功能。 Perplexity 结合了 ChatGPT 式的问答和普通搜索引擎的功能，允许用户指定希望聊天机器人在制定响应时搜索的源类型。 Bing Copilot 作为 AI 助手，旨在简化您的在线查询和浏览活动。 还有如 You.com 和 Neeva AI 等搜索引擎，提供基于人工智能的定制搜索体验，并保持用户数据的私密性。 AI 新产品｜网站精选推荐： AIHelperBot 自动生成 SQL Queries，支持数据库一键链接或导入。当前收费$5 每月，可免费试用 7 天。链接：https://skybox.blockadelabs.com/ ChartGPT by CadLabs 由 CadLabs 开发工具，基于 GPT3.5，可以根据数据生成图表并回答问题。链接：https://chartgpt.cadlabs.org/ Embedding Store 功能如其名，是一站式 Embedding Marketplace，支持公开、私有及第三方数据，用于发现、评估和访问相关的嵌入（embeddings），产品还未上线。链接：https://www.embedding.store/ AI 在医疗药品零售领域的应用： AI 在医疗药品零售领域有着多方面的应用前景： 药品推荐系统：利用机器学习算法分析用户购买记录、症状描述等数据，为用户推荐合适的非处方药品和保健品，提升销售转化率。 药品库存管理：通过分析历史销售数据、天气、疫情等因素，AI 系统可以预测未来某段时间内的药品需求量，优化药店的库存管理策略，降低成本。 药品识别与查询：借助计算机视觉技术，用户可以用手机拍摄药品图像，AI 系统自动识别药名并提供说明、用法、禁忌等信息查询服务。 客户服务智能助手：基于自然语言处理技术，AI 虚拟助手可以回答顾客关于购药、用药、保健等常见问题，减轻人工客服的工作压力。 药店运营分析：AI 可以分析药店的销售、顾客流量、库存等大数据，发现潜在的运营问题和优化空间，为决策提供参考。 药品质量监控：通过机器视觉、图像识别等技术，AI 能够自动检测药品的包装、标签、颜色等是否合格，及时发现问题。 药品防伪追溯：利用区块链等技术，AI 可以实现全流程的药品溯源，确保药品供应链的安全性和真实可信度。 总之，AI 技术在药品零售领域可以提升购药体验、优化库存管理、降低运营成本、保障药品质量安全，是一个值得重视的发展方向。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2025-01-07
AI翻译
以下是关于 AI 翻译的相关内容： 吴恩达开源了一个基于 AI 原理的翻译项目，项目地址是 https://github.com/andrewyng/translationagent 。通过该项目所采用的反思优化机制，可以显著提升 AI 翻译的质量。普通用户可在 Coze 平台上尝试复刻此项目，按照教程简单操作就能打造出属于自己的高质量 AI 翻译助手，也可直接使用已发布好的翻译器 Bot 。 吴恩达的 AI 翻译项目核心流程分为三个步骤：初始翻译、识别可优化点、对初始结果进行优化。 Coze 的 AI 应用与网页应用架构类似，包括前端页面用于用户输入或上传，数据处理端处理前端数据，处理完成的数据有展示在前端或保存到数据库/知识库供查询两种路径。搭建 Coze 的 AI 应用需关注前端页面构建、页面数据传递给工作流或插件、工作流处理数据返回前端展示这三个方面。以 AI 翻译应用为例，应掌握前端的基本结构，如页面、组件、Form 表单、Div 容器、文本框等及相关事件，还有表单向工作流传递数据、工作流数据返回前端组件展示的方法。 此外，还有骏老师关于如何用 AI 学习英语的分享，包括实战心得直播及相关文档地址。同时也提到了一些关于文案写作和自用长文本中译英 Prompt 的实例。
2025-01-07
各种AI概念
以下是关于各种 AI 概念的介绍： 基础概念： 人工智能（AI）：一种目标，让机器展现智慧，Artificial Intelligence，简称 AI。 生成式人工智能（GenAI）：一种目标，让机器产生复杂有结构的内容，Generative AI 简称 GenAI。 机器学习：一种手段，让机器自动从资料中找到公式。 深度学习：一种更厉害的手段，类神经网络 非常大量参数的函数。 大语言模型：是一类具有大量参数的“深度学习”模型，Large Language Models，简称 LLMs。 ChatGPT：一个应用实例，通过投喂大量资料预训练后，会通过聊天玩“文字接龙游戏”。英文解释：Chat 聊天，G:Generative 生成，P:Pretrained 预训练，T:Transformer 类神经网络模型。 相关概念： AIGC（Artificial Intelligence Generated Content）：是利用人工智能技术生成内容的新型生产方式，包括文本、图像、音频和视频等内容。ChatGPT 是 AIGC 技术的一个应用实例，代表了 AIGC 在文本生成领域的进展。 概念之间的关系：可参考相关图示。 区别与理解：AGI、GenAI、AIGC 几个概念的区别与理解可参考相关图示。 更多概念：可问 Kimi、通义千问、文心一言等大模型。 国内主要模型公司及地址：（未给出具体内容） AI 的应用场景： 医疗保健：医学影像分析、药物研发、个性化医疗、机器人辅助手术等。 金融服务：风控和反欺诈、信用评估、投资分析、客户服务等。 零售和电子商务：产品推荐、搜索和个性化、动态定价、聊天机器人等。 制造业：预测性维护、质量控制、供应链管理、机器人自动化等。 交通运输：（未给出具体内容）
2025-01-07
如何理解AI网站和AI大模型的关系
AI 网站和 AI 大模型之间存在着密切的关系。 首先，AI 大模型是人工智能领域的核心技术之一。它是基于深度学习等方法构建的具有大规模参数和强大能力的模型，例如能够处理自然语言、生成文本、进行语义理解等。 生成式 AI 生成的内容称为 AIGC。相关技术名词包括： 1. AI 即人工智能。 2. 机器学习是电脑找规律学习，涵盖监督学习（有标签的训练数据，学习输入和输出之间的映射关系，包括分类和回归）、无监督学习（学习的数据无标签，算法自主发现规律，如聚类）、强化学习（从反馈中学习，最大化奖励或最小化损失，类似训小狗）。 3. 深度学习参照人脑，有神经网络和神经元，因层数多被称为深度，神经网络可用于多种学习方式。 4. LLM 是大语言模型，对于生成式 AI，生成图像的扩散模型不属于大语言模型；对于大语言模型，生成只是其中一个处理任务，如谷歌的 BERT 模型可用于语义理解（如上下文理解、情感分析、文本分类），但不擅长文本生成。 技术方面，2017 年 6 月谷歌团队发表的《Attention is All You Need》论文首次提出了 Transformer 模型，它基于自注意力机制处理序列数据，比 RNN 更适合处理文本的长距离依赖性。 AI 网站通常是展示和应用 AI 大模型的平台。通过网站，用户可以与 AI 大模型进行交互，获取其提供的服务和功能，例如进行文本生成、问答、翻译等。同时，AI 网站也为 AI 大模型的推广、应用和改进提供了渠道。
2025-01-07
视频面部替换 有什么工具推荐？
以下是为您推荐的视频面部替换工具： 1. 三思教程：https://www.xiaohongshu.com/explore/666e8bfc00000000060044aa 2. 白马少年文生图教程：https://www.xiaohongshu.com/explore/6669d3c9000000000e0300fb 3. 阿米的 VB 工作流拆解：https://www.xiaohongshu.com/explore/66699475000000000e0325cf 4. 红泥小火炉的 VB 工作流拆解：https://www.xiaohongshu.com/explore/66699e13000000000d00d236 5. 岳超楠：AI 教程丨教您如何用 comfyUI 修复脸部：https://www.xiaohongshu.com/explore/666be3ed0000000006004d88 6. guahunyo 老师的工作流： 7. Dreamina 图片生成功能：https://dreamina.jianying.com/aitool/image/generate ，上传深度图，选择适应画布比例并填写描述
2025-01-07
视频换脸有什么工具推荐？
以下为您推荐一些视频换脸工具： 1. TecCreative： 操作指引：上传原始视频——上传换脸图片——点击生成。 2. Viggle（有免费额度）： 网址：http://viggle.ai discord 免费体验：https://discord.com/invite/viggle 功能： /mix:将角色图像混合到动态视频中。操作步骤：上传一张字符清晰的图片，上传一段清晰运动的视频。 /animate:使用文本运动提示为静态角色设置动画。操作步骤：上传一张字符清晰的图片，描述您想让角色做的动作（也可以从 https://viggle.ai/prompt 中复制动作提示词）。 /ideate:纯粹从文本创建角色视频。操作步骤：描述您想要创造的角色，描述您希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /character:通过文本提示创建角色并将其动画化。操作步骤：描述您想要创造的角色，从四个结果中选择一个图像，描述您希望角色执行的动作（或从 https://viggle.ai/prompt 中复制动作提示词）。 /stylize:使用文本提示符重新设计角色的样式并将其动画化。操作步骤：上传一张字符清晰的图片，描述您想改变角色的任何地方来重新塑造它，从四个结果中选择一个图像，描述您想要角色做的动作（或者从 https://viggle.ai/prompt 中复制动作提示词）。 官方提供了多种动作提示词可供参考，提示词地址：https://viggle.ai/prompt 3. 插件 ADetailer： 首先要明白插件原理是识别面部对面部进行扩散，里面可以增加 controlnet 去控制。 操作步骤： 打开 Adetailer，选择模型是关于脸部修复的，选择最常用的模型，在对应的正向提示词中添加一些面部的修饰词，也可以加 lora。 在检测一栏基本上维持默认不变，效果不好适当拉高阈值。 在蒙版处理维持默认不变。 在重绘选项卡中，关注以下参数： 重绘使用的模型、重绘使用的 VAE 以及重绘制使用的采样方式。 局部重绘制强度，推荐 0.5 左右，可自行尝试。 Controlnet，和外面用的一样也是增加控制的，选择最适合的，若用 tile 模型要适当调整权重或者调整引导于结束的步数。
2025-01-07
Video-LLaVA与多模态图像视频识别
以下是对 26 个多模态大模型的全面比较总结： 1. Flamingo：是一系列视觉语言（VL）模型，能处理交错的视觉数据和文本，并生成自由格式的文本作为输出。 2. BLIP2：引入资源效率更高的框架，包括用于弥补模态差距的轻量级 QFormer，能利用冻结的 LLM 进行零样本图像到文本的生成。 3. LLaVA：率先将 IT 技术应用到多模态（MM）领域，为解决数据稀缺问题，引入使用 ChatGPT/GPT4 创建的新型开源 MM 指令跟踪数据集及基准 LLaVABench。 4. MiniGPT4：提出简化方法，仅训练一个线性层即可将预训练的视觉编码器与 LLM 对齐，能复制 GPT4 展示的功能。 5. mPLUGOwl：提出新颖的 MMLLMs 模块化训练框架，结合视觉上下文，包含用于评估的 OwlEval 教学评估数据集。 6. XLLM：陈等人将其扩展到包括音频在内的各种模式，具有强大的可扩展性，利用 QFormer 的语言可迁移性成功应用于汉藏语境。 7. VideoChat：开创高效的以聊天为中心的 MMLLM 用于视频理解对话，为该领域未来研究制定标准，并为学术界和工业界提供协议。
2025-01-07
AI剪视频
以下是关于 AI 剪视频的相关信息： 娜乌斯嘉 AI 动画混剪：娜乌斯嘉联合很多 AI 绘画爱好者，一起出了一个混剪视频，基本包含市面上所有的 AI 绘画手段制作。 AI 视频软件教程： 视频模型：Sora（https://waytoagi.feishu.cn/wiki/S5zGwt5JHiezbgk5YGic0408nBc） 工具教程：Hedra（https://waytoagi.feishu.cn/wiki/PvBwwvN36iFob7kqZktcCzZFnxd） 应用教程： 视频转绘（https://waytoagi.feishu.cn/wiki/ZjKpwSd5hiy6ZhkiBVHcOBb6n9r） 视频拆解（https://waytoagi.feishu.cn/wiki/WeKMwHRTmiVpYjkVdYpcFjqun6b） 图片精修（https://waytoagi.feishu.cn/wiki/CfJLwknV1i8nyRkPaArcslWrnle） 几个视频 AIGC 工具： Opusclip 利用长视频剪成短视频 Raskai 短视频素材直接翻译至多语种 invideoAI 输入想法>自动生成脚本和分镜描述>生成视频>人工二编>合成长视频 descript 屏幕/播客录制>PPT 方式做视频 veed.io 自动翻译自动字幕 clipchamp 微软的 AI 版剪映 typeframes 类似 invideoAI，内容呈现文本主体比重更多 google vids 一口大饼 用 AI 把小说做成视频的制作流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。内容由 AI 大模型生成，请仔细甄别。
2025-01-07
吴恩达的视频课程链接
以下是吴恩达相关视频课程的链接： 谷歌/百度 AI 部门负责人吴恩达和 OpenAI 合作推出的免费 Prompt Engineering（提示工程师）课程： 原版网址：https://www.deeplearning.ai/shortcourses/chatgptpromptengineeringfordevelopers/ B 站版本： 【合集·AI Course哔哩哔哩】https://b23.tv/ATc4lX0 https://b23.tv/lKSnMbB 翻译版本： 推荐直接使用 Jupyter 版本学习，效率更高：https://github.com/datawhalechina/promptengineeringfordevelopers/ 视频下载地址：https://pan.quark.cn/s/77669b9a89d7 OpenAI 开源了教程：https://islinxu.github.io/promptengineeringnote/Introduction/index.html 纯文字版本： 2023 年 11 月 9 日推出的新课程《》，一共 31 集，可在 B 站观看学习。
2025-01-07
我想要学AI视频，我应该怎么做
以下是学习 AI 视频的一些建议和资源： 1. 入门教程： 您可以查看。 学习。 2. 交流群： 如需学习 AI 视频、参与 AI 视频挑战赛或参与 AI 视频提示词共创，可直接扫二维码或联系三思或小歪【备注：AI 视频学社】，但必须有 AI 视频账号才能进群，请勿随便申请好友。 3. 直播： AI 视频学社每周 1 次直播（周五直播），例如。 4. 实践建议： 从简单创作开始，如生成零散视频片段或图片进行混剪，选用现成音乐并根据节奏简单剪辑，顺道学习主流创意软件操作。 在成功产出简单作品后，尝试完成更完整的工作流，比如：选题→剧本→分镜描述→文生图→图生视频→配音配乐→剪辑后期。 此外，在 AI 视频学社，小伙伴们可以通过参与每周举办的比赛快速学习相关知识，每周有高手直播分享前沿知识，不定期组织线上或线下活动，大家一起学习最新软件和知识，学习图生视频、视频生视频等技巧。
2025-01-06