Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

如何深入浅出的讲解Transformer

Answer

Transformer 的工作流程可以通过一个简单的例子来解释，比如将英文句子“I am a student”翻译成中文：

  1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，如将“I”映射为一个 512 维的向量。
  2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，让模型知道词语的相对位置。
  3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（Multi-Head Attention）用于捕捉单词间的依赖关系，二是前馈神经网络（Feed-Forward NN）对 attention 的结果进行进一步编码。
  4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。
  5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。
  6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。

此外，aaronxic 从自己实际入坑的经验出发，总结梳理了新手友好的 transformer 入坑指南，计划从以下五个方面进行介绍：

  1. 算法 1：NLP 中的 transformer 网络结构。
  2. 算法 2：CV 中的 transformer 网络结构。
  3. 算法 3：多模态下的 transformer 网络结构。
  4. 训练：transformer 的分布式训练。
  5. 部署：transformer 的 tvm 量化与推理。

同时，aaronxic 还针对 perplexity 指标进行了介绍，会先从大家熟悉的 entropy 指标开始，逐步介绍针对自然语言的改进版 N-gram Entropy 指标，最后介绍基于此改进的 perplexity 指标。

Content generated by AI large model, please carefully verify (powered by aily)

References

问：能通过简单易懂的方法跟我讲一下 transform 的工作流程吗？

当然可以，让我用一个简单的例子来解释一下Transformer的工作流程：假设我们有一个英文句子"I am a student"需要翻译成中文。Transformer的工作方式如下：1.输入嵌入（Input Embeddings）首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如"I"映射为一个512维的向量。2.位置编码（Positional Encodings）因为Transformer没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。3.编码器（Encoder）输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分：a）多头注意力机制（Multi-Head Attention）捕捉单词间的依赖关系。b）前馈神经网络（Feed-Forward NN）对attention的结果进行进一步编码。4.解码器（Decoder）编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。5.输出嵌入（Output Embeddings）解码器最后一层的输出被映射为输出单词概率分布。例如生成单词"我"、"是"等概率。6.生成（Generation）基于概率分布，以贪婪或beam search等解码策略生成完整的输出序列。

（1）Perplexity指标究竟是什么?

大家好，我是aaronxic，大家可以叫我小A。最近由于项目需要开始关注transformer相关的进展，结果眼花缭乱的工作让大脑计算存储都严重溢出。围绕transformer相关的进展日新月异，难怪陆奇都说都有点赶不上大模型时代的狂飙速度。网上不乏大量优秀文章介绍transformer的方方面面，观点非常有insight，分析也极尽的详实。但是从新手角度看仍然希望有这样的transformer上手资料内容覆盖相对较全。能把transformer相关的算法、训练和部署方法一齐串讲，让新手快速建立该领域的know-how详略得当，兼顾bottom-up和top-down。对容易被大部分文章忽略的细节bottom-up详细理清逻辑链，对大量看似独立但又相互关联的知识进行top-down梳理。笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。本系列计划从以下五个方面对transformer进行介绍算法1:NLP中的transformer网络结构算法2:CV中的transformer网络结构算法3:多模态下的transformer网络结构训练:transformer的分布式训练部署:transformer的tvm量化与推理由于笔者小A并没有亲手撸过上述内容的所有细节，大部分是通过研究代码和精读优秀文章的方式总结而来，本质上是个拾人牙慧的知识搬运工，所以终究是纸上谈兵。因此希望各方有实际经验的大佬猛锤，思维碰撞才生火花，真理越辩越明。每个方面可能由若干篇文章组成，如果对某些部分感兴趣可以关注小A，后续会逐步更新相应章节。接下来是本系列的第一篇，侧重介绍NLP中最常用的perplexity指标究竟是什么含义本文会先从大家熟悉的entropy指标开始，逐步介绍针对自然语言的改进版N-gram Entropy指标，最后介绍基于此改进的perplexity指标。

aaronxic的Transformer 101系列

|标题|备注|作者|链接|发布日期|附件(1)|单选||-|-|-|-|-|-|-||Perplexity指标究竟是什么?|笔者小A从自己实际入坑的经验出发，尝试总结梳理出新手友好的transformer入坑指南。一方面能倒逼自己理清知识脉络，另一方面希望能让后面的新同学少走弯路，更快拿到自己想要的知识。<br>本系列计划从以下五个方面对transformer进行介绍<br>算法1:NLP中的transformer网络结构<br>算法2:CV中的transformer网络结构<br>算法3:多模态下的transformer网络结构<br>训练:transformer的分布式训练<br>部署:transformer的tvm量化与推理|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（1）Perplexity指标究竟是什么?](https://ywh1bkansf.feishu.cn/wiki/E1pjwy9OMirKTdkFQDEcDDlfnTh)|2023/07/05||||初探LLM基座模型|本篇内容主要介绍LLM基座模型里常见的3种transformer架构，encoder-only，encoder-decoder和decoder-only|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（2）初探LLM基座模型](https://ywh1bkansf.feishu.cn/wiki/UU9pwtOFtiKIqAkQiSVc3Zdun7e)|2023/07/06||||ChatBot是怎么炼成的?|本文介绍了LLM基座大模型下游应用ChatBot的研发过程。在介绍ChatBot之前，作者先介绍了LLM在辅助编程方面的应用，主要包括Codex和AlphaCode两个奠基性工作。Codex提出了编程数据集和pass@k指标，并采用了2阶段训练方式。文章还介绍了Codex的局限性和辅助编程问题定义。|[aaronxic](https://www.zhihu.com/people/aaronxic)|[（3）ChatBot是怎么炼成的?](https://ywh1bkansf.feishu.cn/wiki/HRnLw588DiTDLPkSTXCcKit8nbD)|2023/07/08|||[heading1]子页面目录

Others are asking
2. Transformer
Transformer 是自然语言处理领域中的一种重要模型架构。以下是一些与 Transformer 相关的内容： 在“皇子：LLM 经典论文速读版，看完感觉自己通透了”中，Transformer 是众多被讨论的模型之一，与 GPT1、BERT 等一同被提及。 在“Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】”中，从核心本质上看，Sora 是一个具有灵活采样维度的扩散变压器。 在“机器之心的进化/理解 AI 驱动的软件 2.0 智能革命”中，有众多与 Transformer 相关的参考资料，如“Attention Is All You Need”论文等。
2024-12-27
transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”。以下为您详细介绍其工作流程： 假设我们有一个英文句子“I am a student”需要翻译成中文。 1. 输入嵌入（Input Embeddings）：首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 主要用于处理序列数据，包括现在最火的 NLP 任务。与之前的模型不同，Transformer 完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。它可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 GPT3、BERT、T5 等功能强大的自然语言处理（NLP）模型都是基于 Transformer 模型构建的。如果您想在机器学习，特别是自然语言处理方面与时俱进，对 Transformer 有一定的了解是很有必要的。
2024-12-27
transformer的原理
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而不是像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可以根据输入序列中不同位置的重要程度，动态地分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为了使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常是基于正弦和余弦函数计算得到的固定向量，可以帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可以缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可以加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 通过以上关键点，Transformer 模型能够有效地捕捉输入序列中的长距离依赖关系，并在各种序列到序列的任务中取得了优异的性能。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-11-22
什么是Transformers
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的一篇名为《Attention Is All You Need》的论文。 语言建模多年来不断发展，在 2015 年注意力机制兴起，Transformers 模型就是基于此。 Transformer 具有以下特点： 基于注意力机制，能更好地捕捉序列中的长程依赖关系。 是一种使用注意力机制的编码器解码器模型，可以利用多元化的优势，同时处理大量数据。 其架构由编码器和解码器组成，编码器对输入序列进行编码并传递给解码器，解码器解码相关任务的表示。 尽管 Transformers 之前的模型能将单词表示为向量，但这些向量不包含上下文，而 Transformer 能解决此问题。 生成式人工智能的力量来自于使用了 Transformers，其核心思想是“自注意力机制”，能让模型在处理一个词或短语时，同时考虑到与它相关的其他词或短语的信息，从而更好地理解语言的上下文，更准确地进行翻译或生成文本。但 Transformers 也可能产生幻觉，即模型生成无意义或语法错误的单词或短语。 通过海量的训练学习，大型的神经网络模型（如 Transformer ）中存储了大量知识，可通过文字生成展现。像 ChatGPT 这样基于 Transformer 的模型在闲聊中能表现出更多世界知识和一定推理能力，能更好地理解人类语言含义和上下文，生成更自然流畅的语言表达。Character.ai 也在研发自己类似于 ChatGPT 的预训练大型语言模型。
2024-10-30
transformer原理详解
Transformer 模型的原理主要包括以下几个方面： 1. 自注意力机制（SelfAttention Mechanism）：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络那样逐个位置处理。通过该机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码（Positional Encoding）：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，引入位置编码。位置编码是一种特殊向量，与输入词向量相加，用于表示词语在序列中的位置信息，通常基于正弦和余弦函数计算得到固定向量，帮助模型学习位置信息的表示。 3. 多头注意力机制（MultiHead Attention）：通过引入该机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接（Residual Connection）和层归一化（Layer Normalization）：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间引入残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使模型更易训练和优化；层归一化能加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络（Positionwise FeedForward Networks）：在每个注意力子层之后，包含位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立计算，提高了模型的并行性和计算效率。 此外，用一个简单的例子解释其工作流程：假设要将英文句子“I am a student”翻译成中文。 1. 输入嵌入（Input Embeddings）：首先将每个单词映射为一个向量，即单词嵌入。 2. 位置编码（Positional Encodings）：给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制捕捉单词间的依赖关系，前馈神经网络对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。
2024-10-18
transformer
Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有捕获序列顺序的结构，需给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制（MultiHead Attention）捕捉单词间的依赖关系，以及前馈神经网络（FeedForward NN）对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 具有诸多优势，例如可以非常有效地并行化，这意味着只要有合适的硬件，就能训练出非常大的模型。像 GPT3 这样令人印象深刻的文本生成模型，其写作能力几乎与人类相当，就是在 45TB 的文本数据上训练而成的。Transformer 使神经网络能够更高效地理解和生成语言，通过并行分析散文块，找出值得关注的元素，极大地优化了生成连贯文本以响应提示的过程。最终，同样的技术还可以生成图像甚至视频。
2024-10-18
stable diffusion通俗讲解
Stable Diffusion 是由 Stability AI 和 LAION 等公司共同开发的生成式模型，参数量约 1B，可用于文生图、图生图、图像 inpainting、ControlNet 控制生成、图像超分等任务。 文生图任务是将一段文本输入模型，经过一定迭代次数生成符合描述的图片。例如输入“天堂，巨大的，海滩”，模型生成美丽沙滩图片。 图生图任务在输入文本基础上再输入一张图片，模型根据文本提示重绘输入图片使其更符合描述，如在沙滩图片上添加“海盗船”。 输入的文本信息需通过 CLIP Text Encoder 模型这一“桥梁”转换为机器数学信息，该模型将文本信息编码生成 Text Embeddings 特征矩阵用于控制图像生成。 初始 Latent Feature 经过图像解码器重建是纯噪声图片，而经过 SD 的“图像优化模块”处理后再重建是包含丰富内容的有效图片。UNet 网络+Schedule 算法的迭代去噪过程的每一步结果用图像解码器重建，可直观感受从纯噪声到有效图片的全过程。 以下是 Stable Diffusion 模型工作的完整流程总结及前向推理流程图。 此外，关于 Stable Diffusion 还有系列资源，包括从 0 到 1 读懂其核心基础原理、训练全过程，核心网络结构解析，搭建使用模型进行 AI 绘画的多种方式，经典应用场景，以及上手训练自己的 AI 绘画模型等内容。
2024-12-17
制作AI视频流程详细的讲解
以下是用 AI 把小说做成视频的详细流程： 1. 小说内容分析：使用 AI 工具（如 ChatGPT）分析小说内容，提取关键场景、角色和情节。 2. 生成角色与场景描述：根据小说内容，使用工具（如 Stable Diffusion 或 Midjourney）生成角色和场景的视觉描述。 3. 图像生成：使用 AI 图像生成工具根据描述创建角色和场景的图像。 4. 视频脚本制作：将提取的关键点和生成的图像组合成视频脚本。 5. 音频制作：利用 AI 配音工具（如 Adobe Firefly）将小说文本转换为语音，添加背景音乐和音效。 6. 视频编辑与合成：使用视频编辑软件（如 Clipfly 或 VEED.IO）将图像、音频和文字合成为视频。 7. 后期处理：对生成的视频进行剪辑、添加特效和转场，以提高视频质量。 8. 审阅与调整：观看生成的视频，根据需要进行调整，比如重新编辑某些场景或调整音频。 9. 输出与分享：完成所有编辑后，输出最终视频，并在所需平台上分享。 请注意，具体的操作步骤和所需工具可能会根据项目的具体需求和个人偏好有所不同。此外，AI 工具的可用性和功能也可能会随时间而变化，建议直接访问上述提供的工具网址获取最新信息和使用指南。 另外，作为小白参与制作 AI 动画短片的流程如下： 1. 项目规划：确定短片主题和目标观众，制定详细的制作计划。 2. 剧本创作：编写故事脚本，设计角色和场景以及创意。 3. 分镜头脚本：根据脚本制作分镜头脚本，确定每个镜头的画面和动作。 4. 资源准备：准备动画制作所需的素材，包括背景、角色和音效。 5. 画面图片制作：利用 AI 出图工具，比如通过 ChatGPT、MJ、SD 等工具快速生成高质量的图片。 6. 视频制作：利用 AI 工具制作动画，通过 RUNWAY、Luma、Dreamina 等平台快速生成高质量的动画。 7. 后期剪辑：添加音效、配音和字幕，进行最终的剪辑和合成。 8. 发布和推广：将完成的动画短片发布到各大平台，并进行推广和宣传。 还有一种每个人都可以用 10 分钟轻松制作 AI 换脸、AI 数字人视频的方法，其整体流程大致分为三步： 1. 创建视频内容：通过输入文稿内容，确定数字人播出的内容。 2. 生成数字人：通过工具，以及视频内容生产数字人形象及播放语音。 3. AI 换脸：通过 AI 工具，将数字人的脸，转换成您指定宣传的形象，以便以自己的品牌形式宣传。
2024-12-10
如何用AI总结在线视频讲解的思维导图
以下是使用 AI 总结在线视频讲解的思维导图的一般步骤： 1. 明确视频主题和重点：首先，需要清晰了解视频所围绕的核心主题以及关键要点。 2. 提取关键信息：从提供的文本中，筛选出重要的描述和关键元素，例如人物的特征、姿态、穿着等。 3. 组织信息结构：将提取的关键信息进行分类和整理，构建出初步的思维导图框架。 4. 概括主要内容：对每个分支的信息进行概括和总结，使其简洁明了。 对于您提供的这段文本，其主要描述了一个年轻男孩和年轻男人的形象及他们之间的姿态和关系。可以将其概括为“男孩与男人的形象及关系描述”这一主题，分支包括“男孩形象”（如穿着、发型、表情等）、“男人形象”（如穿着、发型、表情等）以及“两者关系”（如姿态、展现的情感等）。
2024-11-25
给我讲解李继刚老师的lisp语言的提示词
以下是李继刚老师相关的提示词信息： 在市场营销类中，李继刚老师以“最酷的老师”角色，其提示词包括： role:Cool Teacher 、profile Writer:李继刚 version:1.4 language:中文 description:你是世界上最酷的老师 、Goals 1.以一种非常创新和善解人意的方式,教给毫无常识,超级愚蠢的学生 2.既有比喻的引导,也会提供真实案例,同时还会进行哲学层面的反思 、skills 1.擅长使用简单的语言,简短而充满哲理,给人开放性的想象 2.惜字如金,不说废话 3.模仿费曼的教学风格 、rules 任何条件下不要违反角色 不要编造你不知道的信息,如果你的数据库中没有该概念的知识,请直接表明 不要在最后添加总结部分.例如"总之","所以"这种总结的段落不要输出 、workflow 1.输入:用户输入问题 2.第一轮思考和输出:a.比喻:你会在开始时使用类似卡夫卡。 在个人类中，李继刚老师同样以“最酷的老师”角色，提示词内容与上述市场营销类相似。 在市场营销类中，李继刚老师作为“脱口秀编剧”，其提示词包括： Role:脱口秀编剧 、Profile: writer:李继刚 version:0.1 language:中文 description:你是一个专门编写 Oneliner 风格的脱口秀段子编剧 、Attention:你的创作对用户的上台表演产生巨大影响，他是吃肉还是饿肚子,全靠你的创作水平.你一定可以让他获得掌声,有钱吃肉的. 、Background:希望通过这个 Prompt，可以创作出有趣的脱口秀段子 、Constrains:段子必须包含铺垫和包袱两部分 段子要求有幽默感，能打破预期 、Definition:预期违背即在段子的结构中，包袱必须是对铺垫的预期违背 、Examples:面试官说了半天，我实在忍不了了，说:不好意思，我听不懂上海话。他说:这是英文。我说:但这里是中国。他说:但你面试的是翻译。相关链接地址为 。
2024-10-23
剪映AI功能中改口型的讲解
以下是关于剪映 AI 功能中改口型的讲解： 剪映的该功能支持将本人视频中的语言翻译成中英日等语种，改变视频中的人物口型以匹配语言，并保留人物音色。它集合了语音识别、文本翻译、音色克隆、智能改口型等多个特色能力，具有效果好、音色还原度与翻译准确性较高的优点，且支持中英日三语自由切换翻译，适用场景广泛，能满足不同人群在不同短视频场景的需求。 即梦 AI 的「对口型」是「视频生成」中的二次编辑功能，现支持中文、英文配音。主要针对写实/偏真实风格化人物的口型及配音生成，用户可上传包含完整人物面容的图片进行视频生成，完成后点击预览视频下的「对口型」（嘴唇）按钮，输入台词并选择音色，或上传配音文件进行对口型效果生成。目前支持的语言为中文（全部音色）和英文（推荐「超拟真」内的音色）。
2024-08-22
你能为我讲解一下WPS的AI功能？
WPS 的 AI 功能主要体现在以下几个方面： 1. 优化 PPT 大纲：能够使 PPT 大纲的内容更加丰富和详细。 2. 快速生成 PPT：在较短时间内完成 PPT 的制作。 3. 便捷修改：可以通过与 WPS AI 交流，快速修改主题配色、字体等。 4. 添加动画：输入相应指令，为整份 PPT 添加动画效果。 金山软件于 2023 年 5 月 16 日宣布将把大模型（LLM）能力嵌入 WPS 的四大组件：表格、文字、演示、PDF，支持桌面电脑和移动设备。 但使用 WPS AI 输入大纲和要点时存在一些限制，比如只支持输入主题，不支持导入大纲，在输入主题的地方有长度限制，输入内容较多的大纲时偶尔会被重新简化。
2024-08-21