Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

2. Transformer

Answer

Transformer 是自然语言处理领域中的一种重要模型架构。以下是一些与 Transformer 相关的内容：

  • 在“皇子：LLM 经典论文速读版，看完感觉自己通透了”中，Transformer 是众多被讨论的模型之一，与 GPT-1、BERT 等一同被提及。
  • 在“Sora：大型视觉模型的背景、技术、局限性和机遇综述【官方论文】”中，从核心本质上看，Sora 是一个具有灵活采样维度的扩散变压器。
  • 在“机器之心的进化/理解 AI 驱动的软件 2.0 智能革命”中，有众多与 Transformer 相关的参考资料，如“Attention Is All You Need”论文等。
Content generated by AI large model, please carefully verify (powered by aily)

References

皇子：LLM经典论文速读版，看完感觉自己通透了

[title]皇子：LLM经典论文速读版，看完感觉自己通透了[heading2]1.Transformer[heading2]2.GPT-1[heading2]3.BERT[heading2]4.Transformer-XL[heading2]5.GPT-2[heading2]6.ERNIE[heading2]7.DistilBERT[heading2]8.T5[heading2]9.Retrieval-Augmented Generation(RAG)[heading2]10.GPT-3[heading2]11.AutoPrompt[heading2]12.Rotary Position Embedding[heading2]13.LoRA[heading2]14.Codex[heading2]15.FLAN[heading2]16.GLaM[heading2]17.WebGPT[heading2]18.Chain-of-Thought（CoT）[heading2]19.PaLM[heading2]20.InstructGPT[heading2]21.Verify Step by Step[heading2]22.LLM.int8()[heading2]23.ReAct[heading2]24.Toolformer[heading2]25.LLaMA[heading2]26.GPT-4[heading2]27.QLoRA[heading2]28.Phi-1[heading2]29.RLAIF[heading2]30.Superalignment

Sora：大型视觉模型的背景、技术、局限性和机遇综述 【官方论文】

从核心本质上看，Sora是一个具有灵活采样维度的扩散变压器[4]，如图4所示。它有三个部分：（1）时空压缩器首先将原始视频映射到潜在空间。（2）ViT然后处理标记化的潜在表示，并输出去噪的潜在表示。（3）类似CLIP[26]的条件机制接收LLM增强的用户指令和可能的视觉提示，以指导扩散模型生成风格化或主题化的视频。经过多次去噪图4：逆向工程：Sora框架概览在这一步骤中，生成视频的潜在表示被获得，然后通过相应的解码器映射回像素空间。在本节中，我们的目标是对Sora使用的技术进行逆向工程，并讨论广泛的相关工作。

机器之心的进化 / 理解 AI 驱动的软件 2.0 智能革命

Letter from Alan Turing to W Ross Ashby-Alan Mathison TuringSoftware 2.0-Andrej KarpathyThe Rise of Software 2.0-Ahmad MustaphaInfrastructure 3.0:Building blocks for the AI revolution-Lenny Pruss,Amplify PartnersWill Transformers Take Over Artificial Intelligence?-Stephen OrnesAI Revolution-Transformers and Large Language Models(LLMs)-Elad GilWhat Is a Transformer Model?-RICK MERRITT[AI时代的巫师与咒语](https://mp.weixin.qq.com/s?__biz=MzI3NDQzNTk2Mw==&mid=2247484347&idx=1&sn=ce81d3c4532660d3bbbf675f71246f48&scene=21#wechat_redirect)-Rokey ZhangGenerative AI:A Creative New World-SONYA HUANG,PAT GRADY AND GPT-3What Real-World AI From Tesla Could Mean-CleanTechNicaA Look at Tesla's Occupancy Networks-Think AutonomousBy Exploring Virtual Worlds,AI Learns in New Ways-Allison WhittenSelf-Taught AI Shows Similarities to How the Brain Works-Anil AnanthaswamyHow Transformers Seem to Mimic Parts of the Brain-Stephen OrnesAttention Is All You Need-PAPER by Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N.Gomez,Lukasz Kaiser,Illia PolosukhinOn the Opportunities and Risks of Foundation Models-PAPER by CRFM&HAI of Stanford UniversityMaking Things Think-BOOK by Giuliano GiacagliaA Thousand Brains（中文版：千脑智能）-BOOK by Jeff Hawkins

Others are asking
目前我在帮助出版社改教材，以下是步骤：1.将pdf转为word 2.将公式图片转为公式编辑器中可编辑的公式 3.将相关带29章的文本统一改成23章。哪一步可以借助ai更简便
在您所描述的这三个步骤中，将公式图片转为公式编辑器中可编辑的公式这一步骤可以借助 AI 来更简便地完成。目前有一些 AI 工具和技术能够对图片中的公式进行识别和转换，提高工作效率。但需要注意的是，AI 转换可能存在一定的误差，仍需要人工进行检查和修正。
2024-12-05
如果想创建一个指导高中孩子学习的老师的智能体，我有几个问题：1. 是弄一个全科的智能体还是每门科单独弄一个智能体？ 2. 国产哪家的AI产品弄这种智能体比较适合？也就是说回答100%能够正确，不会瞎说； 3.你有什么建议？
对于创建指导高中孩子学习的老师的智能体，以下是一些建议： 1. 关于是创建全科智能体还是每门科单独创建智能体，这取决于您的具体需求和使用场景。如果您希望能够全面、综合地指导学生的学习，全科智能体可能更合适；但如果您想要针对每门学科进行更深入、专业的指导，那么每门科单独创建智能体可能效果更好。 2. 目前国产的 AI 产品中，很难说哪一家 100%能够保证回答正确且不会瞎说。不同的产品在不同的领域和场景中可能表现各异。您可以考虑一些在教育领域有一定口碑和应用案例的产品，并进行充分的测试和评估。 3. 以下是一些创建智能体的建议： 明确智能体的职责和功能，例如是主要进行课程规划、生成测验还是提供学习指导等。 为智能体提供详细准确的提示词，清晰地描述其任务和目标。 像导演一样，将复杂的任务拆分成科学合理的步骤，并确保每个步骤的结果能为后续步骤提供基础。 对于生成的内容，要进行检查和优化，不断调整和改进智能体的表现。 此外，您还可以参考一些相关的提示词库，例如沃顿商学院给教师和学生的提示词库，其中包含了结构化题型设计师和测验生成器等方面的内容。同时，很多 AI 网站都支持创建智能体，您可以为其配置提示词、知识库和能力等。
2024-11-21
如果想创建一个指导高中孩子学习的老师的智能体，我有几个问题：1. 是弄一个全科的智能体还是每门科单独弄一个智能体？ 2. 哪家的AI产品弄这种智能体比较适合？也就是说回答100%能够正确，不会瞎说； 3.你有什么建议？
对于创建指导高中孩子学习的老师的智能体，以下是一些建议： 1. 关于是创建全科智能体还是每门科单独创建智能体，这取决于您的具体需求和使用场景。如果您希望能够全面、综合地指导学生的学习，全科智能体可能更合适；但如果您想要针对每门学科进行更深入、专业的指导，那么每门科单独创建智能体可能效果更好。 2. 目前在创建这种智能体方面，一些常见的 AI 产品如 GPT4、Gemini 等都可以考虑。然而，要确保回答 100%正确且不会瞎说是具有一定难度的，因为 AI 的回答仍然受到数据和算法的限制。 3. 以下是一些额外的建议： 参考沃顿商学院给教师和学生的提示词库，例如其中的结构化题型设计师和测验生成器的相关提示。 像导演一样，将创建智能体的任务拆解成科学合理的步骤，明确每个步骤的目标和结果。 注意提示语的逻辑，将复杂任务拆分成多个相互关联的步骤，使前一步的结果成为后一步的基础。 很多 AI 网站都支持创建智能体，您可以根据配置信息、知识库和能力配置等来自行定制。
2024-11-21
你是一名课程开发专家，现在要以“AI技术在课程设计中的应用“为题展开培训，课程对象是企业内部培训师，时长1天。 课程要解决以下问题： 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 1.需要到三级大纲。 2、结构完整。 格式如下: 一、（一级大纲） 1、（二级大纲） 1.1（三级大纲）
一、AI 技术在课程设计中的应用 1、AI 工具与需求数据统计 1.1 Chat Excel 处理数据 1.2 让 AI 辅助编写苹果系统右键“快速操作”实现一键视频压缩、加速 1.5x 1.3 让 AI 辅助编写苹果“自动操作”实现批量统计学生作业字数 2、AI 工具与课程题目设计 3、AI 工具与课程大纲设计 4、AI 工具与 PPT 制作 5、AI 工具与配图绘制 二、生成式人工智能在教学中的应用 1、生成式人工智能的基本原理 1.1 文生文 1.2 文生图 1.3 文生音频 1.4 文生视频 2、生成式人工智能的最少必要知识 2.1 生成式 AI 原理 2.2 能力范围 2.3 性能参数 3、人工智能的学习方式 3.1 监督学习 3.2 无监督学习 3.3 强化学习 4、生成式人工智能的应用案例 4.1 根据消费者购买行为偏好分组 4.2 手机相册里的人脸识别分类 4.3 根据房屋特征面积预测价格 4.4 垃圾短信检测分类 4.5 汽车自动驾驶或路径规划导航 4.6 高级游戏人机对弈 5、AI 与教育的关系 5.1 AI 辅助教师的一天 5.2 各大模型之间的使用差异 5.3 教师使用 AI 小技巧
2024-10-28
你是一名课程开发专家，现在要以“AI技术在课程设计中的应用“为题展开培训，课程对象是企业内部培训师，时长1天。 课程要解决以下问题： 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 需要到三级大纲。 2、结构完整。 格式如下: 一级大纲) 二级大纲) (三级大纲)
以下是以“AI 技术在课程设计中的应用”为题，为企业内部培训师设计的一天培训课程大纲： 一级大纲) AI 技术在课程设计中的应用概述 二级大纲) AI 技术的基本概念与分类 三级大纲) 监督学习 三级大纲) 无监督学习 三级大纲) 强化学习 三级大纲) 生成式 AI 二级大纲) AI 技术的应用领域与案例 三级大纲) 根据消费者购买行为偏好分组 三级大纲) 手机相册里的人脸识别分类 三级大纲) 根据房屋特征面积预测价格 三级大纲) 垃圾短信检测分类 三级大纲) 汽车自动驾驶或路径规划导航 三级大纲) 高级游戏人机对弈 一级大纲) AI 工具在课程设计中的具体应用 二级大纲) 用 AI 工具做需求数据统计 三级大纲) Chat Excel 处理 Excel 数据 三级大纲) 让 AI 辅助编写苹果系统右键“快速操作”实现一键视频压缩、加速 1.5x 三级大纲) 让 AI 辅助编写苹果“自动操作”实现批量统计学生作业字数 二级大纲) 用 AI 工具设计课程题目 三级大纲) 基于数据分析生成题目 三级大纲) 利用自然语言处理优化题目表述 二级大纲) 用 AI 工具设计课程大纲 三级大纲) 依据需求分析生成大纲框架 三级大纲) 完善大纲细节与逻辑 二级大纲) 用 AI 工具制作 PPT 三级大纲) 内容排版与布局设计 三级大纲) 图表与图片的生成与插入 二级大纲) 用 AI 工具画配图 三级大纲) 选择合适的 AI 绘画工具 三级大纲) 明确配图需求与风格 一级大纲) 相关法规与注意事项 二级大纲) 国家互联网信息办公室等七部门的相关规定 三级大纲) 《生成式人工智能服务管理暂行办法》的解读 一级大纲) 总结与交流 二级大纲) 课程设计实践经验分享 二级大纲) 问题答疑与交流互动
2024-10-28
你是一名课程开发专家，现在要以“AI技术在课程设计中的应用“为题展开培训，课程对象是企业内部培训师，时长1天。 课程要解决以下问题： 1.用AI工具做需求数据统计 2.用AI工具设计课程题目 3.用AI工具设计课程大纲。4.用AI工具制作PPT5.用AI工具画配图。 要求如下: 需要到三级大纲。 2、结构完整。 格式如下: 一级大纲) 二级大纲) (三级大纲)
一级大纲) AI 技术在课程设计中的应用 二级大纲) 用 AI 工具做需求数据统计 利用 Chat Excel 处理 Excel 数据，如批量统计学生作业字数 二级大纲) 用 AI 工具设计课程题目 无 二级大纲) 用 AI 工具设计课程大纲 无 二级大纲) 用 AI 工具制作 PPT 无 二级大纲) 用 AI 工具画配图 无 二级大纲) 生成式人工智能的相关知识 生成式人工智能的基本原理、能力范围、性能参数 二级大纲) 人工智能的学习方式 监督学习、无监督学习、强化学习 二级大纲) AI 的应用场景 根据消费者购买行为偏好分组、手机相册里的人脸识别分类、根据房屋特征面积预测价格、垃圾短信检测分类、汽车自动驾驶或路径规划导航、高级游戏人机对弈
2024-10-28
如何深入浅出的讲解Transformer
Transformer 的工作流程可以通过一个简单的例子来解释，比如将英文句子“I am a student”翻译成中文： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，如将“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，让模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，一是多头注意力机制（MultiHead Attention）用于捕捉单词间的依赖关系，二是前馈神经网络（FeedForward NN）对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 此外，aaronxic 从自己实际入坑的经验出发，总结梳理了新手友好的 transformer 入坑指南，计划从以下五个方面进行介绍： 1. 算法 1：NLP 中的 transformer 网络结构。 2. 算法 2：CV 中的 transformer 网络结构。 3. 算法 3：多模态下的 transformer 网络结构。 4. 训练：transformer 的分布式训练。 5. 部署：transformer 的 tvm 量化与推理。 同时，aaronxic 还针对 perplexity 指标进行了介绍，会先从大家熟悉的 entropy 指标开始，逐步介绍针对自然语言的改进版 Ngram Entropy 指标，最后介绍基于此改进的 perplexity 指标。
2024-12-27
transformer
Transformer 是一种深度学习模型，其核心思想是“Attention is all you need”。以下为您详细介绍其工作流程： 假设我们有一个英文句子“I am a student”需要翻译成中文。 1. 输入嵌入（Input Embeddings）：首先，将每个单词映射为一个向量，即单词嵌入（word embeddings）。例如“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有递归或卷积等捕获序列顺序的结构，所以需要给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分： 多头注意力机制（MultiHead Attention）：捕捉单词间的依赖关系。 前馈神经网络（FeedForward NN）：对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。例如生成单词“我”“是”等概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 主要用于处理序列数据，包括现在最火的 NLP 任务。与之前的模型不同，Transformer 完全基于注意力机制，不使用传统的循环神经网络（RNN）或卷积神经网络（CNN）的计算架构。它可以用来翻译文本、写诗、写文章，甚至生成计算机代码。像 GPT3、BERT、T5 等功能强大的自然语言处理（NLP）模型都是基于 Transformer 模型构建的。如果您想在机器学习，特别是自然语言处理方面与时俱进，对 Transformer 有一定的了解是很有必要的。
2024-12-27
transformer的原理
Transformer 模型是一种基于注意力机制的深度学习模型，由 Vaswani 等人在论文《Attention is All You Need》中提出，用于处理序列到序列的任务，如机器翻译、文本摘要等。其原理主要包括以下几个关键点： 1. 自注意力机制：能够同时考虑输入序列中所有位置的信息，而不是像循环神经网络或卷积神经网络一样逐个位置处理。通过自注意力机制，模型可以根据输入序列中不同位置的重要程度，动态地分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码：由于自注意力机制不考虑输入序列的位置信息，为了使模型能够区分不同位置的词语，Transformer 模型引入了位置编码。位置编码是一种特殊的向量，与输入词向量相加，用于表示词语在序列中的位置信息。位置编码通常是基于正弦和余弦函数计算得到的固定向量，可以帮助模型学习到位置信息的表示。 3. 多头注意力机制：通过引入多头注意力机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接和层归一化：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间都引入了残差连接，并对输出进行层归一化。残差连接可以缓解梯度消失和梯度爆炸问题，使得模型更容易训练和优化；层归一化可以加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络：在每个注意力子层之后，Transformer 模型还包含了位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立地进行计算，提高了模型的并行性和计算效率。 通过以上关键点，Transformer 模型能够有效地捕捉输入序列中的长距离依赖关系，并在各种序列到序列的任务中取得了优异的性能。 请注意，以上内容由 AI 大模型生成，请仔细甄别。
2024-11-22
什么是Transformers
Transformer 是一种注意力模型，也被称为变形金刚模型。它源于 Google 团队在 2017 年发布的一篇名为《Attention Is All You Need》的论文。 语言建模多年来不断发展，在 2015 年注意力机制兴起，Transformers 模型就是基于此。 Transformer 具有以下特点： 基于注意力机制，能更好地捕捉序列中的长程依赖关系。 是一种使用注意力机制的编码器解码器模型，可以利用多元化的优势，同时处理大量数据。 其架构由编码器和解码器组成，编码器对输入序列进行编码并传递给解码器，解码器解码相关任务的表示。 尽管 Transformers 之前的模型能将单词表示为向量，但这些向量不包含上下文，而 Transformer 能解决此问题。 生成式人工智能的力量来自于使用了 Transformers，其核心思想是“自注意力机制”，能让模型在处理一个词或短语时，同时考虑到与它相关的其他词或短语的信息，从而更好地理解语言的上下文，更准确地进行翻译或生成文本。但 Transformers 也可能产生幻觉，即模型生成无意义或语法错误的单词或短语。 通过海量的训练学习，大型的神经网络模型（如 Transformer ）中存储了大量知识，可通过文字生成展现。像 ChatGPT 这样基于 Transformer 的模型在闲聊中能表现出更多世界知识和一定推理能力，能更好地理解人类语言含义和上下文，生成更自然流畅的语言表达。Character.ai 也在研发自己类似于 ChatGPT 的预训练大型语言模型。
2024-10-30
transformer原理详解
Transformer 模型的原理主要包括以下几个方面： 1. 自注意力机制（SelfAttention Mechanism）：能够同时考虑输入序列中所有位置的信息，而非像循环神经网络或卷积神经网络那样逐个位置处理。通过该机制，模型可根据输入序列中不同位置的重要程度，动态分配注意力权重，从而更好地捕捉序列中的关系和依赖。 2. 位置编码（Positional Encoding）：由于自注意力机制不考虑输入序列的位置信息，为使模型能够区分不同位置的词语，引入位置编码。位置编码是一种特殊向量，与输入词向量相加，用于表示词语在序列中的位置信息，通常基于正弦和余弦函数计算得到固定向量，帮助模型学习位置信息的表示。 3. 多头注意力机制（MultiHead Attention）：通过引入该机制，可以并行地学习多个注意力表示，从不同的子空间中学习不同的特征表示。每个注意力头都是通过将输入序列线性变换成查询、键和值向量，并计算注意力分数，然后将多个头的输出拼接在一起得到最终的注意力表示。 4. 残差连接（Residual Connection）和层归一化（Layer Normalization）：在每个子层（SelfAttention 层和前馈神经网络层）的输入和输出之间引入残差连接，并对输出进行层归一化。残差连接可缓解梯度消失和梯度爆炸问题，使模型更易训练和优化；层归一化能加速训练过程，并提高模型的泛化能力。 5. 位置感知前馈网络（Positionwise FeedForward Networks）：在每个注意力子层之后，包含位置感知前馈网络，它是一个两层的全连接前馈神经网络，用于对注意力表示进行非线性转换和映射。位置感知前馈网络在每个位置独立计算，提高了模型的并行性和计算效率。 此外，用一个简单的例子解释其工作流程：假设要将英文句子“I am a student”翻译成中文。 1. 输入嵌入（Input Embeddings）：首先将每个单词映射为一个向量，即单词嵌入。 2. 位置编码（Positional Encodings）：给每个词位置加上位置编码，使模型知道词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制捕捉单词间的依赖关系，前馈神经网络对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。
2024-10-18
transformer
Transformer 的工作流程如下： 1. 输入嵌入（Input Embeddings）：将每个单词映射为一个向量，例如将“I”映射为一个 512 维的向量。 2. 位置编码（Positional Encodings）：由于 Transformer 没有捕获序列顺序的结构，需给每个词位置加上位置编码，让模型知晓词语的相对位置。 3. 编码器（Encoder）：输入序列的嵌入向量和位置编码相加后被送入编码器层。编码器由多个相同的层组成，每层有两个核心部分，即多头注意力机制（MultiHead Attention）捕捉单词间的依赖关系，以及前馈神经网络（FeedForward NN）对 attention 的结果进行进一步编码。 4. 解码器（Decoder）：编码器的输出被送入解码器层。解码器也是由多个相同层组成，每层除了编码器组件外，还有一个额外的注意力模块，对编码器的输出序列建模依赖关系。 5. 输出嵌入（Output Embeddings）：解码器最后一层的输出被映射为输出单词概率分布，例如生成单词“我”“是”等的概率。 6. 生成（Generation）：基于概率分布，以贪婪或 beam search 等解码策略生成完整的输出序列。 Transformer 具有诸多优势，例如可以非常有效地并行化，这意味着只要有合适的硬件，就能训练出非常大的模型。像 GPT3 这样令人印象深刻的文本生成模型，其写作能力几乎与人类相当，就是在 45TB 的文本数据上训练而成的。Transformer 使神经网络能够更高效地理解和生成语言，通过并行分析散文块，找出值得关注的元素，极大地优化了生成连贯文本以响应提示的过程。最终，同样的技术还可以生成图像甚至视频。
2024-10-18