Navigate to WaytoAGI Wiki →
Home/Question List/Question Detail

卷积神经网络

Answer

卷积神经网络，也称卷积网络（术语“神经”具有误导性），使用卷积层来过滤输入以获取有用信息。卷积层具有学习的参数，能自动调整滤波器以提取对应任务的最有用信息，例如在一般目标识别中过滤对象形状信息，在鸟类识别中提取颜色信息。通常多个卷积层用于在每一层之后过滤图像以获得越来越多的抽象信息。

卷积网络通常也使用池层，以获得有限的平移和旋转不变性，还能减少内存消耗，从而允许使用更多的卷积层。

最近的卷积网络使用初始模块，它使用 1×1 卷积核来进一步减少内存消耗，同时加快计算速度。

1998 年，Yann LeCun 和他的合作者开发了 LeNet 的手写数字识别器，后来正式命名为卷积神经网络。它在前馈网中使用反向传播，被用于读取北美地区约 10％的支票。卷积神经网络可用于从手写数字到 3D 物体的与物体识别有关的所有工作。

在 ImageNet 2012 年的 ILSVRC 竞赛中，来自多个机构的先进计算机视觉小组将已有的最好计算机视觉方法应用于包含约 120 万张高分辨率训练图像的数据集。

Content generated by AI large model, please carefully verify (powered by aily)

References

深度学习（1）核心概念

卷积神经网络，或优选卷积网络或卷积网络（术语“神经”具有误导性；另请参见[人工神经元](https://developer.nvidia.com/zh-cn/blog/deep-learning-nutshell-core-concepts/#artificial-neuron)）使用卷积[层](https://developer.nvidia.com/zh-cn/blog/deep-learning-nutshell-core-concepts/#layer)（参见[卷积](https://developer.nvidia.com/zh-cn/blog/deep-learning-nutshell-core-concepts/#%E5%8D%B7%E7%A7%AF)），它过滤输入以获取有用信息。这些卷积层具有学习的参数，以便自动调整这些滤波器以提取手头任务的最有用信息（参见特征学习）。例如，在一般的目标识别任务中，过滤有关对象形状的信息（对象通常具有非常不同的形状），而对于鸟类识别任务，它更适合于提取有关鸟的颜色的信息（大多数鸟的形状相似，但颜色不同）；这里的颜色更能区分鸟类）。卷积网络会自动调整以找到这些任务的最佳特征。通常，多个卷积层用于在每一层之后过滤图像以获得越来越多的抽象信息（参见层次特征）。卷积网络通常也使用池层（见[联营](https://developer.nvidia.com/zh-cn/blog/deep-learning-nutshell-core-concepts/#%E8%81%94%E8%90%A5)），以获得有限的平移和旋转不变性（即使对象出现在不寻常的地方也能检测到）。池化还可以减少内存消耗，从而允许使用更多的卷积层。

深度学习（1）核心概念

最近的卷积网络使用初始模块（见[开端](https://developer.nvidia.com/zh-cn/blog/deep-learning-nutshell-core-concepts/#%E5%BC%80%E7%AB%AF)），它使用1×1卷积核来进一步减少内存消耗，同时加快计算速度（从而提高训练速度）。图5：一个交通标志的图像被4个5×5的卷积核过滤，生成4个特征图，这些特征图通过最大池化进行二次采样。下一层将10个5×5的卷积核应用于这些子采样图像，并再次将特征映射集中在一起。最后一层是一个完全连接的层，在这里所有生成的特征被组合并用于分类器（本质上是logistic回归）。图像由[莫里斯·皮曼](http://parse.ele.tue.nl/mpeemen)提供。附加材料：[课程：机器学习的神经网络：用神经网络识别物体](https://www.youtube.com/playlist?list=PLnnr1O8OWc6YLZzLoHzX2q5c2wWMOIUZy)。

入门 | 机器学习研究者必知的八个神经网络架构

1998年，Yann LeCun和他的合作者开发了LeNet的手写数字识别器。它在前馈网中使用反向传播，这个前馈网络不仅仅是一个识别器，它有许多隐藏层，每个层有许多复制单元的映射，汇集附近复制单元的输出，有一个即使重叠也能够同时处理几个字符的宽网，以及训练一套完整的系统的巧妙方式。后来正式命名为卷积神经网络。一个有趣的事实是：这个网络被用来读取北美地区约10％的支票。卷积神经网络可用于从手写数字到3D物体的与物体识别有关的所有工作。但是，从网下载的彩色照片中识别真实物体要比识别手写数字复杂得多。它百倍于手写数字的类别（1000：10），数百倍于手写数字的像素（256×256色：28×28灰度），是三维场景的二维图像，需要分割混乱场景，而且每个图片有多个对象。这样的情况下，相同类型的卷积神经网络会起作用吗？之后在ImageNet 2012年的ILSVRC竞赛（这个比赛被誉为计算机视觉的年度奥林匹克竞赛）中，题目是一个包含大约120万张高分辨率训练图像的数据集。测试图像不显示初始注释（没有分割或标签），算法要产生指定图像中存在什么对象的标签。来自Oxford、INRIA、XRCE等机构的先进计算机视觉小组用已有的最好计算机视觉方法应用于这个数据集。通常计算机视觉系统是复杂的多级系统，往往需要在早期阶段通过手动调参来优化。

Others are asking
卷积神经网络模型原理
卷积神经网络（CNN）通常由卷积层、池化层和全连接层叠加构成。在卷积过程中，卷积层中的卷积核依次与输入图像的像素做卷积运算来自动提取图像中的特征。卷积核尺寸一般小于图像，并以一定的步长在图像上移动得到特征图。步长设置越大，特征图尺寸越小，但过大步长会损失部分图像特征。此外，池化层作用于产生的特征图上，能保证 CNN 模型在不同形式的图像中识别出相同物体，同时减少模型对图像的内存需求，其最大特点是为 CNN 模型引入了空间不变性。
2024-12-19
卷积神经是什么
卷积神经网络是一种在机器学习和计算机视觉领域广泛应用的神经网络架构。 1998 年，Yann LeCun 和他的合作者开发了 LeNet 的手写数字识别器，后来正式命名为卷积神经网络。它可用于从手写数字到 3D 物体的与物体识别有关的所有工作。 卷积神经网络使用卷积层，它过滤输入以获取有用信息，这些卷积层具有学习的参数，能自动调整滤波器以提取最有用信息。例如，在不同任务中，会分别过滤有关对象形状或颜色等的信息。通常，多个卷积层用于在每一层之后过滤图像以获得越来越多的抽象信息。 卷积网络通常也使用池层，以获得有限的平移和旋转不变性，还能减少内存消耗，从而允许使用更多的卷积层。 在卷积过程中，卷积层中的卷积核依次与输入图像的像素做卷积运算来自动提取图像中的特征。步长设置会影响特征图尺寸，池化层能保证模型在不同形式的图像中能识别出相同物体，同时减少模型对图像的内存需求，并为模型引入空间不变性。
2024-11-22
可分离卷积
可分离卷积是卷积的一种特殊形式。在深度学习中，卷积具有多种解释和应用。 卷积可以描述信息的扩散，例如在不搅拌时牛奶在咖啡中的扩散，在量子力学中描述测量粒子位置时量子粒子在某个位置的概率，在概率论中描述互相关即重叠的两个序列的相似程度，在统计学中描述标准化输入序列上的加权移动平均值。 卷积滤波器可以被解释为特征检测器，输入针对某个特征进行过滤。图像的互相关可以通过反转核转换为卷积，内核可被解释为特征检测器，检测到特征会导致大输出，没有特征则小输出。 对于深度学习中卷积的哪种解释正确尚不明确，但目前最有用的解释是卷积滤波器作为特征检测器对输入进行过滤以解释图像的互相关。 相关参考资料包括： 图 3：通过在整个图像上滑动图像块来计算卷积。将原始图像（绿色）的一个图像块（黄色）乘以核（黄色斑块中的红色数字），并将其和写入一个特征映射像素（卷积特征中的红细胞）。图片来源：。 图 4：图像的互相关。卷积可以通过反转核（倒置图像）转换为互相关。然后，内核可以被解释为一个特征检测器，其中检测到的特征导致大输出（白色）和小输出（如果没有特征存在）（黑色）。图片取自。 附加材料：
2024-08-09
卷积神经网络
卷积神经网络，也称为卷积网络，使用卷积层来过滤输入以获取有用信息。卷积层具有可学习的参数，能自动调整滤波器以提取对应任务的最有用特征。例如在一般目标识别中侧重对象形状信息，鸟类识别中更倾向于鸟的颜色信息，它会自动适配以找到最佳特征。 通常，多个卷积层依次作用，在每一层后对图像进行过滤，获取越来越多的抽象信息，形成层次特征。 卷积网络还常使用池层，以实现有限的平移和旋转不变性，即便对象出现在异常位置也能检测到，同时能减少内存消耗，从而支持使用更多卷积层。 近期的卷积网络采用初始模块，利用 1×1 卷积核进一步降低内存消耗并加快计算速度，提高训练效率。 例如在自动驾驶汽车场景中，可将驾驶员当前视野的图像输入到卷积神经网络，训练其预测下一个可能行动的奖励。相似状态的图像相似，行动也相似，网络能针对不同情况进行微调。 相关附加材料： 。 图 5 展示了一个交通标志的图像被 4 个 5×5 的卷积核过滤，生成 4 个特征图，再通过最大池化进行二次采样。下一层将 10 个 5×5 的卷积核应用于这些子采样图像，并再次将特征映射集中在一起。最后一层是完全连接的层，用于组合所有生成的特征并用于分类器（本质上是逻辑回归）。图像由提供。
2024-07-20
SVM与神经网络的区别是啥
SVM（支持向量机）和神经网络在以下方面存在区别： 1. 原理和模型结构： SVM 基于寻找能够最大化分类间隔的超平面来进行分类或回归任务。 神经网络则是通过构建多层神经元组成的网络结构，通过神经元之间的连接权重和激活函数来学习数据的特征和模式。 2. 数据处理能力： SVM 在处理小样本、高维度数据时表现较好。 神经网络通常更适合处理大规模数据。 3. 模型复杂度： SVM 相对较简单，参数较少。 神经网络结构复杂，参数众多。 4. 对特征工程的依赖： SVM 对特征工程的依赖程度较高。 神经网络能够自动从数据中学习特征。 5. 应用场景： 在图像识别、语音识别、机器翻译等领域，神经网络占据主导地位。 SVM 在一些特定的小数据集或特定问题上仍有应用。
2025-02-26
SVM与前馈神经网络的区别是什么
SVM（支持向量机）和前馈神经网络在以下方面存在区别： 数据处理方式：SVM 主要基于特征工程，而前馈神经网络可以自动从大量数据中学习特征。 模型结构：SVM 是一种线性分类器的扩展，具有相对简单的结构；前馈神经网络具有更复杂的多层结构。 应用场景：在图像识别、语音识别、语音合成、机器翻译等领域，早期常使用 SVM 结合特征工程，而现在神经网络逐渐占据主导地位。例如，图像识别中，早期由特征工程和少量机器学习（如 SVM）组成，后来通过使用更大数据集和在卷积神经网络结构空间中搜索，发现了更强大的视觉特征；语音识别中，以前涉及大量预处理和传统模型，现在几乎只需要神经网络；语音合成中，历史上采用各种拼接技术，现在 SOTA 类型的大型卷积网络可直接产生原始音频信号输出；机器翻译中，之前常采用基于短语的统计方法，而神经网络正迅速占领统治地位。
2025-02-26
前馈神经网络、循环网络、对称连接网络区别是什么，当前大语言模型属于前面说的哪种网络架构，为什么这种网络架构流行
前馈神经网络、循环网络和对称连接网络的区别如下： 1. 前馈神经网络：这是实际应用中最常见的神经网络类型。第一层是输入，最后一层是输出。若有多个隐藏层，则称为“深度”神经网络。各层神经元的活动是前一层活动的非线性函数，通过一系列变换改变样本相似性。 2. 循环网络：在连接图中存在定向循环，意味着可以按箭头回到起始点。它们具有复杂的动态，训练难度较大，但更具生物真实性。目前如何高效地训练循环网络正受到广泛关注，它是模拟连续数据的自然方式，相当于每个时间片段具有一个隐藏层的深度网络，且在每个时间片段使用相同权重和输入，能长时间记住隐藏状态信息，但难以训练其发挥潜能。 3. 对称连接网络：有点像循环网络，但单元之间的连接是对称的（在两个方向上权重相同）。比起循环网络，对称连接网络更易分析。没有隐藏单元的对称连接网络被称为“Hopfield 网络”，有隐藏单元的则称为玻尔兹曼机。 当前的大语言模型通常基于 Transformer 架构，它属于前馈神经网络的一种变体。这种架构流行的原因包括：能够处理长序列数据、并行计算效率高、具有强大的特征提取和表示能力等。
2025-02-25
神经网络从架构上有哪几种类型，当前流行的大语言模型用哪种类型神经网络，为什么这种神经网络架构更为流行
神经网络从架构上主要有以下几种类型： 1. 马尔科夫链：用于文本生成。 2. 循环神经网络（RNN）：可应用于文本生成。 3. 长短时记忆网络（LSTMs）：在文本生成等领域发挥作用。 4. Transformer：当今最流行的模型大多基于此架构，包括流行的大型语言模型，如 GPT3、GPTJ 或 BERT 等。 5. Encoderonly：适用于自然语言理解任务，如分类和情感分析，代表模型是 BERT。 6. Encoderdecoder：同时结合 Transformer 架构的 encoder 和 decoder 来理解和生成内容，用例包括翻译和摘要，代表是 Google 的 T5。 7. Decoderonly：更擅长自然语言生成任务，众多 AI 助手采用此结构。 当前流行的大语言模型，如 GPT3、ChatGPT 等，多采用 Decoderonly 架构的神经网络。这种架构更为流行的原因在于：它更擅长自然语言生成任务，能够根据用户输入生成相应的内容。同时，Transformer 架构具有延长的注意力广度，能够更好地处理长序列数据，提高模型的性能和表现。
2025-02-25
神经网络与大脑实际工作的原理区别
神经网络与大脑实际工作的原理存在以下区别： 1. 神经网络本质上是运行在多层面上的软件，由人工建立的一层层互相连接的神经元模型组成，模仿大脑处理复杂问题，如视觉和语言等。它可以自行学习与工作，不需要人为提示或参与控制。 2. 早期由于电脑处理能力不足，神经网络的发展受限。而大脑则具有强大的天然处理能力。 3. 神经网络的计算风格受神经元及其适应性连接启发，与传统的序列计算不同。 4. 对于循环网络，其连接图中存在定向循环，动态复杂，更具生物真实性。 5. ChatGPT 是通过获取大量人类创作的文本样本进行训练，生成类似的文本。其神经网络由简单元素组成，基本操作简单，从积累的“传统智慧统计数据”中提取“连贯的文本线索”，但不像大脑那样具有全面和复杂的功能。 总之，神经网络是对大脑的一种模拟，但与大脑真实的工作方式仍存在诸多差异。
2025-02-25
大语言模型、多模态、数据、算力、算法、预训练、微调、RAG、自注意力机制、transformer、token、神经网络、向量、scaling law这些内容的含义
以下是对您所提到的这些内容含义的解释： 大语言模型：是一种基于大量文本数据进行训练的语言处理模型，其工作原理包括训练数据、算力、模型参数等。在训练数据一致的情况下，模型参数越大能力越强。 多模态：指能够处理多种不同类型的数据模态，如文本、图像、音频等，并将它们融合进行理解和生成。 数据：是大语言模型训练和应用的基础，包括各种文本、图像、音频等信息。 算力：指用于支持大语言模型训练和运行的计算能力。 算法：是大语言模型实现各种功能的数学和逻辑方法。 预训练：在大语言模型中，先在大规模数据上进行无特定任务的初步训练。 微调：基于通用大模型，针对特定领域任务提供数据进行学习和调整，以适应特定领域的需求。 RAG：检索增强生成，通过引用外部数据源为模型做数据补充，适用于动态知识更新需求高的任务。其工作流程包括检索、数据库索引、数据索引、分块、嵌入和创建索引、增强、生成等步骤。 自注意力机制：是 Transformer 架构中的重要部分，能理解上下文和文本关联，通过不断检索和匹配来寻找依赖关系，处理词和词之间的位置组合，预测下一个词的概率。 Transformer：是大语言模型训练架构，用于翻译等任务，具备自注意力机制。 Token：在自然语言处理中，是文本的基本单位。 神经网络：是大语言模型的基础架构，模拟人脑神经元的连接和信息处理方式。 向量：在大语言模型中，用于表示文本等数据的数学形式。 Scaling Law：关于大语言模型规模和性能之间关系的规律。
2025-02-18