浅层学习依靠人工经验抽取样本特征，网络模型学习后获得的是没有层次结构的单层特征。深度学习通过对原始信号进行逐层特征变换，将样本在原空间的特征表示变换到新的特征空间，自动地学习得到层次化的特征表示，从而更有利于分类或特征的可视化
人工智能相关领域关系图
- 人工智能(Artificial Intelligence, AI) 是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门技术科学
- 机器学习(Machine Learning, ML) 是用算法解析数据，不断学习，对世界中发生的事作出判断和预测的一项技术
- 深度学习(Deep Learning, DL) 是用于建立、模拟人脑进行分析学习的神经网络，并模仿人脑的机制来解释数据的一种机器学习技术
深度学习
深度学习的概念 基于样本数据通过一定的训练方法得到包含多个层级的深度网络结构的机器学习过程
深度学习所得到的深度网络结构包含大量的单一元素(神经元)，每个神经元与大量其他神经元相连接，神经元间的连接强度(权值)在学习过程中修改并决定网络的功能。通过深度学习得到的深度网络结构符合深度神经网络的特征，因此深度网络就是深层次的神经网络，即深度神经网络(DNN)
传统机器学习
机器学习的本质是从数据中构造算法：深度学习是机器学习中的一种特殊算法，一种在数据中学习多层次抽象的算法
深度学习
深度学习=特征学习，效果优于其他机器学习方法
深度神经网络
特征 深度神经网络由多个单层非线性网络叠加而成。常见的单层网络按照编码解码情况分为3类：只包含编码器部分、只包含解码器部分、既有编码器部分也有解码器部分
编码器提供从输入到隐含特征空间的自底向上的映射，解码器以重建结果尽可能接近原始输入为目标将隐含特征映射到输入空间
分类 前馈深度网络(FFDN) 由多个编码器叠加而成、反馈深度网络(FBDN) 由多个编码器叠加而成、双向深度网络(BDDN) 通过叠加多个编码器层和解码器层构成(每层可能是单独的的编码过程或解码过程，也可能既包含编码过程也包含解码过程)
深度神经网络分类结构
前馈深度网络 前馈神经网络是最初的人工神经网络模型之一。具有几个特点：信息只沿一个方向流动，从输入单元通过一个或多个隐层到达输出单元，在网络中没有封闭环路
几个名称解析
- 单层感知机：无法解决线性不可分问题(异或操作)
- 多层感知机：可解决线性不可分问题。反向传播算法与神经网络结合，传统反向传播算法收敛速度慢、需要大量带标签的训练数据、容易陷入局部最优等缺点，因此多层感知机效果不是十分理想
- 神经认知机(感受野)：卷积神经网络的一种特例，卷积神经网络是神经认知机的推广形式
- 卷积神经网络(CNN) 由多个单层卷积神经网络组成的可训练的多层网络结构
单层卷积神经网络包括卷积、非线性变换和下采样3个阶段。其中，下采样阶段为非必需，一些卷积神经网络完全去掉该阶段，通过在卷积阶段设置卷积核窗口滑动步长大于1达到降低分辨率的目的
卷积过程
其中下采样阶段不是每层都必需的。每层的输入和输出为一组向量构成的特征图(feature map) (第一层的原始输入信号可以看作一个具有高稀疏度的高维特征图)。例如,输入部分是一张彩色图像,每个特征图对应的则是一个包含输入图像彩色通道的二维数组(对于音频输入,特征图对应的是一维向量;对于视频或立体影像,对应的是三维数组);对应的输出部分,每个特征图对应的是表示从输入图片所有位置上提取的特定特征
卷积神经网络，将单层的卷积神经网络进行多次堆叠，前一层的输出作为后一层的输入，便构成卷积神经网络。其中每 2 个节点间的连线,代表输入节，一般最后一层的输出特征图后接一个全连接层和分类器
卷积神经网络的特点：采用原始信号直接作为网络的输入，避免传统识别算法中复杂的特征提取和图像重建过程。局部感受野方法获取的观测特征与平移、缩放和旋转无关
卷积阶段利用权值共享结构减少权值的数量进而降低网络模型的复杂度；下采样阶段利用图像局部相关性的原理对特征图进行子抽样，在保留有用结构信息的的同时有效地减少数据处理量
反馈神经网络 是通过解反卷积或学习数据集的基，对输入信号进行反解前馈网络是对输入信号进行编码的过程，反馈网络则是对输入信号进行解码的过程。卷积神经网络是一种自底向上的方法,该方法的每层输入信号经过卷积、非线性变换和下采样 3 个阶段处理,进而得到多层信息反卷积网络模型的每层信息是自顶向下的,组合通过滤波器组学习得到的卷积特征来重构输入信号
单层反卷积模型
反卷积网络的特点：通过求解最优化输入信号分解问题计算特征,而不是利用编码器进行近
似，这样能使隐层的特征更加精准,更有利于信号的分类货重建
双向深度网络 双向网络由多个编码器和解码器层叠加形成，每层可能是单独的编码过程或解码过程，每层可能是单独的编码过程或解码过程，也可能同时包含编码和解码过程
双向网络的结构结合了编码器和解码器 2 类单层网络结构,双向网络的学习则结合了前馈网络和反馈网络的训练方法,通常包括单层网络的预训练和逐层反向迭代误差 2 个部分,单层网络的预训练多采用贪心算法；网络结构中各层网络结构都经过预训练之后,再通过反向迭代误差对整个网络结构进行权值微调. 其中单层网络的预训练是对输入信号编码和解码的重建过程,这与反馈网络训练方法类似;而基于反向迭代误差的权值微调与前馈网络训练方法类似
本文来自投稿，不代表本人立场，如若转载，请注明出处：http://www.souzhinan.com/kj/253576.html