典型的深度学习模型为卷积神经网络(Convolutional Neural Network, CNN)、深度信念网络(Deep Belief Networks, DBN)、堆栈自编码器(Stacked Auto - Encoders, SAE)、循环神经网络(Recurrent Neural Networks, RNN)等，如图13-6所示。

图13-6 深度神经网络常用算法

1. CNN模型

CNN模型是一种特殊的深层神经网络模型，凭借其权值共享、卷积运算直接处理二维图像，避免前期对图像复杂的预处理，这对于较难学习的深层结构来说尤为重要，因此得到了广泛的应用。

一种典型的卷积网络结构是LeNet-5，如图13-7所示。

图13-7 LeNet-5结构

通过图13-7可以看出，CNN由输入、卷积层、降采样层、全连接层和输出层构成，其中卷积层和降采样层交替进行。C代表卷积层也称特征提取层，该层有多个不相同的二维特征图，其中一个特征图提取一种特征，多个特征图提取多种特征。同一个特征图采用相同的卷积核，不相同的特征图采用不同的卷积核，同一特征图的权值是共享的S代表子降采样层，也称为特征映射层，对特征层提取的特征进行子采样，保证提取特征的缩放不变性。CNN末层是全连接层，分类结果个数就是最终输出节点个数。训练过程是使CNN的预测值尽可能靠近期望值。

2. DBN模型

RBM是一种可通过输入数据集学习概率分布的随机生成神经网络。RBM在降维、分类、协同过滤、特征学习和主题建模中得到了应用。根据任务的不同，RBM可以使用监督学习或无监督学习的方法进行训练。DBN(见图13-8)就是由多层的RBM(见图13-9)组成，上面的两层具有无向对称连接，下面的层得到来自上一层的自顶向下的有向连接，最底层单元的状态为可见输入数据向量。

图13-8 DBN的生成过程

DBN在训练模型的过程中主要分两步：

第一步，预训练：分别单独无监督地训练每一层RBM网络，确保特征向量映射到不同特征空间时，都尽可能多地保留特征信息。

第二步，微调：在DBN的最后一层设置BP网络，接收RBM的输出特征向量作为它的输入特征向量，有监督地训练实体关系分类器。而且每一层RBM网络只能确保自身层内的权值对该层特征向量映射达到最优，并不是对整个DBN的特征向量映射达到最优，所以反向传播网络还将错误信息自顶向下传播至每一层RBM，微调整个DBN网络。RBM网络训练模型的过程可以看作对一个深层BP网络权值参数的初始化，使DBN克服了BP网络因随机初始化权值参数而容易陷入局部最优和训练时间长的缺点。

图13-9 RBM的无向图模型

3.SAE模型

自编码模型是一个由编码层和解码层组成的两层神经网络模型，如图13-10所示。自编码模型的输出是其输入本身，通过最小化重构误差来执行训练。SAE模型由多个自编码模型堆栈组成，网络结构与DBN类似。此外，SAE的结构单元还可以使用收缩自编码模型和降噪自编码模型等。

降噪自编码模型避免了一般的自编码模型可能会学习得到无编码功能的恒等函数和需要样本的个数大于样本维数的限制，尝试通过最小降噪重构误差，从含有随机噪声的数据中重构真实的原始输入。

图13-10 自编码模型结构

收缩白编码模型的训练目标函数是重构误差和收缩罚项的综合，通过最小化该目标函数使已学习到的表示尽量对输入保持不变。收缩自编码采用固定权值，使解码器权值作为编码器权值的置换阵，而且该模型趋向于寻找尽量少的特征值，特征值的数量对应局部秩和局部维数，此外还可以利用隐单元建立复杂的非线性流行模型。

深度学习已经成功地应用于大量的模式分类问题中。这一研究领域虽然属于发展初期，但是它的发展给机器学习和人工智能产生了很大的影响。但与此同时，也存在某些特定任务不适合，例如虹膜识别等，每类样本仅包含单个样本的模式分类问题不能很好完成的任务。

4.RNN模型

RNN的目的是用来处理序列数据。在传统的神经网络模型中，是从输入层到隐层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题却无能为力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即隐藏层之间的节点不再无连接而是有连接的，并且隐藏层的输入不仅包括输入层的输出还包括上一时刻隐藏层的输出。图13-11所示为RNN的结构图。

图13-11 RNN结构图

在RNN中，目前使用最广泛、最成功的模型便是LSTM模型。RNN一旦展开，可以将它视为一个所有层共享同样权值的深度前馈神经网络。虽然它们的目的是学习长期的依赖性，但理论的和经验的证据表明很难学习并长期保存信息。LSTM其自然行为便是长期的保存输入，LSTM随后被证明比传统的RNN更加有效。

相关链接：深度学习概述

文章来源：《多光谱食品品质检测技术与信息处理研究》

版权与免责声明：转载目的在于传递更多信息。

如其他媒体、网站或个人从本网下载使用，必须保留本网注明的"稿件来源"，并自负版权等法律责任。

如涉及作品内容、版权等问题，请在作品发表之日起两周内与本网联系，否则视为放弃相关权利。