基于深度学习的图像识别

基于深度学习的图像识别

摘要：本文讨论了两种实现图像识别的深度学习(Deep Learning,DL)方法：卷积神经网络（Convolution Neural Network,CNN)与深度信念网络(Deep Belief Network,DBN)。

关键词：深度学习，卷积神经网络，深度信念网络

1前言

在计算机图像处理中，最困难但又最让人兴奋的任务就是让机器可以实现图像分类，从而通过图像识别物体的种类。

这项任务很难实现。在数据库中的图像总是在不同状态下记录的。这意味这光线与角度的多变性。

而可运用的计算能力的限制是一大障碍。我们不可能像让人类识别图像一样让机器识别图像。计算能力的限制导致可供训练与测试的数据有限，而模型的复杂程度也受到限制。

但是，目前这种情况得到极大的改善。综合多CPU/综合多GPU系统（multi-CPU/multi-GPU systems)使得运行高速神经网络成为现实，而费用也可以负担得起。人们对深度学习模型在图像识别与机器学习中的应用兴趣渐浓，而与之对抗的传统模型日渐式微。目前最具意义的研究方向就是运用深度学习模型，处理综合数据库中的图像识别问题。

本文主要关注深度神经网络（DNN）在图像识别在的作用。

深度神经系统主要有多层特征提取单元组成。低层特征提取单元提取了简单特征，之后依照该单元的规模进行学习，并按该单元的权重或参照物将特征反馈给高层特征提取单元。而高层特征提取单元可以提取更复杂的特征。

目前有一些实现深层学习网络的方法。深度信念网络（DBN）一个多层生成模型，而每一层都是一个统计编码器（statistical encoder)。这些统计编码器都是基于附属于它的更低层的结点（unit）。而这种训练主要关注训练数据中的最大化概率。

DBN在众多领域都有成功运用，如手写数据识别与人类手势识别。

另一个深度学习模型是卷积神经网络（CNN），与相似层次尺寸的标准化前向反馈网络不同，这个模型所需的连接与参照物比较少，使其训练也更简单。

层次深，规模大的DNN结构往往可以产生最好的结果。这意味这我们需要数量巨大的基础样本与种类丰富的训练样本，以确保面对状况多变的数据时，我们的训练数据仍代表性。

2 模型介绍

人类的视觉系统可以在多种情况下高效识别物体，而对计算机算法，这个任务并不简单。

深度神经网络便是模拟哺乳动物视觉网络。这已被验证为这项任务的最佳实现方案。目前,有人已运用这种模型，设计出识别准确性可能高于人类的机器图像识别系统。

2.1 卷积神经网络（CNN）

卷积神经网络系统（CNNs）是专注处理图案识别的多层网络系统。它是多层感知器（Multi-Layer Percentrons，MLPs）的变体，灵感来自于生物系统。 CNNs是分层型（hierarchical）神经网络。通过运用卷积计算（convolution）将集成层（pooling layers）交织起来，CNNs可以实现特征信息的自动提取，形成可完成最终分类的一系列全连接的网络层次。

卷积神经网络

结构：输入，卷积，深层取样（sub-sampling)/总集成与分类层（max-pooling and classification layers)

2.1.1 卷积层（Convolution layer）

卷积成通常可由特征图（feature map）的数目，核（kernel）的大小(sizes)，与先前层的联系来展现。

每一层都包含了相同维度的特征图M，如

)

,

(

y

x

M

M；这些特征图可以通过先前层的一系列卷积运算得到。而在这些运算中，它们之间有相互关

联的核（corresponding kernel ），一个线性滤波器（linear filter ），同时还加上了一个偏差项（bias term ），并运用了一个非线性函数（non-linear function ）

其中，k 代表第k 个特征图，而W 是其权重，b 是偏差项，tanh 是使用的函数。 接着我们可以得到特征图的表达

其中，参数k 表示该层层数，y x K K ,是核的大小，

y x S S ,是在卷积运算中消去的像素。

卷积运算在一维信号处理时为

而在以上CNNs 运用的二维卷积运算为

来自于一个特征图的神经元（neurons)共享它们的权重；这减少了需学习的参照物数目，更加高效。

2.1.2 总集成层(Max-pooling layer) 总集成层是CNNs 中典型的深层取样层

（sub-sampling ）的变式，在神经模型中紧随着卷积层。

这层处理减少了图的大小，从而减少了计算量，加快了收敛速度。它还在广大的范围内设定了恒定性，从而提升了归纳能力。

该层结果是由激活最大的非重合的核区域得到，这与典型深层取样不同。在典型深层取样中，我们只是将这些输入平均化。该层通过一个与核的大小在各个轴都等同的因子，将输入图的样本进行降维、

2.1.3 分类层

我们运用了一些参照物，进行了卷积运算，深层抽样/总集成将样本降维。并且经过最后一层卷积层

后，样本将成为一个一维特征向量。

这个一维特征向量将成为一系列分类层的输入。这一系列分类层是具有典型前向反馈性的全连接层。它将完成分类工作。

2.2 深层信念网络(Deep Belief Network,DBN) 深度信念网络（DBN ）一个多层生成模型，而每一层都是一个统计编码器。而这些统计编码器都是基于附属于它的更低层的结点。这可以学习在训练数据中的分层型（hierarchical ）表现。

它模拟了输入向量x 与l 隐藏层k

h 的联合分布

),())|((),...,(112

1

l l l l k k l

h h P h h P h h x P ---=∏=

其中)|(,1

0k k h h

P h x -=是受限制波尔兹曼机

（Restricted Boltzmamn Machine,RBM)的可见结点和隐藏结点在第k 层的条件概率。而),(1

l l h h

P -是最

顶层RBM 中可见结点与隐藏结点的联合概率。

DBN 结构

DBN 结构

DBNs 就是一系列的RBMs 组成，通过贪婪多层无监督方法（greedy layer-wise unsupervised)训练数据。 训练步骤：

1.首先用输入初始化第一个RBM 的可见层，

)0(h x =，并训练第一层；

2.将数据输入第二层，而第二层包含第一层的的训练结果，其平均激活概率(

)

)0()

1(|l h h

p =；

3.第二层依旧根据第二层的输出结果，按RBM 模式进行训练；

4.在每一层按RBM 模式，重复2,3两步，进行训练。这样这些平均值将向上扩散。

5.运用监督梯度向下算法（supervised gradient descent)对参照物进行合适调整。

为了分类，我们可以根据l

h （DBN 的最后的隐藏层），运用逻辑倒推分类法（logistic regression classifier)。这和多层感知（Multilayer Perceptron,MLP)网络的做法类似.在MLPs 中，我们利用权重和隐藏层偏差（通过无监督训练归纳而得），初始化权重。 写在最后

这篇文章主要参考了ANDREI-PETRU B ?RAR, VICTOR-EMIL NEAGOE, & NICU SEBE 发表的Image recognition with deep

learning techniques 部分内容，进行翻译与理解得到。难

免出现非常多的翻译与理解的错误。而且我也没弄清RBM 的具体原理，对没把握的翻译也在括号中标注了英文。我也查找了一些其他中文资料，但自学效果并不理想，时间安排也

出现问题，导致最后没时间，像别的论文一样进行方法的实践。希望以后有时间和精力时能够进行一些弥补。

参考文献：

【1】 ANDREI-PETRU B ?RAR, VICTOR-EMIL NEAGOE, & NICU SEBE. . Image recognition with deep learning techniques. Wseas:us.

【2】李卫. 深度学习在图像识别中的研究及应用[D]. 武汉

理工大学, 2014.

【3】吴财贵, 唐权华. 基于深度学习的图片敏感文字检测

[J]. 计算机工程与应用, 2015, 51(14):203-206.

【4】王恒欢. 基于深度学习的图像识别算法研究[D]. 北京

邮电大学, 2015.