利用神经网络算法的C#手写数字识别_光环大数据培训

光环大数据
光环大数据--大数据培训&人工智能培训
(_originalBitmap,255, 30, 1, true, 5, 5);
_irowIndex = 0;
}
foreach(Rectangle rowRect in _rowList)
在 Levenberg-Marquardt 方法中，rw 计算如下：
假设平方代价函数是：
那么梯度是：
而 Hessian 遵循如下规则：
Hessian 矩阵的简化近似为 Jacobian 矩阵， 它是一个维数为 N×O 的半矩阵。
用于计算神经网络中的 Hessian 矩阵对角线的反向传播过程是众所周知的。 假设网络中的每一层都有：
bmptemp = AForge.Imaging.Image.CreateColorPad
(bmptemp,Color.White, 4, 4);
bmptemp = AForge.Imaging.Image.CreateIndexedGrayScaleBitmap
(bmptemp);
byte[] graybytes = AForge.Imaging.Image.GrayscaletoBytes(bmptemp);
字符候选识别可以通过以下方法实现：
public void PatternRecognitionThread(Bitmap bitmap)
{
_originalBitmap = bitmap;
if (_rowList == null)
{
_rowList = AForge.Imaging.Image.PatternRectangeBoundaryList
光环大数据
光环大数据--大数据培训&人工智能培训 (7)
使用 Gaus-Neuton 近似（删除包含|’ （y） ）的项，我们得到：
(8)
(9)
以及：
随机对角列文伯格-马夸尔特（Levenberg-Marquardt）法
以及：
public static List<Rectangle> PatternRectangeBoundaryList
(Bitmap original, int colorIndex, int hStep, int vStep,
bool bTopStart,int widthMin,int heightMin)
_currentWord = AForge.Imaging.ImageResize.ImageCrop
(_currentRow, wordRect);
_iwordIndex++;
if (_icharIndex == 0)
{
_currentCharsList =
AForge.Imaging.Image.PatternRectangeBoundaryList
}
}
字符识别
原程序中的卷积神经网络（CNN）包括输入层在内本质上是有五层。卷积体 系结构的细节已经在 Mike 和 Simard 博士在他们的文章 《应用于视觉文件分析的 卷积神经网络的最佳实践》中描述过了。这种卷积网络的总体方案是用较高的分 辨率去提取简单的特征，然后以较低的分辨率将它们转换成复杂的特征。生成较 低分辨的最简单方法是对子层进行二倍二次采样。 这反过来又为卷积核的大小提 供了参考。核的宽度以一个单位（奇数大小）为中心被选定，需要足够的重叠从 而不丢失信息（对于一个单位 3 重叠显得过小） ，同时不至于冗余（7 重叠将会 过大，5 重叠能实现超过 70％的重叠） 。因此，在这个网络中我选择大小为 5 的
#4 层：是最后的，有 10 个神经元，10×（100 + 1）= 1010 个权重，以及 10×10 1 = 1010 个连接。
光环大数据
光环大数据--大数据培训&人工智能培训 反向传播
反向传播是更新每个层权重变化的过程，从最后一层开始，向前移动直到达 到第一个层。
光环大数据
光环大数据--大数据培训&人工智能培训 _icharIndex++;
Bitmap bmptemp = AForge.Imaging.ImageResize.FixedSize
(_currentChar, 21, 21);
通过改变参数 hStep （水平步进）和 vStep （垂直步进）可以简单地检测 行，字或字符。矩形边界也可以通过更改 bTopStart 为 true 或 false 实现从上 到下和从左到右不同方式进行检测。矩形被 widthMin 和 d 限制。我的算法的最 大优点是：它可以检测不在同一行的字或字符串。
{
_currentRow = AForge.Imaging.ImageResize.ImageCrop
(_originalBitmap, rowRect);
if (_iwordIndex == 0)
{
_currentWordsList AForge.Imaging.Image.PatternRectangeBoundaryList
#0 层：是 MNIST 数据库中手写字符的灰度图像，填充到 29×29 像素。输入 层有 29×29 = 841 个神经元。
#1 层：是一个具有 6 个特征映射的卷积层。从层＃1 到前一层有 13×13×6 = 1014 个神经元， （5×5 + 1）×6 = 156 个权重，以及 1014×26 = 26364 个连 接。
public static Rectangle GetPatternRectangeBoundary
(Bitmap original,int colorIndex, int hStep, int vStep, bool
光环大数据
光环大数据--大数据培训&人工智能培训 bTopStart)
字符检测
模式检测和字符候选检测是我在程序中必须面对的最重要的问题之一。 事实 上，我不仅仅想利用另一种编程语言重新完成 Mike 的程序，而且我还想识别文 档图片中的字符。 有一些研究提出了我在互联网上发现的非常好的目标检测算法， 但是对于像我这样的业余项目来说，它们太复杂了。在教我女儿绘画时发现的一 个方法解决了这个问题。当然，它仍然有局限性，但在第一次测试中就超出了我 的预期。在正常情况下，字符候选检测分为行检测，字检测和字符检测几种，分 别采用不同的算法。我的做法和这有一点点不同。检测使用相同的算法：
事实上，使用完整 Hessian 矩阵信息（Levenberg-Marquardt，Gaus-Newton 等） 的技术只能应用于以批处理模式训练的非常小的网络， 而不能用于随机模式。 为了获得 Levenberg- Marquardt 算法的随机模式，LeCun 博士提出了通过关于 每个参数的二阶导数的运算估计来计算 Hessian 对角线的思想。 瞬时二阶导数可 以通过反向传播获得，如公式（7,8,9）所示。只要我们利用这些运算估计，可 以用它们来计算每个参数各自的学习率：
在标准的反向传播中，每个权重根据以下公式更新：
(1)
其中 eta 是“学习率” ，通常是类似 0.0005 这样的小数字，在训练过程中会 逐渐减少。 但是， 由于收敛速度慢， 标准的反向传播在程序中不需要使用。 相反， LeCun 博士在他的文章《Efficient BackProp》中提出的称为“随机对角列文伯 格-马夸尔特法（Levenberg-Marquardt） ”的二阶技术已得到应用，尽管 Mike 说 它与标准的反向传播并不相同，理论应该帮助像我这样的新人更容易理解代码。
光环大数据
光环大数据--大数据培训&人工智能培训 卷积核。填充输入（调整到更大以实现特征单元居中在边界上）并不能显着提高 性能。所以不填充，内核大小设定为 5 进行二次采样，每个卷积层将特征尺寸从 n 减小到(n-3)/2。由于在 MNIST 的初始输入的图像大小为 28×28，所以在二次 卷积后产生整数大小的近似值是 29×29。经过两层卷积之后，5×5 的特征尺寸 对于第三层卷积而言太小。Simard 博士还强调，如果第一层的特征少于五个， 则会降低性能，然而使用超过 5 个并不能改善（Mike 使用了 6 个） 。类似地，在 第二层上，少于 50 个特征会降低性能，而更多（100 个特征）没有改善。关于 神经网络的总结如下：
#2 层：是一个具有五十（50）个特征映射的卷积层。从＃2 层到前一层有 5x5x50 = 1250 个神经元， （5×5 + 1）x6x50 = 7800 个权重，以及 1250x（5x5x6 + 1）= 188750 个连接。
（在 Mike 的文章中不是有 32500 个连接） 。
#3 层： 是一个 100 个单元的完全连接层。 有 100 个神经元， 100x （1250 + 1） = 125100 权重，和 100×1251 = 125100 连接。
光环大数据
光环大数据--大数据培训&人工智能培训 {
_icharIndex =0;
}
}
If(_iwordIndex==__currentWordsList.Count)
{
_iwordIndex=0;
PatternRecognitionThread(graybytes);
m_bitmaps.Add(bmptemp);
}
string s = ” /n”;
_form.Invoke(_form._DelegateAddObject, new Object[] { 1, s });
If(_icharIndex ==_currentCharsList.Count)
光环大数据--大数据培训&人工智能培训 利用神经网络算法的 C＃手写数字识别_光环大数据培训