交通灯信号识别算法研究总结

复杂场景下交通信号灯的检测与识别:交通信号灯色彩状态识别以及方向指示信号灯识别。

系统框架分为检测、识别与跟踪三部分。

交通信号灯的检测与识别：

采用了色彩分割与关联滤波方案进行交通灯的检测。首先建立了交通信号灯的高斯模型，提出了利用高斯向量与多色彩空间结合的图像分割方法。然后提出基于区域增长与相似性判定的关联滤波，对色彩分割后的图像进行处理。

方向指示灯的识别：

基于canny 算子的边缘提取算法获取方向指示灯轮廓特征，然后提出了基于改进hu 不变矩和马氏距离对方向指示信号灯进行分类方法

交通信号灯的检测主要从颜色和形状的角度考虑。

基于颜色空间的检测方法、基于形状特征的检测方法以及一些综合类方法

基于颜色空间的检测方法：

●RGB 色彩空间的阈值分割方法（实时性好，但受光照影响大）

●HSI 色彩空间的阈值分割方法（可消除光照影响，但计算量较大）

●CIE 色彩空间的阈值分割方法（需根据环境确定参数，不考虑）

HSI空间以色调、饱和度和强度三种基本特征量来感知颜色。反映了人的视觉系统感知彩色的方式。

基于形状特征的检测方法

轮廓分析法:

边缘分析法:

模板匹配法:用整幅或部分交通信号灯图形作为模板，通过交通信号灯图像与模板的匹配检测出交通信号灯。(较常用)

道路交通信号灯的设置与安装规范：GB14886-2006

兴趣区域(ROI)可选定位图像实际高度的1/3 或1/2 高度.

图像预处理

光线补偿（亮度增强）

把图片中亮度最大的10%的像素提取出来，该亮度的临界值称为亮度参考点，然后线性放大，使得这些像素的平均亮度达到255。根据求得的系数把整个图片的亮度进行线性放大，具体来说就是调整图片像素的RGB 值。其中RGB转灰度图：

直方图均衡化

直方图表示数字图像中每一个灰度级与其出现的频数之间的统计关系，直方图给出了图像的概貌性的描述，如图像的灰度范围，灰度级的大致分布情况。光线较暗时，直方图的分布就集中在灰度值小得一边；光线太强，其分布就其中在灰度值大的一边。

交通灯信号识别系统框架

数学形态学操作

（1）腐蚀(erosion)

形态学腐蚀对集合元素采用向量减法将两个集合合并。

（2）膨胀(dilation)

形态学膨胀对集合元素采用向量加法将两个集合合并。

（3）开运算(opening)

先腐蚀再膨胀的运算称为开运算。开运算可以用来消除小物体、在纤细点处将物体分离，并且在平滑较大物体边界时不明显改变其面积。

形态学操作

礼帽运算（Top Hat）与黑帽变换（Black Hat），

对于图像X 来说，礼帽变换从X 中减去了X 的开运算。开运算带来的结果是放大裂缝或局部低亮度区域，因此，从X 中减去X 的开运算可以突出比X 周围的区域更明亮的区域。相反的，黑帽变换突出比X 的走位的区域黑暗的区域。

利用发光单元颜色与发光属性的双主线的候选区域获取

区域增长算法

交通灯方向指示标志的检测流程图

Hu 不变矩

Hu 不变矩是模式识别领域常用的信息提取方法，它具有尺度不变性和旋转不变性，对方向指示标志识别的需求非常吻合。因此，提出使用hu 不变矩对方向标志进行信息提取，再使用基于马氏距离的分类器进行标志识别的方法。

对于数字离散灰度函数 f ( x , y )，它的p+q 阶二维原点矩M pq定义为

基于改进Hu不变矩的特征提取

基于马氏距离的标志识别

具体识别方法为：选择各类方向标志样本若干，构建多个学习样本群。对于一个待识别样本，使用马氏距离公式计算它与各样本群之间的马氏距离，选择距离最小的样本群作为目标样本群。然后对这一最小马氏距离进行阈值滤波，判断该方向标志的分类。

跟踪决策模块

通过考虑连续的多帧图像中检测与识别的交通信号灯状态来改进识别结果。

作用：补偿漏检，去除误检

包含决策滤波器及邻域滤波器两部分。

决策滤波器

把从图像帧中检测到的交通信号灯状态信息，即红灯、黄灯和绿灯分别标记为R、Y 和G，没有检测到交通信号灯的情形被标记为NS。

误检情形（false positive detection），即连续的多帧图像中交通信号灯的状态

是确定的，中间出现少数几帧被错误检测为其他状态；或者连续的多帧图像中没有交通信号灯，中间的少数几帧却检测到交通信号灯。以两帧图像的错误检测为例，通常情况下的错误检测模式有：

（1）R-…-R-G-G-R-…-R

（2）R-…-R-Y-Y-R-…-R

（3）Y-…-Y-R-R-Y-…-Y

（4）Y-…-Y-G-G-Y-…-Y

（5）G-…-G-R-R-G-…-G

（6）G-…-G-Y-Y-G-…-G

（7）NS-…-NS-R-R-NS-…-NS

（8）NS-…-NS-Y-Y-NS-…-NS

（9）NS-…-NS-G-G-NS-…-NS

上述情形中，（1）-（6）出现在交通信号灯状态被错误检测的情形，如（1）为交通信号灯原本状态为红色，被错误的检测为黄色；（7）-（9）出现在没有交通信号灯而检测到交通信号灯的情形，如（7）为图像中没有交通信号灯，却被错误的检测为红色信号灯。

漏检情形（false negative detection），即连续的多帧图像中交通信号灯的状态

是确定的，中间有少数几帧没有检测到交通信号灯。以两帧图像的漏检为例，通常情况下的漏检模式有：

（1）R-…-R-NS-NS-R-…-R

（2）Y-…-Y-NS-NS-Y-…-Y

（3）G-…-G-NS-NS-G-…-G

上述情形为图像中存在交通信号灯却没有检测到的情形，如（1）表示原本

交通信号灯状态为红色，检测结果却没有交通信号灯的情形。

决策滤波器的作用即去除连续的多帧图像序列中少数几帧错误检测或漏检

测的情形，但输出结果会有一定的滞后性。决策滤波器不是根据一帧图像的识别

结果做出最终决策，而是充分利用识别结果的历史信息。使得系统能够在出现检测错误或漏检的情形时，恢复正确的交通信号灯状态。

将前述交通信号灯识别结果放入跟踪决策模块的数据库。该数据库包含两个结果队列：修正前队列（Before Revision Output），记为BP；修正后队列（After Revision Output），记为AP。修正前队列BP 存储前述交通信号灯识别阶段模块的输出，即未经修正的每帧图像交通信号灯信号灯状态；修正后队列AP 存储经跟踪决策模块处理后的输出，即经修正后每帧图像交通信号灯状态。

BP（i）为表示识别模块的第i 帧图像的输出结果；AP（i）表示跟踪决策模块第i 帧图像的输出结果。假设当前处理图像为第k 帧，则决策滤波器的输出可表示为：

领域滤波器

当图像的采集频率较高时，连续多帧内的同一个交通信号灯在图像上的位置相近，可以利用这一性质提高跟踪决策的结果。即邻域滤波器用来判别当前帧检测到的交通信号灯是否同样在上一帧检测到的交通信号灯的周围。