森林防火系统中图像识别算法的研究

哈尔滨工业大学工学硕士学位论文
摘要
森林是陆地生态的主体，具有很高的生态效益和经济效益。

鉴于目前我国森林防火的严峻形势，必须开发有效技术解决森林火灾的监测问题。

传统火灾探测器多采用单一时刻的火灾参量作为判断标准，在外界干扰下易引起频繁误报或漏报。

近年来提出的基于机器视觉的火灾报警系统，利用数字图像处理技术来实现火灾自动报警。

基于火焰和烟雾的图像特征，本文研究了一种识别自然环境下火灾的机器视觉方法。

火灾发生过程中，主要的图像信息是燃烧时产生的烟雾和火焰，通过对烟雾和火焰的图像信息研究发现，烟雾和火焰本身具有一定的规律性，以此为依据设计有针对性的算法，从图像中识别出烟雾和火焰，判断火灾是否发生。

首先，论文阐述了森林防火技术及图像型火灾检测技术的发展和现状，并对图像分割和滤波方法中的关键技术进行了详细介绍，在此基础上，本文分别讨论了火焰和烟雾的分割与识别。

然后，对于火焰分割，针对不同情况下的火焰研究了三种不同的分割技术，实现了火焰区域的准确分割。

对于火焰的特征检测，主要进行颜色和动态特征的分析，通过建立火焰颜色模型进行颜色识别，再进一步进行火焰的四个动态特征的识别。

对于烟雾分割，由于烟雾颜色的复杂性，采取颜色提取法进行分割，并运用视觉一致性的聚类算法对其进行了改进。

对于烟雾的特征检测，主要进行小波特征及动态特征的分析，通过对比烟雾图像与背景图像小波系数进行小波特征识别，再对识别结果进一步进行动态特征识别，包括烟雾的不规则性和扩散性，最终确定视频中是否存在烟雾。

最后，综合以上分析，给出了森林防火系统中火灾的识别的整体流程以及火焰和烟雾分别的识别流程。

实验证明，综合火焰和烟雾的静态特征及动态特征的火灾识别方法，识别率高。

在火灾检测技术中，具有较好的发展前景。

关键词火焰识别；烟雾识别；图像分割；动态特征
- I -
Abstract
Forest is the main terrestrial ecosystem, with high ecological benefits and economic benefits. In view of the current forest fire in China's serious situation, effective technology must be develop to solve the problem of forest fire monitoring so that people's lives and property safety can be effectively protected. More traditional fire detectors use a single moment of the parameters as a standard, in the under-interference caused frequent false positives or omissions. In recent years the fire alarm system based on the machine vision uses digital image processing techniques to achieve automatic fire alarm.
Based on the flame and smoke image characteristics, a machine vision method of identifying the natural fire is proposed in this thesis. In the course of the fire, the main image information is the combustion of smoke and flame. Through the study of smoke and flames image information, smoke and flame phenomenon itself has certain regularity. So targeted algorithm can be designed, identify the smoke and flame from image and judge whether the fire occurred based on this kind of found.
First of all the thesis explains the techniques status and development of forest fire prevention and fire-detection using digital image processing techniques. On this basis, the segmentation and the identification of flame and smoke are discussed.
Then, three different segmentation technologies for different flames are proposed to achieve the accuracy flame region. For the detection of the flame characteristics, color and dynamic analysis are mainly used. The color is identified by establishing of flame color model. Further the dynamic characteristics of the flame are identified. For the complexity of the smoke color, the color extraction method is used to division, and improved by using of the clustering algorithm for visual consistency. For the detection of smoke characteristics, the wavelet characteristics analysis and the dynamic characteristics analysis are mainly used. The wavelet characteristics are identified by comparing images and background images smoke wavelet coefficients, and then the dynamic characteristics of the result, including the
- II -
哈尔滨工业大学工学硕士学位论文
irregularity and the diffusivity of the smoke is further identified. And then we can determine whether there is smoke in the video.
Finally, the overall flow of fire identification in forest fire protection is proposed based on above analysis.
The experimentation results show that the fire detecting method which integrating static character and dynamic character of flame smoke has high recognition rate. In the area of fire detecting based on video image sequence analysis, the technique introduced in this thesis has good prospect for development .
Keywords flame recognition; smoke recognition; image segmentation; dynamic character
- III -
目录
摘要 (I)
Abstract (II)
第1章绪论 (1)
1.1 课题背景 (1)
1.2 课题来源 (2)
1.3 森林防火技术的研究现状 (3)
1.4 图像型火灾检测的研究现状 (4)
1.4.1 火焰与烟雾图像特征分析 (5)
1.4.2 图像型火灾检测的技术现状 (7)
1.4.3 图像型火灾检测的应用现状 (7)
1.5 论文的主要内容及结构安排 (8)
1.5.1 论文的研究内容 (8)
1.5.2 论文的结构安排 (8)
第2章数字图像处理基础 (10)
2.1 引言 (10)
2.2 图像分割理论基础 (10)
2.2.1 边缘检测法图像分割 (11)
2.2.2 阈值法图像分割 (12)
2.2.3 基于区域特性的图像分割 (14)
2.2.4 特征空间聚类法图像分割 (14)
2.3 图像的滤波 (15)
2.3.1 线性滤波 (16)
2.3.2 非线性滤波 (16)
2.4 本章小结 (18)
第3章火焰与烟雾的图像分割 (19)
3.1 引言 (19)
3.2 实时背景差分 (19)
3.3 图像增强 (20)
3.4 火焰分割 (22)
- IV -
哈尔滨工业大学工学硕士学位论文
3.4.1 最大类间方差阈值法 (22)
3.4.2 特征空间聚类法 (24)
3.4.3 颜色提取法 (26)
3.5 烟雾分割 (27)
3.5.1 颜色提取法 (27)
3.5.2 基于视觉一致性聚类法 (30)
3.6 本章小结 (33)
第4章火焰与烟雾的特征识别 (34)
4.1 引言 (34)
4.2 火焰的颜色特征 (34)
4.2.1 各色彩空间比较 (34)
4.2.2 火焰图像分布模型 (35)
4.2.3 YCbCr空间分析 (39)
4.3 火焰的动态特征 (41)
4.3.1 不规则性 (41)
4.3.2 扩散性 (42)
4.3.3 相似性 (42)
4.3.4 稳定性 (43)
4.4 烟雾的小波特征 (44)
4.5 烟雾的动态特征 (45)
4.5.1 扩散性 (45)
4.5.2 不规则性 (45)
4.6 本章小结 (46)
第5章实验结果分析 (47)
5.1引言 (47)
5.2 火灾识别的总体流程 (48)
5.3 火焰分割与识别结果分析 (48)
5.3.1 火焰分割结果 (49)
5.3.2 火焰特征识别结果分析 (50)
5.4烟雾分割与识别结果分析 (57)
5.4.1 烟雾分割结果 (57)
5.4.2 烟雾特征识别结果分析 (59)
5.5 本章小结 (60)
- V -
结论 (61)
参考文献 (62)
攻读学位期间发表的学术论文 (67)
哈尔滨工业大学硕士学位论文原创性声明 (68)
哈尔滨工业大学硕士学位论文使用授权书 (68)
致谢 (69)
- -
VI
哈尔滨工业大学工学硕士学位论文
第1章绪论
1.1课题背景
信息技术迅猛发展，图像压缩及视频监控等技术已经深入到社会生活的各个方面，而森林火险预警的重要手段之一就是对现场的直接观测。

所以实现森林防火指挥中心对于所管辖地区的全天候图像监测是森林防火发展的必然趋势。

通过全新的高科技手段，降低森林火险等级，其经济效益、社会效益均极其显著[1,2]。

靠人工瞭望发现火点时效不理想并且准确性不高，一旦发生大火，很难掌握火场形势。

利用飞机航测时由于大火上空烟幕的影响，能见度不高，效果也不理想。

利用卫星监测虽然能够解决这些问题，但是我国基本采用租用国外卫星的方法对我国森林地区进行监测，所付出代价相当昂贵[3]。

考虑到经济上因素的制约，并结合我国的具体情况，提出自主开发的森林火灾自动监测技术的研究计划是非常必要的。

自动监测系统一方面可减轻人的体力劳动，另一方面也可延伸人的感官功能，扩大监测范围，即使在恶劣的条件下也能正常工作。

另外利用通信技术实现远程火灾监测，通过对可疑图像进行识别，为火灾预测和及时发现火灾奠定必要基础，避免森林火灾面积的进一步扩大，从而将火灾造成的影响降到最低限度，也为我国在森林防火技术方面上积累科学经验[4]。

数字图像处理技术是研究模拟人眼的功能来完成人们某些工作的一门学科。

数字图像处理技术已应用于卫星遥感、遥测、气象预报、医疗诊断等诸多领域。

并获得了较好的成效[5]。

可以说凡是人眼所能感知的地方都能用数字图像处理系统来替代人眼的功能。

基于图像处理的火灾识别是运用通用的数字图像处理技术和模式识别技术，依据火灾火焰的图像特性来解决某些特殊场所的火灾探测的难题，实现无人看守地区火灾自动报警的目的。

本文基于上述需求，研究了火灾中火焰和烟雾图像的目标分割及特征识别的问题。

- 1 -
1.2课题来源
本课题来源于黑龙江省科技攻关项目－森林防火远程图像无线传输系统。

我省森林火灾预防主要采取瞭望塔及人工巡逻检查的方式[6]。

各个瞭望塔与指挥中心直线距离远，且地处森林深处，无法架设有线电缆。

本系统利用塔上现有装备即短波无线电台，在塔上搭建远程图像捕捉系统，利用嵌入式系统实现图像压缩，并对压缩后的图像数据流根据无线传输特性重新编码，并通过数字调制解调器，将数字信息调制到短波语音信道，传输到指挥中心。

中心将接受的图像信息用台式机解压缩和还原，实现指挥中心对火险监查现场可视。

摄像头
图1-1森林防火系统框图
系统的整体硬件设计框图如图1-1所示。

图像采集为全天候24小时，前端采集设备为普通CCD摄像头，在有条件情况下可采用可见光和红外成像双机方案。

本文主要研究可见光条件下普通CCD摄像头获取的图像。

图像处理部分，将采集来的图像经数模转换后，首先进行实时的火灾识别，当发现有火灾时利用高速数字信号处理器运算，实现基于检测现场内容的JPEG2000方式压缩[7]，对可疑的(感兴趣)区域提高分辨率，而总体不改变图像压缩率，从而保证图像质量；图像传输部分，将图像数据分组，针对无线
- 2 -
哈尔滨工业大学工学硕士学位论文
传输信道特征进行纠错编码，经短波调制解调器后送入短波电台发送；终端的指挥中心，将多路短波电台数据分别接收（频分方式），再经过信道解码、图像解压缩、将图像还原为检测现场图像存档。

指挥中心可发送相关控制指令，调整检测点图像设备切换及检测角度变换等。

1.3森林防火技术的研究现状
1847年美国牙科医生Charming和缅因大学教授Farmer研制出了世界上第一台用于城镇火灾报警的发送装置[8,9]，1890年英国研制成功了第一个感温式火灾探测器，国外己经有了一百五十多年的火灾自动监测报警技术的研究。

传统火灾探测方法中最常用的有感烟探测、感温探测和复合型探测。

感烟型火灾探测器是探测火灾产生的烟气并发出报警信号。

火灾发生后，温度较高的火灾烟气向上运动，安装于顶棚上的感烟探测器探测到烟气的浓度大于某一极限浓度，就会发出报警信号。

但是火灾烟气在上升过程中会随着高度的增加而温度逐渐降低，当空间高度增大时，烟气将不能到达顶棚，或者由于空气的流动，使到达顶棚的烟气浓度达不到报警极限，感烟探头就不会产生报警信号。

另外，长期的粉尘环境和过大的湿度也会使离子感烟型探测器失效，产生误报警或不报警。

感温型火灾探测器是探测由于火灾而产生的温度变化来发出报警信号的。

由于空间高度或空气的流动等原因，使火灾高温气体无法到达顶棚，此时感温火灾探测器将无法发挥正常的作用。

或者当环境温度较高时，该类防火探测器容易产生误报。

复合型火灾探测器并没有完全消除以上的缺点，仅仅增加了判据的数目，使探头的整体性能稍有改善，但仍无法应用于大空间或自然环境的火灾的探测报警。

由于传统火灾探测系统结构简单并易于实现，所以已经得到广泛的应用。

但由于火灾发生的不确定性和多变性，传统火灾探测器不可避免地要受到监控环境因素的影响，这些影响在森林火灾监测中更加明显，需要进一步研究新的方法[10]。

在国际上，林火监测技术得到工业发达国家的高度重视。

意大利研制成功能感知120平方英里范围内火灾引起温度变化的林火监测系统。

它配备一台共享传感器和一台摄像机，以及一台由测量地面温度的红外线监测器。

这种监测器能以每分钟旋转360度的转速对林区进行扫描，如果在连续3次的旋
- 3 -
转中均发现地面温度升高，便发出火灾警报。

以色列飞机公司的飞鸟2001型遥控无人驾驶飞机可以准确地报告森林起火的时间、林火规模、蔓延速度等信息。

由控制地面站接受飞机上的电脑资料，然后传给灭火指挥部和前方灭火营地。

我国的林火监测技术和国外比还存在差距。

采用常规的瞭望塔、护林塔和飞机监测火情是我国常规的火灾监测方法，但是受监测范围、时次有限和费用高昂的约束，尤其在人迹罕见的原始林区，它们的作用受到限制。

为此我国设立了以国家林业局卫星林火监测处，租用美国的两颗气象卫星NOAH-12和NOAA-14，主要是从气象卫星收集的气象资料中提取有关林火方面的信息，对同地点一昼夜至少扫描4次。

1.4图像型火灾检测的研究现状
随着计算机科学和图像处理技术的发展，人们发现可燃物在燃烧时会放出频率范围从紫外到红外的光波，在可见光波段，火焰图像具有独特的色谱、纹理等方面的特征，使之在图像上明显的区别于背景。

利用这些特征，采用图像处理的方法对火灾进行识别。

根据燃烧学的原理，在火焰燃烧时，其放出的能量95%集中于红外波段。

所以，在进行图像处理时，也关心红外波段的图像识别，可以利用红外成像的原理获取燃烧所发出的红外图像进行图像处理从而达到监控的目的。

当检测到火灾发生时，根据计算机视觉原理知识，通过摄像头所获取的红外图像和彩色图像来判断火灾的发生，从而实现智能监控[11]。

由于视觉所接受的信息是以光为传播媒介，图像检测比传统探测方法能更快速地做出判断。

图像信息的丰富和直观，更为早期火灾的辨识和判断奠定了基础，其它任何火灾探测技术均不能提供如此丰富和直观的信息。

其它任何火灾探测技术, 均不能提供如此丰富和直观的信息，图像检测技术具有以下优势：
(1)可以在大空间、大面积的环境中使用；
(2)可以在多粉尘、高湿度的室内场所中使用；
(3)可以提供直观的、丰富的火灾信息；
(4)可以对火灾现象中的图像信息做出快速的反应；
(5)可以有效提高报警的准确度，减少漏报和误报。

图像检测的关键器件--像敏感组件通过光学镜头与外界只发生了间接接
- 4 -
哈尔滨工业大学工学硕士学位论文
触[12]。

这种非接触式的探测技术，防腐蚀性能和密封性能良好，抗干扰能力强，同时结合数字通信和数字图像处理技术，分析火灾火焰的图像特征，可以很好的解决大空间或自然环境下的火灾识别问题。

1.4.1火焰与烟雾图像特征分析
光辐射是一种电磁波，其波长在1nm到lmm之间。

人眼只对380nm~780nm的电磁波有亮度感觉，因此该波段的电磁波被称为可见光。

而波长小于400nm的电磁波被称为紫外线，波长大于750nm的电磁波被称为红外线。

火焰燃烧的红外辐射主要集中于950nm~2000nm的波段[13]。

在燃烧过程中，火焰会呈现出不同的颜色。

火焰的颜色是由于电子在核外运动时有不同的能级，各种能级上的能量是一个一个不连续的确定值，在正式常状态下，原子总是处在能量最低的基态，当原子被火焰、电弧、电火花激发时，核外电子就会吸收能量而被激发跃迁到较高的能级上去，处于激发态的电子不稳定，当它跃回到能量较低的能级时就会发出一定能量、一定波长的光谱线，即表现为颜色。

在早期火灾阶段，火焰的从无到有是一个发生发展的过程。

这个阶段火焰的图像特征就更加明显。

不同时刻火焰的形状、面积、辐射强度等都在变化。

抓住火灾的这些特点可以为火灾的识别打下良好的基础。

目前已提出的火灾识别判据中，主要是对火焰的识别[14]。

根据识别算法设计所基于的判据类型，可以分为两大类：
(1) 基于火焰静态特征的识别算法，包括对图像进行预处理、火焰颜色识别、火焰形状识别。

通常通过神经网络或者相似性比对进行识别。

(2) 基于火焰动态特征的识别算法，包括基于火焰闪烁频率设计的识别算法、基于火焰无序性设计的识别算法、基于火焰面积增长性设计的算法等。

以下是图像型火灾探测方法中可能用到的图像信息：
(1) 面积变化：早期火灾是着火后火灾不断发展的过程。

在这个阶段，火灾火焰的面积呈现连续的、扩展性的增加趋势。

在图像处理中，面积是通过分割后统计图像的像素数来实现的。

当其他高温物体向着摄像头移动或者从视野外移入时，探测到的目标面积也会逐渐增大，容易造成干扰。

因此，面积判据需要配合其他图像特性一起使用。

(2) 边缘变化：早期火灾火焰的边缘变化有一定的规律，同其他的高温
- 5 -
物体以及稳定火焰的边缘变化不同。

精确的方法是用边缘检测和边缘搜索算法将边缘提取出来，根据边缘的形状、曲率等特性对边缘进行编码，再根据编码提取边缘的特征量。

利用这些特征量在早期火灾阶段中进行火灾判断。

(3) 形体变化：早期火灾火焰的形体变化反映了火焰在空间分布的变化。

在早期火灾阶段，火焰的形状变化、空间取向变化、火焰的抖动以及火焰的分和等，具有自己独特的变化规律。

在图像处理中，形体变化特性是通过计算火焰的空间分布特性，即像素点之间的位置关系来实现的。

(4) 闪动规律：火焰的闪动规律，即亮点在空间上的分布随时间变化的规律。

火焰在燃烧过程中会按某种频率闪烁。

在数字图像中就是灰度级直方图随时间的变化规律，这个特性体现了一帧图像的像素点在不同灰度级上随时间的变化情况。

(5) 分层变化：火焰内部的温度是不均匀的，并且表现出一定的规律。

火灾中的燃烧属于扩散燃烧，扩散燃烧的火焰都有明显的分层特性。

如蜡烛火焰分为焰心、内焰、外焰；木材等固体燃烧时由于表面辐射很强，可以分为固体表面与火焰部分两大层，而火焰部分还可以再分层。

分层变化特性体现了不同灰度级的像素点在空间的分布规律。

(6) 整体移动：早期火灾火焰是不断发展的火焰，随着旧的燃烧物燃尽和新的燃烧物被点燃，火焰的位置不断移动。

所以火焰的整体移动是连续的、非跳跃性的。

火灾火焰具有较多的特性，需要从中找出适合火灾识别的并且处理速度较快的方法。

因此要在理论上、技术上作进一步的探讨，并作深入的研究和试验。

作为一个火灾识别系统，应综合考虑各方面的因素从而达到技术上、性能上的指标符合实际需要。

一般情况下，燃烧过程中产生的烟雾颜色主要集中在白色、灰色、青色、黑色这些颜色中。

由于烟雾实质上是在空气中的离子，对光有反射性，所以周围环境的光线颜色也会对烟雾颜色产生影响。

由于扩散现象的实质是分子不停地做无规则运动的结果，所以烟雾在空气中呈现出不规则的形状，其边缘一般是不规则的曲线。

烟雾另一个重要的特性是扩散性。

扩散是由于微粒（原子、分子等）的热运动而产生的质量迁移现象，主要是由密度差引起的。

在扩散过程中，气体分子从密度较大的区域移向密度较小的区域，经过一段时间的运动，密度分布趋向均匀。

同时随着温度的升高，加快了气体分子的运动速度，使扩散的速度加快。

随着燃烧的继续进行，产生的烟雾越来越多，在空气中占据了
- 6 -
哈尔滨工业大学工学硕士学位论文
越来越大的空间，由于烟雾有颜色，浓度提高时，烟雾的透明度降低，可见度也随之提高。

烟雾在视频中的面积随着时间的推移逐渐变大。

1.4.2图像型火灾检测的技术现状
图像是一种包含强度、形体、位置等信息的信号，因此利用图像进行火灾探测有其独特的优势。

目前国内外对这种新的火灾探测技术开展了深入研究。

文献15和文献16提出了一种“视频火灾探测”方法[15,16]，利用多个温敏探头将火灾现场的温度幅度和分布信息转化为灰度信息，用黑白摄像头采集灰度信息进行处理，实现火灾的定位并可计算出火灾的热释放速率。

文献17提取电站锅炉燃烧火焰的图像特征，并用人工神经网络的方法对火焰形态作了研究，在区分燃烧情况方面得到了较好的结果[17]。

文献18阐述了火灾图像探测的基本原理，并且提出了提取早期火灾火焰辐射持性、形体变化特性的几种新方法[18]。

文献19对早期火灾火焰的辐射特性和形体变化特性作了系统的分析，并用常规的图像处理方法实现了一个完整的火灾图像探测系统[19]。

Yamagishi曾经提出一种彩色图像的火焰的检测算法[20,21]，我国台湾的研究人员也对基于视频图像处理的火焰识别技术进行了研究[22]。

综合国内外的火灾图像识别研究，目前为止，大都是在灰度图的基础上进行处理，一般采用比较单一的判据，漏报和误报率往往比较高，系统的鲁棒性和适应性相对较差[23]，这些都是困扰火灾图像识别研究人员的世界性难题。

1.4.3图像型火灾检测的应用现状
在科学技术迅猛发展的今天，国外各大公司和科研机构的火灾探测技术也相应的快速发展，例如，Bosque公司的BSDS系统采用红外和普通摄像机的双波段监控，在准确识别森林火灾的同时还可以区别其它现象的干扰，误报率很低。

在大空间火灾监控方面有ISL公司和Magnox Electric公司联合开发的用于电站火灾监控的VSD-8系统。

该系统以视频运动检测软件为主体，使用了各种滤波器技术，并与人工智能相结合，该系统可以用来对电站内的火灾进行监控。

我国在火灾报警控制系统的研究开发相对较晚一些，到二十世纪八十年代中期才开始这方面的研制开发[24,25]。

但发展十分迅速，现在已经基本达到
- 7 -
国际先进水平。

国内对火灾探测和自动灭火的研究目前以中国科技大学的火灾科学国家重点实验室做得比较领先。

该实验室研制的LA-100型双波段大空间早期火灾智能探测和自动灭火系统通过了有关方面的验收，并已转化成产品。

此外，上海交通大学、西安交通大学、哈尔滨工程大学等都在火灾探测方面进行了积极的研究，并根据工程实践提出了一些改进算法。

但是迄今为止，并没有研制出令人满意的系统，还存在火灾误报率较高的问题，实用程度还有待提高。

1.5论文的主要内容及结构安排
1.5.1论文的研究内容
图像型火灾检测系统，是利用CCD摄像机作为探头，将被监视现场的彩色或红外图像输入计算机，然后利用图像处理的算法从单幅图像和图像序列中来识别有无火灾的发生。

在发现火灾的情况下，及时将图片传回指挥中心。

在基于图像处理的火灾监控系统中，图像处理的算法、火灾识别算法决定了系统的性能。

本论文主要研究内容如下：
第一，研究了火灾发生的条件、环境及发生时的情况。

分析了烟雾及火焰的各自的产生机理和特征，并提出自动报警方案。

第二，讨论了经典的图像分割和滤波理论在火灾图像处理中的运用。

第三，研究了烟雾及火焰的多种分割方法。

图像分割是图像处理中一项基本而关键的技术，分割质量的好坏往往影响到后续处理，如目标识别等性能的好坏。

因此本文将火焰图像的分割方法作为研究重点之一，设计了适合复杂背景的目标分割方法。

第四，对烟雾及火焰的图像信息分析研究，从中总结出颜色特征及动态特征方面的规律性，作为识别算法的设计的主要依据。

第五，应用分割方法和特征识别方法实验了大量森林环境和其它自然环境下的图片，进行算法的验证。

1.5.2论文的结构安排
本文第1章介绍了课题的来源、目的和意义，并对目前国内外的森林防火系统及其中的关键技术做了综述，最后阐述了图像型火灾检测技术的提出
- 8 -。