数字图像处理基础知识总结

第一章数字图像处理概论

*图像是对客观存在对象的一种相似性的、生动性的描述或写真。

*模拟图像

空间坐标和明暗程度都是连续变化的、计算机无法直接处理的图像

*数字图像

空间坐标和灰度均不连续的、用离散的数字（一般整数）表示的图像（计算机能处理）。是图像的数字表示，像素是其最小的单位。

*数字图像处理（Digital Image Processing）

利用计算机对数字图像进行（去除噪声、增强、复原、分割、特征提取、识别等）系列操作，从而获得某种预期的结果的技术。（计算机图像处理）

*数字图像处理的特点（优势）

（1）处理精度高，再现性好。（2）易于控制处理效果。（3）处理的多样性。（4）图像数据量庞大。（5）图像处理技术综合性强。

*数字图像处理的目的

（1）提高图像的视感质量，以达到赏心悦目的目的

a.去除图像中的噪声；

b.改变图像的亮度、颜色；

c.增强图像中的某些成份、抑制某些成份；

d.对图像进行几何变换等，达到艺术效果；

（2）提取图像中所包含的某些特征或特殊信息。

a.模式识别、计算机视觉的预处理

（3）对图像数据进行变换、编码和压缩，以便于图像的存储和传输。

**数字图像处理的主要研究内容

（1）图像的数字化

a.如何将一幅光学图像表示成一组数字，既不失真又便于计算机分析处理

b.主要包括的是图像的采样与量化

（2*）图像的增强

a.加强图像的有用信息，消弱干扰和噪声

（3）图像的恢复

a.把退化、模糊了的图像复原。模糊的原因有许多种，最常见的有运动模糊，散焦模糊等（4*）图像的编码

a.简化图像的表示，压缩表示图像的数据，以便于存储和传输。

（5）图像的重建

a.由二维图像重建三维图像（如CT）

（6）图像的分析

a.对图像中的不同对象进行分割、分类、识别和描述、解释。

（7）图像分割与特征提取

a.图像分割是指将一幅图像的区域根据分析对象进行分割。

b.图像的特征提取包括了形状特征、纹理特征、颜色特征等。

（8）图像隐藏

a.是指媒体信息的相互隐藏。

b.数字水印。

c.图像的信息伪装。

（9）图像通信

**图像工程的三个层次

图像理解（从图像到解释）-图像分析（从图像到数据）-图像处理（从图像到图像）

1、抽象程度（高—低）

2、数据量（小—大）

3、语义（高层、中层、低层）

4、操作对象（符号、目标、像素）

*图像分析：图像分析主要是对图像中感兴趣的目标进行检测和测量，以获得它们的客观信息，从而建立对图像的描述。

*图像理解：图像理解的重点是在图像分析的基础上，进一步研究图像中各个目标的性质和他们之间的相互联系，并得出对图像内容含义的理解以及对原来客观场景的解释，从而指导和规划行动。

图像处理：【图像输入——（图像处理<增强、复原、编码、压缩等>）——图像输出）图像识别：【图像输入——（图像预处理<增强、复原>）——（图像分割）——（特征提取）——（图像分类）——类别、识别结果】

图像理解：【图像输入——（图像预处理）——（图像描述）——（图像分析和理解）——图像解释】

*数字图像处理的应用领域：

通信：图象传输，电视电话等。

宇宙探测：星体图片处理。

遥感：地形、地质、矿藏探查，森林、水利、海洋、农业等资源调查，自然灾害预测，环境污染的监测，气象云图。

生物医学：CT，X射线成象，B超，红外图象，显微图象。

工业生产：产品质量检测，生产过程控制，CAD，CAM。

军事：军事目标侦察，制导系统，警戒系统，自动火器控制，反伪装等。

公安：现场照片，指纹，手迹，印章，人像等处理和鉴别。

档案：过期的文字、图片档案的修复和处理。

机器人视觉

娱乐：电影特技，动画，广告，MTV等

*数字图像处理的发展动向

（1）提高精度，提高处理速度（2）加强软件研究，开发新方法（3）加强边缘学科的研究工作（4）加强理论研究（5）图像处理领域的标准化问题

第二章数字图像处理基础

*电磁辐射波：

（1）在实际的图像处理应用中，最主要的图像来源于电磁辐射成像。

（2）电磁辐射波包括无线电波（1m-100km）、微波(1mm-1m)、红外线(700nm-1mm)、可见光(400nm-700nm)、紫外线(10nm-400nm)、X射线(1nm-10nm)、γ射线(0.001nm-1nm)。

（3）电磁辐射波的波谱范围很广，波长最长的是无线电波为2

3?m，其波长是可见光波

10

长的几十亿倍；波长最短的是γ射线，波长为17-

3?，其波长比可见光小几百万倍。

10

*太阳的电磁辐射波

(1)太阳的电磁辐射波恰好主要占据整个可见光谱范围。

(2)可见光随波长的不同依次呈现出紫、蓝、绿、黄、橙(橘红)、红六种颜色，白光是由不同颜色的可见光线混合而成的。

(3)人从一个物体感受到的颜色是由物体反射的可见光的特性决定的，若一个物体反射的光在所有可见光波长范围内是平衡的，则对观察者来说显示的是白色；若一个物体只反射可见光谱中有限范围的光，则物体就呈现某种颜色。

*电磁波谱与可见光谱相关概念

(1)仅有单一波长成份的光称为单色光，含有两种以上波长成份的光称为复合光，单色光和复合光都是有色彩的光。三基色（红色、绿色、蓝色），三补色（黄色、品色、青色）。 (2)没有色彩的光称为消色光。消色光就是观察者看到的黑白电视的光，所以消色指白色、黑色和各种深浅程度不同的灰色。

(3)消色光的属性仅有亮度或强度，通常用灰度级描述这种光的强度。

*简单的图像成像模型

一幅图像可定义成一个二维函数f(x,y)。由于幅值f 实质上反映了图像源的辐射能量，所以f(x,y)一定是非零且有限的，也即有： 0

图像是由于光照射在景物上，并经其反射或透射作用于人眼的结果。所以：f(x,y)可由两个分量来表征，一是照射到观察景物的光的总量，二是景物反射或透射的光的总量. 设i(x,y)表示照射到观察景物表面(x,y)处的白光强度，r(x,y)表示观察景物表面(x,y)处的平均反射(或透射)系数，则有：

f(x,y)=i(x,y)r(x,y)

其中： 0 < i(x,y) < A1 (2.4) 0（全吸收） ≤ r(x,y) ≤ 1（全反射）

对于消色光图像(有些文献称其为单色光图像)，f(x,y)表示图像在坐标点(x,y)的灰度值l ，且： l=f(x,y) (2.5)

这种只有灰度属性没有彩色属性的图像称为灰度图像。 由式(2.4)，显然有：

m i n L ≤l ≤max L (2.6) 区间],[max min L L 称为灰度的取值范围。

在实际中，一般取min L 的值为0，这样,灰度的取值范围就可表示成[0，max L ]。

*马赫带效应

明暗交界处亮处更亮、暗处更暗的现象

*图像的质量评价

1、层次：实际的灰度级数

2、清晰度：与亮度、对比度、尺寸、细微层次、饱和度等有关

3、对比度：最小亮度

最大亮度

*数字图像的表示

当一幅图像的x 和y 坐标及幅值f 都为连续量时，称该图像为连续图像。为了把连续图像转换成计算机可以接受的数字形式，必须先对连续的图像进行空间和幅值的离散化处理。 (1)图像的采样： 对图像的连续空间坐标x 和y 的离散化，必须满足二维采样定理，以确保无失真或有限失真的恢复图像，最大采样间隔由奈奎斯特定理确定； (2)图像灰度级的量化： 对图像函数的幅值 f 的离散化。

*均匀采样：

对一幅二维连续图像f(x,y)的连续空间坐标x 和y 的均匀采样，实质上就是把二维图像平面在x 方向和y 方向分别进行等间距划分，从而把二维图像平面划分成M ×N 个网格，并使各网格中心点的位置与用一对实整数表示的笛卡尔坐标(I,j)相对应。二维图像平面上所有网格中心点位置对应的有序实整数对的笛卡尔坐标的全体就构成了该幅图像的采样结果。

*均匀量化：

对一幅二维连续图像f(x,y)的幅值f 的均匀量化，实质上就是将图像的灰度取值范围[0，

max L ]划分成L 个等级（L 为正整数，max L =L-1），并将二维图像平面上M ×N 个网格的中心

点的灰度值分别量化成与L 个等级中最接近的那个等级的值。

*数字图像的表示: 为了描述上的方便,本书仍用f(x,y)表示数字图像。设x ∈[0，M-1]，y ∈[0，N-1]，f ∈[0，L-1]，则数字图像可表示成式(2.7)形式的一个M ×N 的二维数字阵列。

每个(x,y)对应数字图像中的一个基本单元，称其为图像元素(picture element)，简称为像素（pixel ）；且一般取M 、N 和灰度级L 为2的整次幂，即： M=2~m （2.8） N=2~n （2.9） k L 2 （2.10） 这里，m 、n 和k 为正整数。

存储一幅M ×N 的数字图像，需要的存储位数为：

b = M × N × k （bit ） （2.11） 字节数为：B=b/8(byte)

**空间分辨率

(1)空间分辨率是图像中可分辨的最小细节，主要由采样间隔值决定。

(2**)一种常用的空间分辨率的定义*是单位距离内可分辨的最少黑白线对数目(单位是每毫米线对数)，比如每毫米80线对。另外，当简单地把矩形数字化仪的尺寸看作是“单位距离”时，就可把一幅数字图像的阵列大小M ×N 称为该幅数字图像的空间分辨率。

(3)对于一个同样大小的景物来说，对其进行采样的空间分辨率越高，采样间隔就越小，景物中的细节越能更好地在数字化后的图像中反映出来，也即反应该景物的图像的质量就越高。

(4) 一幅数字图像的阵列大小（简称为图像大小）通常用M ×N 表示。在景物大小不变的情

况下，采样的空间分辨率越高，获得的图像阵列M ×N 就越大；反之，采样的空间分辨率越低，获得的图像阵列M ×N 就越小。在空间分辨率不变的情况下，图像阵列M ×N 越大，图像的尺寸就越大；反之，图像阵列M ×N 越小，图像的尺寸就越小。

**采样数（1、2）、空间分辨率（3）变化对图像视觉效果的影响：

（1）在图像的空间分辨率不变（这里指线对宽度不变）的情况下，采样越少，图像越小。 （2）在景物大小不变的情况下，图像阵列M*N 越小，图像的尺寸越小。

（3）随着空间分辨率的降低，图像中的细节信息在逐渐损失，棋盘格似的粗颗粒像素点变得越来越明显。由此也说明，图像的空间分辨率越低，图像的视觉效果越差。

**灰度分辨率

灰度级分辨率是指在灰度级别中可分辨的最小变化，通常把灰度级级数L 称为图像的灰度级分辨率。

**灰度分辨率变化对图像视觉效果的影响：

随着灰度分辨率的降低，图像的细节信息在逐渐损失，伪轮廓信息在逐渐增加。图中由于伪轮廓信息的积累，图像已显现出了木刻画的效果。由此也说明：灰度分辨率越低，图像的视觉效果越差。

**灰度直方图

图像的灰度直方图，是一种表示数字图像中各级灰度值及其出现频数的关系的函数。 设一幅数字图像的灰度级范围为[0,L-1]，则该图像的灰度直方图可定义为： h(rk)=nk (r=0,1,2,…,L -1) (2.19)

其中，rk 表示第k 级灰度值，h(rk)和nk 表示图像中灰度值为rk 的像素个数。

**灰度直方图具有如下一些特征：

（1）直方图仅能描述图像中每个灰度级具有的像素个数,不能表示图像中每个像素的位置（空间）信息；

（2）任一特定的图像都有惟一的直方图，不同的图像可以具有相同的直方图； （3）对于空间分辨率为M ×N ，且灰度级范围为[0，L-1]的图像，有关系：

（L-1）求和符（j=0） = M×N (2.20) （4）如果一幅图像由两个不连接的区域组成，则整幅图像的直方图等于两个不连接的区域的直方图之和。

*灰度直方图的应用

1、判断量化是否恰当；

2、确定图像二值化阈值；

3、计算物体面积；

4、计算图像信息量（熵）i L i i P P H 21

-0

log -∑==

*显示分辨率是指显示屏上能够显示的数字图像的最大像素行数和最大像素列数，取决于显示器上所能够显示的像素点之间的距离。

*图像分辨率反映了数字化图像中可分辨的最小细节，也即图像的空间分辨率。在这里将图像分辨率看成是图像阵列的大小。

同一显示器（或显示分辨率相同的不同显示器）显示的图像大小只与被显示的图像（阵列）的空间分辨率大小有关，与显示器的显示分辨率无关。

换句话说，具有不同空间分辨率的数字图像在同一显示器上的显示分辨率相同。

当同一幅图像（或图像分辨率相同的不同图像）显示在两个不同显示分辨率的显示器上时，显示的图像的外观尺寸与显示器的显示分辨率有关：显示分辨率越高，显示出的图像的外观尺寸越小；显示分辨率越低，显示出的图像的外观尺寸越大。

*光分辨率是指显示系统在每个像素位置产生正确的亮度或光密度的精度，部分地依赖于控制每个像素亮度的比特数。

*灰度分辨率是指在灰度级别中可分辨的最小变化,一般把灰度级数L称为数字图像的灰度级分辨率。

人眼的视觉过程是一个复杂的过程，可用亮度（灰度）、色调和饱和度这三个基本特征量来区分颜色。

*亮度与物体的反射率成正比；

*色调与混合光谱中主要光的波长相联系；

*饱和度与色调的纯度有关。

**位映像是指一个二维的像素阵列。

**位图是指采用位映像方法显示和存储的图像。

**位映像设备是指把位映像形式的二维像素阵列图像，按先行后列的顺序，通过逐像素地重复扫描的方式来显示位图的设备（显示器）。

*常用的图像文件格式有：

BMP、GIF、TIFF、PCX、JPEG等。

*BMP文件（Bitmap File）是一种Windows采用的点阵式图像文件格式。

**BMP图像文件的组成：

（1）位图文件头（Bitmap File Header）标识名称：（BITMAPFILEHEADER）：说明文件的类型和位图数据的起始位置等，共14个字节。

（2）位图信息头（Bitmap Information Header）（BITMAPINFORMATION）：说明位图文件的大小、位图的高度和宽度、位图的颜色格式和压缩类型等信息。共40个字节。

（3）位图调色板（Bitmap Palette）（RGBOUAD）：由位图的颜色格式字段所确定的调色板数组，数组中的每个元素是一个RGBQUAD结构，占4个字节。

（4）位图数据（Bitmap Data）（BYTE）：位图数据，位图的压缩格式确定了该数据阵列是压缩数据或是非压缩数据。

*图像的位图数据表示的图像共有biWidth×biHeight个像素。

*图像的位图数据是按行存储的，每一行的字节数按照4字节边界对齐,也即每

一行的字节数是4的倍数，不足的字节用0补齐。

*图像的位图数据是按行从下到上、从左到右排列的。也就是说，从图像的位图数据中最先读到的是图像最下面一行的最左边的像素，最后读到的是图像最上面一行的最右边的一个像素。

第三、四章 图像变换

**图像变换是将图像从空域变换到其它域如频域的数学变换。

*图像变换的目的：

（1）使图像处理问题简化（2）有利于图像特征提取（3）有助于从概念上增强对图像信息的理解

*一维正交变换

对于一向量f ，用上述正交矩阵进行运算：g = Af 。若要恢复f ，则f=A~(-1）g=A~(T)g 。以上过程称为正交变换。

**傅立叶变换对（傅立叶变换和逆变换）一定存在的条件：

当一个一维信号f(x)满足狄里赫利条件，即f(x)：（1）具有有限个间断点；（2）具有有限个极值点；（3）绝对可积；

则其傅立叶变换对（傅立叶变换和逆变换）一定存在。

**傅立叶（Fourier ）变换的好处：

（1）可以得出信号在各个频率点上的强度。 （2）可以将卷积运算化为乘积运算。

*Fourier 变换后的图像，中间部分为低频部分，越靠外边频率越高。

**傅立叶（Fourier ）变换 一维傅立叶变换：

)(x f 为连续可积函数，其傅立叶变换定义为:dx e

x f u F ux

j ?

+∞

∞

--=

π2)()(

一维傅立叶变换其反变换为：du

e

u F x f ux

j ?

+∞

∞

-=

π2)()(

一维离散傅立叶变换: 正变换公式为：∑-=-=

1

2)(1

)(N x N

ux

j e

x f N

u F π，1...2,1,0-=N u

逆变换为：

∑

-==

1

2)()(N x N

ux

j e

u F x f π，1...2,1,0-=N

x

二维傅立叶变换：dxdy

e

y x f v u F vy ux j ?+∞

∞

-+-=

)

(2),(),(π

二维傅立叶变换逆变换：

dudv

e

v u F y x f vy ux j ?

+∞

∞

-+=

)

(2),(),(π

二维离散傅立叶变换:∑∑

-=-=+

=

101

)

(2-),(1),(M x N y N

vy M

ux

j e

y x f MN

v u F π

二维离散傅立叶变换逆变换：

∑∑

-=-=+

=

101

)

(2),(),(M u N v N

vy M

ux

j e

v u F y x f π

**二维离散傅立叶变换的性质: （1）线性性质：()()()()v u aF v u aF y x af y x af ,,,,2121±?±

（2）比例性质：),(

1),(b

v a u F ab

by ax f ?

（3）空间位移：()()??

? ??+-?--N vy ux j e

v u F y y x x f )(20000,,π

（4）平移性质：()00)(2,),(00v v u u F e

y x f N vy ux j --???

?

??+π

（5）周期性：

)

,(),(),(),(nN v mN u F v u F nN y mN x f y x f ++?++?，......2,1,0,±±=n m

（6）共轭对称性：)

,(),(v u F y x f --?*

*

（7）卷积定理：

)

,(),(),(),(),(),(),(),(v u G v u F y x g y x f v u G v u F y x g y x f *????*

第五章 图像增强

*图像增强的应用及其分类

图像处理最基本的目的之一是改善图像，而改善图像最常用的技术就是图像增强

*图像增强有两大类应用

改善图像的视觉效果，提高图像清晰度 突出图像的特征，便于计算机处理。

*图像增强按作用域分为两类，即空域处理和频域处理。

*频域处理则是在图像的某个变换域内，对图像的变换系数进行运算，然后通过逆变换获得

图像增强效果。

*频域处理与时域处理的异同： 同：都是一种图像处理方法； 异：时域处理是根据图像的时间函数对图像的不同时间特进行处理，而频域处理是针对图像的频谱。

*图像增强的点运算

对一副输入图像，经点运算将产生一副输出图像，后者的每个像素的灰度值仅由输入像素的值决定。

（1）对比度增强（2）对比度拉伸（3）灰度变换

*灰度变换法 **线性灰度变换

1、不分段：对于没有灰度层次，模糊不清的图像，可对每个灰度像素进行拉伸

2、分段：可用于抑制不感兴趣的图像区域

**非线性灰度变换

（1）对数变换c

b y x f a j i g ln ]1),(ln[),(++=，其中

c b a ,,是按需要可以调整的参数。

低灰度区扩展，高灰度区压缩。

（2）指数变换1),(]),([-=-a j i f c b j i g ，其中c b a ,,是按需要可以调整的参数。 高灰度区扩展，低灰度区压缩。

**直方图(Equalization)

表示数字图象中的每一灰度级与其出现的频率(该灰度级的象素数目)间的统计关系,用横坐标表示灰度级, 纵坐标表示频数(也可用概率表示)

**灰度直方图

图像的灰度直方图，是一种表示数字图像中各级灰度值及其出现频数的关系的函数。

**直方图均衡化

将原图象的直方图通过变换函数修正为均匀的直方图，然后按均衡直方图修正原图象。

*图象均衡化处理后，图象的直方图是平直的，即各灰度级具有相同的出现频数，那么由于 灰度级具有均匀的概率分布，图象看起来就更清晰了。

*直方图均衡化实质上是减少图象的灰度级以换取对比度的加大。

*在均衡过程中，原来的直方图上频数较小的灰度级被归入很少几个或一个灰度级内，故得不到增强。

*若这些灰度级所构成的图象细节比较重要，则需采用局部区域直方图均衡。

***均衡化表格：（示例中从r0~r7）

)

)((43)(2)

(10

相加相应的）确定）确定对比四舍五入，然后与对）计算）计计r k s sk

k k k k

j j

r

k P s P n r s s r

P s ∑==

**中值滤波法

用局部中值代替局部平均值 令[f(x,y)]--原始图象阵列， [g(x,y)]--中值滤波后图象阵列， f(x,y) --灰度级，

g(x,y) --以f(x,y)为中心的窗口内各象素的灰度中间值。

**中值滤波的特性

（1）对离散阶约信号、斜升信号不产生影响（2）连续个数小于窗口长度一半的离散脉冲将被平滑（3）三角函数的顶部平坦化（4）中值滤波后，信号频率谱基本不变

（2）优点：1、在平滑脉冲噪声方面非常灵敏，同时可以保护图像尖锐的边缘。2、不影响阶跃信号、斜坡信号，连续个数小于窗口长度一半的脉冲受到抑制，三角波信号顶部变平。 （3）缺点：1、对于高斯噪声不如均值滤波。2、图像中点、线、尖角等细节较多，则不宜采用中值滤波。

**均值滤波：

（1）优点：把每个像素都用周围的8个像素做均值操作，平滑图像速度快、算法简单。 （2）缺点：1、在降低噪声的同时，使图像产生模糊，特别是边缘和细节处，而且模糊尺寸越大，图像模糊程度越大。2、对椒盐噪声的平滑处理效果不理想。

**图像的锐化（增强高频分量减少图像模糊）

*目的

（1）图像平滑使图像变得模糊（2）图像识别中常常需要突出边缘和轮廓信息。 *方法

（1）平均、积分的逆运算，如微分、梯度（2）频谱的角度，高频分量被衰减，加强图像高频分量

*图像的锐化之微分法

（1）考察正弦函数sin2派ax ，它的微分2派a cos 2派ax 微分后频率不变，幅度上升2派a 倍。（2）空间频率愈高，幅度增加就愈大。（3）这表明微分是可以加强高频成分的，从而使图象轮廓变清晰。

*常用的梯度算子

（1）Roberts

0-11

0?? ???，-100

-1?? ???

； 各向同性；对噪声敏感；模板尺寸为偶数，中心位置不明显。

（2）Prewitt -101-101-10

1?? ? ? ??

?，-1-1-10001

1

1??

?

? ???

； 引入了平均因素，对噪声有抑制作用；操作简便。 （3）Sobel -1

01-2

02-10

1??

? ? ??

?，-1-2-10001

2

1??

?

? ???

； 引入了平均因素，增强了最近像素的影响，噪声抑制效果比Prewitt 好。 （4）Krisch 噪声抑制作用较好；需求出8个方向的响应（这里只给出2个模板） （5）Sobel

Isotropic -1

010-101?? ???

，-1-100011?? ?

? ???

；

权值反比于邻点与中心店的距离，检测沿不用方向边缘时梯度幅度一致，即具有各向

同性。

（6）Laplacian 算子：0-10-1

4-10-1

0??

? ? ??

?

所有系数之和为零，只保留边缘 （7）Laplacian 增强算子：0-10-1

5-10-1

0??

? ? ??

?

所有系数之和大于零，保留原图和边缘

**几种滤波对比：（依次为：振铃程度、图像模糊程度、噪声平滑效果）

ILPF 理想低通滤波：严重、严重、最好

TLPF 梯形低通滤波：较轻、轻、好

ELPF 指数低通滤波：无、较轻、一般

BLPF 巴特沃斯(Butterworth)低通滤波：无、很轻、一般

**几种滤波对比：

（1）理想高通滤波有明显的振铃现象，即图像边缘有抖动现象；

（2）Butterworth 高通滤波效果较好，但计算复杂，其优点是有少量低频通过，H(u,v)是渐变的，振铃现象不明显；

（3）指数高通效果比Butterworth 差些，振铃现象也不明显； （4）梯形高通会产生微振铃效果，但计算简单，故经常采用；

**图像增强的内容：

（1）消除噪声，改善图像的视觉效果（2）突出边缘，有利于识别和处理

*频域增强的一般过程：

(,)

(,)(,)(,)(,)(,)DFT

H u v IDFT

f x y F u v F u v H u v

g x y ???→???→???→滤波

**频域平滑原理：

噪声主要集中在高频部分，为除去噪声改善图像质量，采用低通滤波器抑制高频部分，然后再进行逆变换获得滤波图像，达到平滑图像的目的.

采用低通滤波

**同态滤波

(1)灰度级动态范围很大，即黑的部分很黑，白的部分很白，而我们感兴趣的图中的某一部分灰度级范围又很小，分不清物体的灰度层次和细节。

(2)采用一般的灰度线形变换是不行的，因为扩展灰度级虽可以提高物理图像的反差，但会使动态范围更大。

(3)而压缩灰度级，虽可以减少动态范围，但物理灰度层次和细节就会更看不清。

**(4)同态滤波是一种在频域中将图像亮度范围进行压缩和将图像对比度进行增强的方法。*同态滤波目的：消除不均匀照度的影响而又不损失图象细节。

*同态滤波依据：f(x,y)=i(x,y)r(x,y)

*同态滤波步骤：

（1）z(x,y)=lnf(x,y)=lni(x,y)+lnr(x,y)

（2）F(z(x,y))=F(lni(x,y))+F(lnr(x,y)),Z(u,v)=I(u,v)+R(u,v)

（3）压缩i(x,y)分量的变化范围，削弱I (u,v)，增强r(x,y)分量的对比度，提升R (u,v)，增强细节。S(u,v)=H(u,v)I(u,v)+H(u,v)R(u,v)

（4）i’(x,y)=F~-1(H(u,v)I(u,v));r’(x,y)=F~-1(H(u,v)R(u,v))

（5）i0(x,y)=exp(i’(x,y));r0(x,y)= exp(r’(x,y));g(x,y)=i0(x,y)r0(x,y)

第六章图像复原

**图像退化（为什么要恢复）

（1）图像的退化是指图像在形成、传输和记录过程中，由于成像系统、传输介质和设备的不完善，使图像的质量变坏。

（2）图像复原就是要尽可能恢复退化图像的本来面目，它是沿图像退化的逆过程进行处理。（3）图像退化的数学模型为：g(x,y)=f(x,y)*h(x,y)+n(x,y)，其中g(x,y)为劣化图像，h(x,y)为点扩散函数，n(x,y)为加性噪声。

**典型的图像复原定义：

是根据图像退化的先验知识建立一个退化模型，以此模型为基础，采用各种逆退化处理方法进行恢复，得到质量改善的图像。

**图像复原过程如下：找退化原因→建立退化模型→反向推演→恢复图像

**图像增强与图像复原的联系与区别？

（1）二者的目的都是为了改善图像的质量。

（2）图像增强不考虑图像是如何退化的，而是试图采用各种技术来增强图像的视觉效果。因此，图像增强可以不顾增强后的图像是否失真，只要看得舒服就行，偏向于主观判断。

（3）而图像复原就完全不同，需知道图像退化的机制和过程等先验知识，据此找出一种相应的逆处理方法，从而得到复原的图像。

（4）如果图像已退化，应先作复原处理，再作增强处理。

**点源的概念

一幅图像可以看成由无穷多极小的像素所组成，每一个像素都可以看作为一个点源成像，因此，一幅图像也可以看成由无穷多点源形成的。

**白噪声：图象平面上不同点的噪声是不相关的，其谱密度为常数。

(1)实用上，只要噪声带宽远大于图象带宽，就可把它当作白噪声。虽不精确，确是一个很方便的模型。

(2)当噪声与图象不相关时，噪声是加性的。

*采用线性位移不变系统模型的原由：

(1)由于许多种退化都可以用线性位移不变模型来近似，这样线性系统中的许多数学工具如线性代数，能用于求解图像复原问题，从而使运算方法简捷和快速。

(2)当退化不太严重时，一般用线性位移不变系统模型来复原图像，在很多应用中有较好的复原结果，且计算大为简化。

(3)尽管实际非线性和位移可变的情况能更加准确而普遍地反映图像复原问题的本质，但在数学上求解困难。只有在要求很精确的情况下才用位移可变的模型去求解，其求解也常以位移不变的解法为基础加以修改而成。

**逆滤波复原过程:

(1)对退化图像g(x，y)作二维离散傅立叶变换，得到G(u,v);

(2)计算系统点扩散函数h(x，y)的二维傅立叶变换，得到H(u,v);

(3)逆滤波计算F(u,v)=G(u,v)/H(u,v)

(4)计算F(u,v)的逆傅立叶变换，求得f(x,y)

**逆滤波的病态性:

如果考虑噪声项N(x, y)，则出现零点时，噪声项将被放大，零点的影响将会更大，对复原的结果起主导地位，这就是逆滤波的病态性质

**逆滤波的病态性的改进方法:

在H(u,v）=0及其附近，人为地仔细设置H~-1(u,v)的值，使N(u,v)*H~-1(u,v)不会对F（u，v）产生太大影响。

**图像的几何校正

(1)图像在获取过程中，由于成像系统本身具有非线性、拍摄角度等因素的影响，会使获得的图像产生几何失真。

(2)当对图像作定量分析时，就要对失真的图像先进行精确的几何校正（即将存在几何失真的图像校正成无几何失真的图像**），以免影响定量分析的精度。

(3)梯形失真；枕形失真；桶形失真

**几何校正方法:

图像几何校正的基本方法是先建立几何校正的数学模型；其次利用已知条件确定模型参数；最后根据模型对图像进行几何校正。通常分两步：

（1）图像空间坐标变换；首先建立图像像点坐标（行、列号）和物方（或参考图）对应点坐标间的映射关系，解求映射关系中的未知参数，然后根据映射关系对图像各个像素坐标进行校正；

（2）确定各像素的灰度值（灰度内插）。

*几何校正间接法:由于间接法内插灰度容易，所以一般采用间接法进行几何纠正。

(1)设恢复的图像像素在基准坐标系统为等距网格的交叉点，从网格交叉点的坐标f（x,y）出发，若干已知点，解求未知数。

(2)根据几何变换公式推算出各格网点在已知畸变图像上的坐标(x‘,y’)。

(3)由于(x‘,y’)一般不为整数，不会位于畸变图像像素中心，因而不能直接确定该点的灰度值，

(4)只能在畸变图像上，由该像点周围的像素灰度值通过内插，求出该像素的灰度值，作为对应格网点的灰度，据此获得校正图像

**像素灰度内插法:常用的有最近邻元法、双线性内插法和三次内插法三种。

第七章图像编码与压缩

*图像编码与压缩的内容（是什么）

（1）图像压缩在信息论中称为信源编码

（2）图像编码和压缩就是对图像数据按照一定的规则进行变换和组合，从而以尽可能少的代码表示尽可能多的信息。

（3）研究内容包括数据压缩的数据的表示、传输、变换和编码方法，目的是减少存储数据所需的空间和传输所用的时间。

**图像编码的基本原理

（1）图像数据压缩是可能的

（2）一般原始图像中存在很大的冗余度。

（3）空间冗余、时间冗余、视觉冗余、信息熵冗余、结构冗余、知识冗余

（4）用户对原始图像的信号不全都感兴趣，可用特征提取和图像识别的方法，丢掉大量无用的信息。提取有用的信息，使必须传输和存储的图像数据大大减少。

从信息论观点看，描述图像信源的数据由有用数据和冗余数据两部分组成。

**冗余数据有：编码冗余、像素间冗余、心理视觉冗余3种。

如果能减少或消除其中的1种或多种冗余，就能取得数据压缩的效果。因此图像信息的压缩是可能的。

但到底能压缩多少，除了和图像本身存在的冗余度大小有关外，很大程度取决于对图像质量的要求。

原始图像越有规则，各象素之间的相关性越强，它可能压缩的数据就越多。

**图像编码压缩分类

（1）根据解压重建后的图像和原始图像之间是否具有误差，图像编码压缩分为无误差（亦称无失真、无损、信息保持）编码和有误差（有失真或有损）编码两大类。【无损编码分为：霍夫曼编码、行程编码、算术编码；有损编码分为：预测编码、变换编码、其它编码。】 （2）根据编码作用域划分，图像编码为空间域编码和变换域编码两大类。

*图像保真度

描述解码图像相对原始图像偏离程度的测度一般称为保真度。

*最常用的客观保真度准则：

（1）原图像和解码图像之间的均方根误差（2）原图像和解码图像之间的均方根信噪比

**熵：1

20

=-log L i i i H P P -=∑（bit ）

**熵的性质：

（1）熵是一个非负数，即总有H(s)大于等于0。

（2）当其中一个符号s 小j 的出现概率p(s 小j)=1时，其余符号s 小i(i 不等于j)的出现概率p(s 小i)=0，H(s)=0。

（3）当各个s 小i 出现的概率相同时，则最大平均信息量为log （底：2）q 。 （4）熵值总有H(s)小于等于log （底：2）q 。

*熵与相关性、冗余度的关系：

（1）根据Shannon 无干扰信息保持编码定理，若对原始图像数据的信息进行信源的无失真图像编码，压缩后平均码率存在一个下限为信源信息熵 H 。理论上最佳信息保持编码的平均码长可以无限接近信源信息熵H 。

（2）**原始图像平均码长:1

=L i i i B P β-=∑（bit ）

*原始图像冗余度定义为：10B r H

=-≥

*编码效率定义为：1

11H r

B η=

=

≤+

*高效码: 冗余度接近于0，或编码效率接近于1的编码称为高效码。

*压缩比C 定义:d

n C n =

，其中n 表示原始图像的平均比特率，d n 编码后的平均比特率

**霍夫曼编码:

(1)这种编码方法根据源数据符号发生的概率进行编码。

(2)在源数据中出现概率越大的符号，相应的码越短；出现概率越小的符号，其码长越长，从而达到用尽可能少的码符号表示源数据。它在变长编码方法中是最佳的。

**霍夫曼编码方法

(1)将信源符号按出现概率从大到小排成一列，然后把最末两个符号的概率相加，合成一个概率。

(2)把这个符号的概率与其余符号的概率按从大到小排列，然后再把最末两个符号的概率加起来，合成一个概率。

(3)重复上述做法，直到最后剩下两个概率为止。

(4)从最后一步剩下的两个概率开始逐步向前进行编码。每步只需对两个分支各赋予一个二进制码，如对概率大的赋予码元0，对概率小的赋予码元1，如果相等，则从中任选一个赋0，另一个赋1。

(5)读出时由符号开始一直走到最后的概率和1，将路线上所遇到的0和1反向排序好就是该符号的霍夫曼编码。

**算术编码

（1）算术编码有两种模式：基于信源概率统计特性的固定编码模式和针对未知信源概率模型的自适应模式。

（2）自适应模式中各个符号的概率初始值都相同，它们依据出现的符号而相应地改变。只要编码器和解码器都使用相同的初始值和相同的改变值的方法，那么它们的概率模型将保持一致。

（3）有关实验数据表明，在未知信源概率分布的情况下，算术编码一般要优于Huffman 编码。在JPEG扩展系统中，就用算术编码取代了哈夫曼编码

**算术编码公式：

（1）StartN=StartB（即前一项的区间开始值）+LeftC（即该项的区间开始值）*L（即前一项的区间长度）

（2）EndN=StartB（即前一项的区间开始值）+RightC（即该项的区间右端值）*L（即前一项的区间长度）

（3）将最后的区间化为二进制，去0，把相同部分取出再在末尾加1，即为该数据序列的算术编码。

（4）解码（例）：字符串“dacab”的编码是0.1101101，对应的十进制数是0.8516。从编码过程来看，只有当第一个字母为“d”时，相应的区间[0.8,1.0)才包含编码0.1101101。接着，只有当第二个字母为a时，相应的区间[0.8,0.88)才会包含编码0.1101101；以此类推，编码器将唯一地解出字符串“dacab”

**正交变换编码:

通过正交变换把图像从空间域转换为能量比较集中的变换域系数，然后对变换系数进行编码，从而达到缩减比特率的目的。

*正交变换的性质

**K-L正交变换：

（1）运算量：求[Cx]及其特征值、特征矢量，矩阵运算要N~2次实数加法和N~2次实数乘法。

（2）对视频图像实时处理极难做到。

第八章图像分割及特征提取

**图像分析：是一种通过对图像中不同对象进行分割(把图像分为不同区域或目标物)来对图像中目标进行分类和识别的技术。

**图像分割：图像分割就是依据图像的灰度、颜色、纹理、边缘等特征，把图像分成各自满足某种相似性准则或具有某种同质特征的连通区域的集合的过程。

**图像分割的依据和方法：

（1）图像分割的依据是各区域具有不同的特性，这些特性可以是灰度、颜色、纹理等。而灰度图像分割的依据是基于相邻像素灰度值的不连续性和相似性。也即，子区域内部的像素一般具有灰度相似性，而在区域之间的边界上一般具有灰度不连续性。

（2）灰度图像分割是图像分割研究中最主要的内容，其本质是按照图像中不同区域的特性，将图像划分成不同的区域。

*基于边缘检测的图像分割方法的基本思路是先确定图像中的边缘像素，然后就可把它们连接在一起构成所需的边界。

*图像边缘：图像的边缘是指图像灰度发生空间突变的象素的集合。

*图像中的边缘可以通过对它们求导数来确定，而导数可利用微分算子来计算。对于数字图像来说，通常是利用差分来近似微分。

**图像边缘的两个特征：方向和幅度

（1）沿边缘走向，像素值变化比较平缓；

（2）沿垂直于边缘的走向，像素值则变化比较剧烈。

（3）一般常用一阶和二阶导数来描述和检测边缘。

（4）上升阶跃边缘、下降阶跃边缘、脉冲状边缘、屋顶边缘。

**Hogh（哈夫）变换的基本思想：

是将图像空间X-Y变换到参数空间P-Q，利用图像空间X-Y与参数空间P-Q的点－线对偶性，通过利用图像空间X-Y中的边缘数据点去计算参数空间P-Q中的参考点的轨迹，从而将不连续的边缘像素点连接起来，或将边缘像素点连接起来组成封闭边界的区域，从而实现对图像中直线段、圆和椭圆的检测。

**最小误差分割（最佳阈值）

设一副图像只由目标物和背景组成，其灰度级分布概论密度分布为p1(Z)和p2(Z),且目标物像素占全图像素数比为

假定选定的灰度级阈值为t

将背景像素错认为目标物像素的概率为：11()()()t E t P z d z ∞

=?

将目标物像素错认为背景像素的概率为：22()()()t

E t P z d z -∞

=?

总错误概论为：12()()(1)()E t E t E t θθ=+- 最佳阈值，就是使总概论最小的值。

**在假定p1(Z)和p2(Z)均为正态分布函数时，进行最佳阈值的计算

**图像特征提取

（1）图像特征提取是图像处理研究中的重要内容，而图像特征提取的关键则是图像特征的描述和定义。

（2）图像的人工特征是指人们为了便于对图像进行处理和分析而人为认定的特征，比如图像直方图和图像频谱等。

（3）自然特征是指图像固有的特征，比如图像中的边缘、纹理、形状和颜色等。

**图像分类的概念

物体识别从根本上讲就是为物体标明类别，更通用的说法就是图像分类，是一种将图像中的所有像元或区域按其性质分为若干类别中的一类，或若干专题要素中的一种的技术过程。

**图像分类的技术层次：

（1）人工目视解译方法。也即凭借成像机理、光谱规律、地学规律、生物学规律和人的知识和经验，从影像的亮度、色调、位置、时间、纹理、结构等特征推断出图像中景物的类型。 （2）计算机识别分类方法。也即根据图像中地物信息和数据特征的差异和变化，通过计算机对图像的处理和定量分析，实现对图像中地物属性的识别和分类，以便给出图像中地物的识别分类结果。

**一般情况下提到的图像分类概念就是指基于计算机的图像识别分类方法。

**图像的计算机识别分类方法主要分为两种：

（1）一种是统计分类方法，也称为决策理论法，是一种定量的物体描述方法。 统计分类方法的基本思路是，通过从被识别的图像中提取一组反映图像中不同模式属性的测量值（特征），并利用统计决策原理对由模式特征定义的特征空间进行划分，进而区分出具有不同特征的模式，达到对图像中不同地物区域分类的目的。

（2）另一种是句法模式分类方法 ，是一种定性的物体描述方法。

句法模式分类方法适用于当特征描述无法表示被描述物体的复杂程度，或当物体可以被表示成由简单部件构成的分级结构时的情况。

*监督分类和非监督分类

（1）监督分类是对图像中样本区内的地物类属已有先验知识的情况下，利用这些样本类别

的特征作为依据来判别非样本数据的类别。

（2）监督分类的基本思想是：首先根据类别的先验知识确定判别函数和相应的判别准则，其中利用一定数量的已知类别样本（称为训练样本）的观测值确定判别函数中待定参数的过程称为学习或训练，然后将未知类别的样本的观测值代入判别函数，再依据判别准则对该样本的所属类别作出判定。

（3）非监督分类是在对图像中地物属性没有先验知识，因而在分类过程中不施加任何先验知识的情况下，仅凭遥感影像地物的光谱特征和不同光谱数据组合在统计上的差别来“盲目”地进行分类。

（4）由于这种分类的结果是“谱类”而不是“地类”，也即不能完全确定各类别的属性，所以需要在事后再根据“谱类”反映的地物属性，对已分出的类别进行分析与确认，以得出最终的“地类”分类结果。

**图像分割与图像分类

（1）图像分割是一种依据图像中各区域的灰度、颜色、纹理等特征，将图像划分成不同区域的技术。其目的或是通过分割出的某些区域的形状来识别目标（比如可根据区域的形状判别出某些区域是飞机，或是铁路等），或是进而在分割成的区域中进行特征提取，再根据提取的特征或结构信息进行物体识别。可见，图像分割强调从地物边界和形状信息中进行物体识别。

（2）图像分类则着眼于从地物的光谱特征出发对地物类别进行区分，图像分类的结果通常是给人工目视解译提供定量信息，而不是提供简单的形状结构信息。

第九章彩色与多光谱图像处理

*三基色：一般就将红、绿、篮这三种颜色称为三基色

*亮度：反映了该颜色的明亮程度。颜色中掺入的白色越多亮度就越大，掺入的黑色越多亮度就越小。

*色调：用于描述纯色（如纯黄色、纯红色），反映了观察者接收到的主要颜色。

*饱和度：给出一种纯色被白光稀释的程度的度量，与加入到纯色（色调）中的白光成正比（由于加入了白光，观察者接收到的不再是某种纯色，而是反应该纯色属性的混合颜色）。*纯色：（可见光谱中包含的一系列单色光）是全饱和的，随着白光的加入饱和度会逐渐降低，也即变成欠饱和。

*色度：色调与饱和度两者合起来称为色度，颜色用亮度和色度共同表示。

**常用的彩色模型可分成两类：

（1）面向诸如彩色监视器、彩色视频摄像机和彩色打印机的硬件设备。面向硬件设备的彩色模型主要有RGB模型、CMY（青、品红、黄）模型和CMYK（青、品红、黄、黑）模型。RGB模型主要用于彩色监视器和彩色视频摄像机；CMYK主要用于彩色打印机。

（2）面向诸如彩色动画图形创作等的彩色处理应用。面向彩色处理应用的模型主要是HSI 模型（hue-saturation-intensity，即色调、亮度和饱和度）。

*彩色图像的灰度化：

（1）将彩色图像转变为灰度图像的处理称为彩色图像的灰度化处理。

（2）将彩色图像转换为灰度图像的实质，就是通过对图像R、G、B分量的变换，使得每个

像素点的R、G、B分量值相等。

（3）彩色图像的灰度化方法主要包括：最大值法、平均值法和加权平均值法。

**彩色图像增强：

在得到的彩色图像中，有时会存在对比度低、颜色偏暗、局部细节不明显等问题，为了改善图像的视觉效果、突出图像的特征，利于进一步的处理，需要对图像进行增强处理。**彩色图像增强分类：

对于彩色图像的增强依据处理对象的不同可分为：真彩色增强（分为亮度增强、色调增强和饱和度增强三种）、伪彩色增强和假彩色增强三类。

*亮度增强：

是仅对彩色图像的亮度分量进行处理的增强方法，它的目的是通过对图像亮度分量的调整使得图像在合适的亮度上提供最大的细节。彩色图像的亮度增强可以在其亮度分量上使用第四章介绍的灰度图像的增强算法，如灰度变换法、直方图增强法等。

*色调增强：是通过增加颜色间的差异来达到图像增强的目的，一般可以通过对彩色图像每个点的色度值加上或减去一个常数来实现。由于彩色图像的色度分量是一个角度值，因此对色度分量加上或减去一个常数，相当于图像上所有点的颜色都沿着图9.3.1的彩色环逆时针或顺时针旋转一定的角度。由于彩色处理色相分量图像的操作必须考虑灰度级的“周期性”，即对色调值加上120°和加上480°是相同的。

*饱和度增强：

饱和度增强可以使彩色图像的颜色更为鲜明。饱和度增强可以通过对彩色图像每个点的饱和度值乘以一个大于1的常数来实现；反之，如果对彩色图像每个点的饱和度值乘以小于1的常数，则会减弱原图像颜色的鲜明程度。

**伪彩色增强：

（1）伪彩色增强的处理对象是灰度图像。

（2）定义：伪彩色增强就是将一幅具有不同灰度级的图像通过一定的映射转变为彩色图像，来达到增强人对图像的分辨能力。

（3）分类：伪彩色增强可分为空域增强和频域增强两种，在这两种算法中，密度分层法、灰度级-彩色变换法和频率滤波法是三种较为常用的算法。

*密度分层法：

（1）定义：密度分层法（又称强度分层法）是将灰度图像中任意一点的灰度值看作该点的密度函数。

（2）密度分层法的基本过程是：首先，用平行于坐标平面的平面序列L1，L2，…,LN把密度函数分割为几个互相分隔的灰度区间。然后，给每一区域分配一种颜色。这样就将一幅灰度图像映射为彩色图像了。

*灰度级彩色变换法：

（1）灰度级-彩色变换伪彩色增强法的基本思想是：对图像中每个象素点的灰度值采用不同的变换函数进行3个独立的变换，并将结果映射为彩色图像的R、G、B分量值，由此就可以得到一幅RGB空间上的彩色图像。