《数字图像处理》课件2上海交大 (全)

上海交通大学
图像通信与信息处理研究所
电子信息与电气工程学院电子工程系
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
B.数字图像
? 不同种类及来源的数字图像 ? 9种数字图像及其表示方法
① ② ③ ④ ⑤ ⑥ ⑦ ⑧ ⑨ 静止黑白图像二值图彩色图像不可见光成的像多光谱图像活动图像立体视觉图像 3D物体的断层表示图像带有水印的图像
2010年度春季
1

数字图像处理（Digital Image Processing）
上海交通大学
1.静止黑白图像——连续可调，灰度图
? I=f(x,y) ? 数字化后f(m,n) （m,n为整数），f(m,n)为可0-255的整数(8bit量化)
（f(m,n)称“灰度”Gray Level，0最暗，255最亮）
? 像素(pixel/pel)
2.二值图
? 像素值为0/1，f(m,n)∈{0,1} ? 灰度图二值化的结果 ? 打印机/报纸上的图（印刷） -可以用二值图来表示灰度图——不同黑点密度/大小表示不同灰度值 ? 计算机产生的图（二值/多值）
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
3.彩色图像
? 不同波长的光呈不同颜色 ? 可以用三基色原理，用三个分量来表示彩色，如：用RGB三分量 ? 则可用三幅“分量图”来表示一幅彩色图 fr(x,y), fg(x,y), fb(x,y) ? 色度学基础与三基色原理： 1)为了得到相同的彩色感觉，不一定要恢复原景物辐射（反射或透射）光的光谱成分例：单色青光，可以由绿色光与蓝色光按一定比例组合而成。 2)若选择R,G,B三种颜色作为基色。它们按不同比例组合，可以配出不同色度（色调和色饱和度）的光，实现彩色重现。
2010年度春季
2

数字图像处理（Digital Image Processing）
上海交通大学
4.不可见光成的像 ? 红外成像 ? X光透射成像 ?
γ 射线成像
? 超声医学图像 ? 图像表示形式仍是f(m,n)，只是通过能量转换变成了可见光的图像
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
5.多光谱图像
? 飞机/卫星上用多光谱相机得到的图像，经不同波长滤色镜后分别成像 ? 一个光波段对应一个“分量图”，往往多于3个分量 - 高光谱图可多达100多个分量 - 用滤色镜分出不同波长的光后成像 ? 可利用地面不同物体的不同多光谱特性进行地物分类（如水、石、谷物或不同种类的树林等等）。 ? 要经过“配准”处理使不同分量图上同一位置对应于地面上同一区域物体对不同波长光的反射。
2010年度春季
3

数字图像处理（Digital Image Processing）
上海交通大学
5.多光谱图像（续上页）
? 表示：fk(m,n)，k=1…K
4 3 2
K
?
? ? 地面上一小块面积的多光谱特性用一个K维向量 f = ? ? ? ?
2010年度春季
k=1
f1 ? ? f2 ? 表示。 f3 ? ? f4 ?
数字图像处理（Digital Image Processing）
上海交通大学
6.活动图像
? 能量场函数有4个自变量 Q(x,y,λ ,t) ? 黑白图像序列：fk(x,y) —— k为“帧序号”，代表“时间”。彩色图像序列： Rk(x,y), Gk(x,y), Bk(x,y) ? 对“隔行扫描”情况，k也可以表示“场序号”，一幅图像表示一场
3 2 k=1 奇+偶表示一帧
2010年度春季
4

数字图像处理（Digital Image Processing）
上海交通大学
6.活动图像（续上页）
? 活动图像采集：CCD，CMOS等（直接数字输出/模拟TV格式+采集卡） ? 活动图像显示：CRT，LCD，LCOS等 ? 活动图像处理： - 视频压缩编码 - 视频监控 - 目标检测与跟踪 - ROI（Region of Interest）提取 ? 用快门减少模糊/图像复原处理
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
7.立体视觉图像
? 多视（Multiview）技术 - 摄像机阵列
2010年度春季
5

数字图像处理（Digital Image Processing）
上海交通大学
7.立体视觉图像(续上页)
实现方法一：用（立体）图像对，即左视图fl(x,y)，右视图fr(x,y)来表示 ? 单眼视觉丢失了深度信息 - 单眼火柴杆游戏的启示 - 有从单眼视图恢复3D信息的算法,但难以精确测深 ? 由“图像对”推求物体3D形状——立体投影术 ? 关键：左右视图上像素点的匹配问题 ? 通过左右视差来获取3D深度信息——相对深度
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
7.立体视觉图像(续上页)
(a)?立体图像对
(c)?3D?重建模型
2010年度春季
6

数字图像处理（Digital Image Processing）
上海交通大学
7.立体视觉图像（续上页）
实现方法二：单视+深度图
fl(x,y)，fD(x,y)
? 深度信息的获取 -由图像对及图像匹配技术获取深度信息 -由深度摄像机（激光测距）获取深度信息 -由单眼视觉推算
2010年度春季
数字图像处理（Digital Image Processing）
H
上海交通大学
8. 3D物体的断层表示图像
? 用不同位置上的断层图像fh(m,n)表示 ? 真实3D切片图（定量放射自显影）
hi
h1 ? 由投影重建截面（Reconstruction） - CT（Computerized Tomography） - 整形外科应用（X光片，CT片，照片→推测整形后外观）。
h2
2010年度春季
7

数字图像处理（Digital Image Processing）
上海交通大学
9.带有水印的图像
? ? ? ? 表面上看，加不加水印没区别（加水印造成的图像降质不可觉察）可以用水印检测算法来检测水印存在与否以证明知识产权的归属鲁棒水印，脆弱水印，半脆弱水印关键：解决好水印不可见性与水印嵌入强度的矛盾在视觉对失真不敏感区增加嵌入强度
2010年度春季
上海交通大学
图像通信与信息处理研究所
电子信息与电气工程学院电子工程系
2010年度春季
8

数字图像处理（Digital Image Processing）
上海交通大学
取样与重建量化光度学基础知识色度学基础知识人眼视觉特性人眼视觉模型与图像质量评价
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
取样与重建量化光度学基础知识色度学基础知识人眼视觉特性人眼视觉模型与图像质量评价
2010年度春季
9

数字图像处理（Digital Image Processing）
上海交通大学
§1.取样与重建
? 模拟图像数字化过程：取样，量化。 ? 取样定理的结论只要取样率足够高，总能无失真地恢复限带信号。 ? 本节内容： A.取样 1.一维取样分析 2.二维取样定理 B.重建 C.要注意的几个问题
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
§1. A.1.一维取样分析
? 取样过程： f ( x)iδ Δx ( x) 原波形和周期性 δ 函数相乘（取样周期 Δx） ? δ Δx ( x ) 的频谱也是周期性
δ
函数 δ T (u ) （周期 T =
1 ） Δx
? 取样是空域相乘 f s ( x) = f ( x)iδ Δx ( x) 对应于频域卷积 Fs (u ) = F (u ) ? δ T (u ) ? 若 Δx足够小（取样足够密），则 T 足够大 1 Δx ≤ →不发生混迭→可用低通滤波器滤出 f ( x) （无失真） 2Wu 原始信号最高频率 ? 可拓展到二维（图像的“空间频率”表现为单位长度内灰度值作周期性变化的次数，单位为“线对/毫米”）
2010年度春季
10

数字图像处理（Digital Image Processing）
上海交通大学
一维取样过程图示
f ( x)
f ( x) ? F (u )
F (u )
（限带）（无限拓展） x
?ωu
ωu
u
δ Δx ( x )
δ Δx ( x) ? δ T (u )
δ T (u )
Δx
x
T=
f S ( x)
δ Δx ( x)i f ( x) = f S ( x) ? FS (u ) = F (u ) ? δ T (u )
1 Δx
u
FS (u )
Δx
x
u
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
§1. A.2.二维 δ 函数
? 二维取样函数 s ( x, y ) =
m =?∞ n =?∞
∑ ∑ δ ( x ? mΔx, y ? nΔy)
+∞
+∞
? 在x,y方向取样间隔分别为 Δx ， Δy 的二维冲激阵列 ? 二维 δ 函数的三个性质
2010年度春季
11

数字图像处理（Digital Image Processing）
上海交通大学
§1. A.3.二维取样定理
f s ( x, y ) = s ( x, y ) f ( x, y ) =
=
m =?∞ n =?∞
∑∑
+∞
+∞
f ( x, y )δ ( x ? mΔx, y ? nΔy )
m =?∞ n =?∞
∑∑
+∞
+∞
f (mΔx, nΔy )δ ( x ? mΔx, y ? nΔy ) 1 1 +∞ +∞ 1 1 ∑ ∑ δ (u ? m Δx , v ? n Δy ) Δx Δy m =?∞ n =?∞
S (u , v) = F {s ( x, y )} =
Fs (u, v) = S (u , v) ? F (u, v)
= ∫∫
=
+∞ ?∞
1 1 +∞ +∞ 1 1 ∑ ∑ δ (α ? m Δx , β ? n Δy )F (u ? α , v ? β )dα d β Δx Δy m =?∞ n =?∞
+∞ 1 1 +∞ +∞ 1 1 δ (α ? m , β ? n ) F (u ? α , v ? β )dα d β ∑∑ Δx Δy m =?∞ n =?∞ ∫ ∫?∞ Δx Δy
=
1 ? 取样后信号的频谱就是把原始信号的频谱 F (u , v) 沿u轴和v轴分别以 Δx 1 和无限地周期性重复的结果
Δy
2010年度春季
1 1 +∞ +∞ 1 1 ∑ ∑ F (u ? m Δx , v ? n Δy ) Δx Δy m =?∞ n =?∞
数字图像处理（Digital Image Processing）
上海交通大学
§1. A.3.二维取样定理（续）
若f ( x, y ) 是有限带宽，即当 u ? [?Wu , +Wu ] 或 v ? [?Wv , +Wv ] 时，F (u , v ) = 0 且同时满足 ? 1 ? ≥ 2Wu
? Δx ?1 ? ≥ 2Wv ? ? Δy
1 ? ?Δx ≤ 2W ? u ? ? Δy ≤ 1 ? 2Wv ?
则可用一个理想的低通滤波器滤出原来的 F (u, v) ，从而完全恢复出原始图像信号————二维取样定理
2010年度春季
12

数字图像处理（Digital Image Processing）
上海交通大学
§1. A.3.二维取样定理图示
– 原始模拟信号是限带信号 – 取样间隔足够小
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
§1. B.重建
? 若 Δx ≤
1 , 2w u Δy ≤ 1 ，则可用理想低通滤波器无失真恢复 f ( x, y ) 2w v
? 重建图像是位于 x = mΔx, y = nΔy 上的许多个二维sinC函数加权求和的结果，而加权值就是取样图像的值（像素值）
2010年度春季
13

数字图像处理（Digital Image Processing）
上海交通大学
? 一些内插函数
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
? 双线性内插
2010年度春季
14

数字图像处理（Digital Image Processing）
上海交通大学
§1. C.要注意的几个问题
1.截取问题 ? 上述讨论隐含 x, y ∈ (?∞, +∞) ，无限大图像 ? 而实际图像总是有限大的 -若 f ( x, y ) 在 x ∈ [0, X ], y ∈ [0, Y ]内有定义 -行列方向分别采M，N点 -取样间隔 Δx = X / M , Δy = Y / N -取样后得M×N矩阵 [ f S (m, n)]M × N ? 对这种情况，上述取样定理的结论行吗？答：①在严格意义上，取样定理不能成立 ②在实用上，完全可以近似认为取样定理成立
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
1.截取问题（续上页） ? 分析： ①空间截取破坏了被取样信号的限带性 - 若无限延伸信号 f ( x) 是限带的，空间频率u > Wu以后，频谱分量为0 - 空间截取可看成 f ( x) 与很宽的矩形窗函数 ∏(
x ) 相乘 M iΔx
∏(
x ) M iΔx
形状
M iΔx
频谱
1 M i Δx
- 在频率，相当于：限带信号 F (u ) 和狭 sin c 函数卷积 - 理论上， sin c 函数拖尾无限长，破坏了限带特性 ②实用上，因为拖尾很小，可忽略，故可近似认为取样定理仍成立（与量化误差，视觉阈值比）
2010年度春季
15

数字图像处理（Digital Image Processing）
上海交通大学
2.取样孔径问题 ? 问题的由来： - 实际系统中光路的孔径不会无穷小 - 取样脉冲宽度不会无穷狭 - 为提高信噪比也不允许孔径过小 - 孔径太小会造成边缘模糊，孔径太大会造成高频细节丢失
f ( x)
光源孔径孔径不够小造成边缘模糊
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
取样与重建量化光度学基础知识色度学基础知识人眼视觉特性人眼视觉模型与图像质量评价
2010年度春季
16

数字图像处理（Digital Image Processing）
上海交通大学
1 2 3 4
A B C D
z 基本概念 z 均匀量化 z 非均匀量化 z 矢量量化(VQ)
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
A.基本概念
1.量化（量化分层）是图像数字化的第二步
l 把亮度（或色差分量）取样值 z = f s (m, n) 这个模拟量分成 k = 2 个层次用 l bit的数字量 f ( m, n)来近似表示
? 量化得越细，则量化误差越小,但数字图像的数据量就越大。 ? 人眼对灰度误差有个敏感度阈值，当灰度误差小于门限值时，人眼是觉察不出的，所以量化层次多到一定程度，量化误差就可小于视觉阈值。 ? 量化误差过大，看图时会发现“伪轮廓”
2010年度春季
17

数字图像处理（Digital Image Processing）
上海交通大学
2.不同量化层次图像的主观质量
? 说明：随着量化层次数的减少，图像质量变差（量化误差增大）
层次数小于16后有明显的伪轮廓出现
? 量化过程中必然引入量化误差（与取样可无失真恢复限带信号不同） ? 最常见的是 k = 256( l = 8),即用1Byte表示一个样本值对要求高保真的图像，有10bit/12bit量化的要求
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
3.量化器的设计原则（三种量化器设计思路） ? 从统计意义上使量化误差最小 ? 根据人眼视觉特性进行设计 - 使量化误差小于视觉阈值 - 难点在于视觉阈值的计算。如：JND——Just Noticeable Difference等不同情况下人眼对灰度差的敏感程度不同（平坦区/纹理区） - 在第六章图像编码中特别有用 ? 针对特定应用的量化策略
2010年度春季
18

数字图像处理（Digital Image Processing）
上海交通大学
B.均匀量化
? 设：样本值（模拟量） z = f s (m, n) 的取值范围在 [ z0 , zk ) 之间 z 均匀分布，即 p( z ) = P （常数）此时用均匀量化最好 ? 另外，当对 p( z ) 一无所知，或 p( z ) 变化无常时，也常用均匀量化 ? 把 [ z0 , zk ) 均匀地分成k个子区间 [ zi , zi +1 ), i = 0 k ? 1 记子区间长度为 L = ( zk ? z0 ) / k，则 P = 1/ kL ? 若 z ∈ [ zi , zi +1 )，则用 qi（量化值）来近似 z ，引入误差
-现在 z0 , zk ，分层总数k均为已知 -求k个 qi 为何值时可使误差平方 ε 2 最小
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
B.均匀量化（续上页）
? 从统计意义上，k个子区间的总的误差平方 ε 2为
k ?1 i =0 k ?1 i =0
ε2 = ∑∫
zi+1
zi
( z ? qi ) 2 p ( z )dz = P ∑ ∫
zi+1
zi
( z ? qi ) 2 dz
1 k ?1 = P∑ ? ( zi +1 ? qi )3 ? ( zi ? qi )3 ? ? 3 i =0 ? ?ε 2 2 2 为求最优化值 qi ，令 ?q = 0 ，求解 qi ，即( zi +1 ? qi ) ? ( zi ? qi ) = 0 i 解得 q = 1 ( z + z )
i
2
i +1
i
即：取每个子区间的中间值作为最优值 qi 时，可使量化误差最小此时， 3 3 1 1 k ?1 ?? L ? ? L ? ? L2 ε2 = ∑ ?? ? ? ? ? ? ? =
3 kL
i =0
?? 2 ? ?
? 2? ? ?
12
∵ L ∝ 1/ k ,∴ ε 2 ∝ 1/ k 2
2010年度春季
19

数字图像处理（Digital Image Processing）
上海交通大学
C.非均匀量化
? 当 p( z )已知，且不均匀分布时，可以按小概率密度区粗量化，大概率密度区细量化的原则使量化误差最小，即用非均匀量化
p( z )
= 面积A
面积B
z0 q0 z1 q1 z2
zk
z
这两段线长度相等
2010年度春季
数字图像处理（Digital Image Processing）
上海交通大学
? 非均匀量化器设计的另一思路 - 先用非线性变换 z ' = T ( z ) 把 z 变为均匀分布的模拟量 z ' ( p ( z ') = 常数P)
qi ' ' - 再作均匀量化，得到各区间分界位置 zi 和量化值
' zi = T ?1 ( zi ') 和 qi = T ?1 (qi ') - 最后，对各 zi '和 qi 作非线性反变换，得
? 第四章直方图均衡
2010年度春季
20