Chap08_图像理解(下)
图像理解
对航空遥感和卫星遥感图片的分析和理解，可用于对地质、矿产、森林、水利、海洋、农业等资源的调查和 研究，进行自然灾害的预测和预报、环境的污染监测、气象分析，以及军事目标的识别。
首先应用于细胞的分类、染色体分类和放射图象的分析中。例1972年X射线断层扫描(CT)的实现；1977年白 血球自动分类仪的问世；1980年实现了CT的立体重现等。进入90年代其在生物医学领域的应用更加广泛，如从CT 图象中识别各种器官，从CT图象检测癌细胞。
通常解决信息传输安全的方法是对传输的信息进行加密，然而还是存在被解密的可能。现在一种安全传输图 象的方法是对传输图象进行伪装:在一幅普通的图象中隐藏一幅需要安全传输的图象。这幅普通图象成为一个伪装 载体，它的显示人眼无法察觉，这就减少了被解密的可能性。
太空技术的发展，需要对大量的星际照片进行分析和理解，用以不断开拓新的宇宙空间。
图像理解中包含了一泛的信息流,从视觉硬件采集设备获取到的二维阵列仅是信号描述,进行取样采集形成面 向计算机的数据信息,形成像素点集,完成了场景图像的获取再通过图像处理技术在原始像素的基础上提取出视觉 特征并存储入计算机,实现了“视觉信息的表示一与存储”接着根据已有的先验知识或导师指导,基于学习算法和 相应理论进行机器学习,进行图像理解中的日标识别、场景分类等了任务,形成知识并存入计算机,实现知识信息 的“表示与存储”,完成“认知一与学习”最后对已形成的知识进行“推理一与分析”完成最终的图像理解任务, 体现计算机的视觉智能性。
数字图像处理第八章课件
Chapter 8 Image Compression
量化,不可逆，信息损失
IGS, Improved Gray-Scale quantization
IGS意识到眼睛对边缘特有的敏感性，通过加入伪随机数 来破坏边缘：
伪随机数从邻近像元的低4位获得，加入当前像元灰度值后 才量化。（图像的低bit面很象随机数，见p.89） 低4位的初值为0000，对高4位为1111的像素不加随机数。
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 ImaCompression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
Chapter 8 Image Compression
8.1 基础
数据压缩——表示定量信息所需数据量的减少过程
数据、信息、知识。
比如，不同人讲相同的事件。
数据冗余：是数字图像压缩的中心问题。
这不是抽象的概念，而是可以用数学式子度量的实体：
如果表示相同信息的两组数据所用的信息载体单元数量
分别为n1和n2, 则第一组数据的相对(第二组数据的)
a
数字图像处理第8章-image understanding.ppt
Designed by Ruifang ZHAI
华中农业大学计算机科学与技术系
（1） 边界用隙码表示时，周长为24； （2） 边界用链码表示时，周长为10+5 2 ； （3） 边界用面积表示时，周长为15。
Designed by Ruif科学与技术系
表示为
p Ne
2N
式中，Ne和No分别是边界链码（8方向）中走偶步与走奇步
的数目。
Designed by Ruifang ZHAI
华中农业大学计算机科学与技术系
3. 周长 区域的周长即区域的边界长度。常用的简便方法如下：
（3） 计算边界点数之和求周长：周长用边界所占面积表示， 也即边界点数之和， 每个点占面积为1的一个小方块。
(3) 用边界坐标计算面积
Green（格林）定理表明，在x-y平面中的一个封闭曲线包 围的面积由其轮廓积分给定，即
A12(xdyyd)x
其中，积分沿着该闭合曲线进行。将其离散化变为
1 Nb
A 2 i1 [xi(yi1 yi ) yi(xi1 xi )]
1 2
Nb i1
[xi
yi1
xi1yi
特征提取：将由图像分割得到区域的特征提取出来，用 于 图像识别与理解。
Designed by Ruifang ZHAI
华中农业大学计算机科学与技术系
1. 特征表示与描述：把图像分割后，为了进一步的处理，分割 后的图像一般要进行形式化的表达和描述。
2. 解决形式化表达问题一般有两种选择：
1）根据区域的外部特征来进行形式化表示
Designed by Ruifang ZHAI
华中农业大学计算机科学与技术系
物体方向可由最小二阶矩轴定义
chp08_小波图像编码
Lenna Soderberg (ne Sjö blom) ö
The First Lady of the Internet Size：512×512 pixels Colors：24 bits/pixel Lena24.bmp: 768 KB
In 1972
/~cnspci/misc/lenna/
第8章 小波图像编码 21/50
2013年9月9日
8.3 EZW编码(续2)
编码从最低分辨率图像开始
幅度大于域值的正系数用符号P表示 幅度小于域值的负系数用符号N表示 树根节点上的系数幅度小于域值而树枝中有大于域值 的非零树用符号Z表示 零树用符号T表示 符号集{P，N，T，Z，0，1}中的一系列符号
图8-1 Lena图的子带编码
2013年9月9日
第8章 小波图像编码
4/50
8.1 从子带编码到小波编码(续2)
多分辨率分析
S.Mallat于1988年在构造正 交小波基时提出了多分辨 率分析(multiresolution analysis)的概念，从空间上 形象地说明了小波的多分 辨率的特性，提出了正交 小波的构造方法和快速算 法，称为Mallat算法。根 据Mallat和Meyer等科学家 的理论，使用一级小波分 解方法得到的图像如图8-2 所示
图8-3 Lena的 多分辨率分析图像
2013年9月9日
第8章 小波图像编码
5/50
8.1 从子带编码到小波编码(续3)
一级分解后继续分解的过程叫做多分辨率分析，即多 级小波分解的概念。
使用多级小波分解可得到分辨率不同的图像，这些图像被称 为多分辨率图像(multiresolution images) 图8-3表示Lena的多分辨率图像。其中，粗糙图像1的分辨率 是原始图像的1/4，粗糙图像2的分辨率是粗糙图像1的1/4
运筹学：chap8_图与网络分析
X={1}
P1=0
T2=2
2
6
1
2
3
1
10
5
9
3 T4=1 4
7
5
6
5
2
3
4
6
7
4
T6=3
min {T2, T4, T6}=min {2,1,3}=1
X={1,4}, P4=1
8 8
X={1,4}
P1=0
T2=2
2
6
1
2
3
1
10
P4=1
5
9
3
4
7
5
6
5
2
3
4
6
7
8
4
8
T6=3
T7=3
min {T2,T6, T7}=min {2,3,3}=2
■悬挂点： d(v)=1 对应的边为悬挂边
■孤立点： d(v) =0
e1
v5
v4
■奇点： d(v)为奇数 ■偶点： d(v)为偶数
v2
有向图：
e2
v1
e4
e3
e6
e5
v3
■出次 d+(v)：以v为始点的边数 d (v) d (v)
■入次 d-(v)：以v为终点的边数 vV
vV
次的定理1
定理1：任何图中，顶点次数的总和为边数的2倍。 证明思路：每条边必与两个顶点关联
d(v) 2m
vV
次的定理2
定理2：任何图中，奇点必为偶数个
证明思路：
d(v) d(v) 2m
vV1
vV2
Euler图的充要条件
定理3：无向连通图G是Euler图的充要条件是： G中无奇点
chap08-视频
8.2.1 内容概要在多媒体应用系统中，视频以其直观和生动等特点得到了广泛的应用。
视频与动画一样，也是由一幅幅帧序列组成，这些帧以一定的速率播放，使观察者得到连续运动的感觉。
本章首先介绍视频信息的处理基础，然后简述常用视频播放软件及视频信息获取方法，并详细介绍视频处理软件Premiere的使用方法8.2.2 基本知识点（1）视频卡。
插在PC机主板上，用于处理视频信息的配件卡，其主要功能是将模拟视频信号转换成数字视频信号或将数字信号转换成模拟信号。
（2）视频是由一系列单独的图像即帧组成的。
（3）帧是一幅完整的图像扫描信号，由水平消隐间隔分开的行信号序列构成。
（4）采样：在时间轴上，每隔一个固定的时间间隔对波形的振幅进行一次取值，叫做采样；或时间连续坐标 (x,y) 的离散化，叫做采样。
（5）量化：将一系列离散的模拟信号在幅度上建立等间隔的幅度电平，或f(x,y) 幅度的离散化，称为量化。
（6）颜色深度反映一幅图像各像素可以显示出的颜色数，它和数字化过程中的量化数有着密切的关系。
因此颜色深度基本上用多少量化数，也就是多少位来表示。
（7）常用的压缩编码技术是国际标准化组织推荐的JPEG和MPEG。
（8）常用的视频播放软件有如Windows Media Player、RealPlayer、超级解霸和Quick Time等。
（9）获取数字视频信息主要有两种方式：将模拟视频信号数字化和直接获得数字视频。
（10）Premiere 6.5是Adobe公司开发的一种专业化视频非线性编辑软件，它能配合多种硬件进行视频捕获和输出，并提供各种精确的视频编辑工具。
（11）视频效果的使用包括过渡效果、滤镜效果和字幕效果等。
8.3习题训练一.单项选择题1．在动画制作中，一般帧速选择为（）。
A．30帧／秒 B．60帧／秒C．120帧／秒 D．90帧／秒2．一个AVI文件的最大容量不能超过 ( )。
A．1G B．2GC．3G D．4G3．帧速率的单位为帧/s。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
2010-10-21wangzhiming@ 54§8.5.2概率松驰法离散松驰法：不会产生二义性的标记，但只适用于简单的场景，不能处理不完全或不精确的图像分割； 概率松驰法：可克服场景中存在漏掉物体或是有额处区域的分割问题，但会导致图像不明确的解释。
2010-10-21wangzhiming@ 55§8.5.2概率松驰法(续) 相容的不见得是最好的，甚至不见得是正确的。
2010-10-21wangzhiming@ 56§8.5.2概率松驰法(续)每个物体有一组一元性质，标注是依据物体性质和在可能的物体标记与其他性质相互作用的物体标记之间的相容性度量；设物体R i 的标记为θi ，θi ∈Ω，Ω={ω1, ω2,….., ωR }；物体R i 的标记θi 的置信度是由与它直接作用的物体的标记结构决定；r(θi= ωk , θj= ωl )表示两个物体R i 与R j 之间的相容度。
松驰算法是一个迭代过程，目标是在整幅图像中得到局部最优的相容性。
2010-10-21wangzhiming@ 57§8.5.2概率松驰法(续)2010-10-21wangzhiming@ 58§8.5.2概率松驰法(续) 在迭代处理的第s 步对物体R i 标注θi 的支持q 可从其与物体R j 的二元关系中计算得到： 物体R i 拥有相同标记θi 的支持Q 可从第s 步迭代处理中的所有N 个直接相互作用的物体R j 以及它们的标记得到：(c 为归一化系数）∑======R l l j sl j k i k i sj P r q 1)(),()(ωθωθωθωθ∑∑∑==========N j R l l j sl j k i ij Nj k i sjij k i s P r c q c Q 111)(),()()(ωθωθωθωθωθ11=∑=N j ij c§2010-10-21wangzhiming@ 60§8.5.2概率松驰法(续) 线性松驰方案：初始非上下文概率：最优化问题，最大化标记的全局置信度：k i Q P k i k i ,)()(对所有ωθωθ===)|()(0i k i k i X P P ωθωθ===∑∑∑∑=========R k N i N j R l l j l j k i ij k i P r c P F 1111)(),()(ωθωθωθωθ0)(,1)(1>===∑=k i R k k i P P ωθωθ2010-10-21wangzhiming@ 61§8.5.2概率松驰法(续) 算法8.10：概率松驰法1. 定义图像中所有物体R i 的解释(即标记)的条件概率；2. 重复步骤3和4，一直到得到图像的最佳解释(目标函数F 取最大值)；3. 计算目标函数F 的值，以度量场景标注的效果好坏；4. 更新物体解释(标记)的概率值，使得目标函数F 的值增加。
2010-10-21wangzhiming@ 62§8.5.3搜索解释树树的层数与场景中的物体的数目一致，节点分配了所有可能的标记，使用基于回溯的深度优先的搜索策略；从第一物体(树根)分配标记开始，依此为每个物体分配相容的标记；如果不能分配相容的标记，则回溯到改变较高层次的一个最近的节点的标记； 一般采用基于深度优先的搜索策略；效率较低；需要合适的剪枝算法。
2010-10-21wangzhiming@ 63§8.6语义图像分割和理解语义方法表示了图像分割中的高级领域，包括图像区域解释，以图像理解为结果；语义区域增长：语义包含更多的有价值的信息； 图像区域以及其相互关系的表示：区域邻接图：节点表示区域，区域相邻关系由连接节点的弧表示； 对偶图：每个节点与不同区域边界线的交点相关，每条弧与一个边界线相关。
2010-10-21wangzhiming@ 64§8.6语义图像分割和理解(续)2010-10-21wangzhiming@ 65算法8.11:为归并两个区域更新区域邻接图其对偶1. 区域邻接图 (a)添加目前不存在的连接区域R i 和所有与R j 邻接的区域的弧；(b)在图中去掉节点R j 以及它的所有弧；2. 对偶图(a)去掉图中所有对应于区域R i 和R j 之间的边界的弧； (b)对所有与这些弧相关联的节点：如果与节点相关联的弧数是2，去掉此节点并合并这两条弧； 如果与节点相关联的弧数大于2，用新的区域标记R i 来更新与区域R j 的部分边界相关的弧的标记。
2010-10-21wangzhiming@ 66§8.6.1语义区域增长需要合并具有相同解释的相邻区域为一个单独的区域； 区域的解释可能是不可靠的，需要使用关于相邻区域关系的先验知识，并在区域归并中考虑上下文信息，最终在一定约束下得到最优的图像分割和解释。
2010-10-21wangzhiming@ 67算法8.12：语义区域归并1. 以含有很多小区域的图像初始化图像分割；2. 合并所有在公共边界上具有至少一条弱边缘的邻接区域；3. 对预先设置的常数c 1和c 2及阈值T 1，如果S ij <T 1，则合并相邻区域R i 和R j ，其中：4. 对所有区域R i 和R j ，计算以相互边界B ij 将它们分成两个有相同解释(θi =θj )区域的条件概率P ，如果P 大于某个阈值T 2，则合并R i 和R j 。
如果任何两个区域都不能归并，跳至步骤5；5. 对任何区域Ri，计算初始条件概率：6. 重复本步骤直到所有区域的标记是最终的：找到对其解释具有最高置信度C i 的非最终的区域，使用该解释标记区域，并标记是最终的，对每个非最终区域R i 及它的每个可能解释ωk ，更新其解释。
2010-10-21wangzhiming@ 68§8.6.1语义区域增长(续) 语义区域增长的局限性：归并结果与处理顺序有关，可能不是最优；没有可以找到最优归并的机制；语义区域增长从过分割结果开始，但这些结果可能不是最优的；通常的语义区域增长只是解释的层次上归并区域，并不估计归并得到的新区域的性质； 对于复杂图像得到不可靠的结果。
2010-10-21wangzhiming@ 69§8.6.2遗传图像解释 遗传图像解释：允许不断地寻找更好的归并和分裂；将语义和更高层知识结合到主分割过程中，而不是作为主分割步骤完成后的后处理；语义包含在目标评价函数中；在语义函数评价中，任何归并的区域都被认为是邻接的(contiguous )区域，测量它的所有属性； 遗传算法往往会达到(或接近)全局最优的图像分割和解释。
2010-10-21wangzhiming@ 70§8.6.2遗传图像解释(续) 遗传图像解释算法：基于假设和验证的准则；目标函数通过遗传算法来优化；遗传算法用串码描述待处理种群的任何一个成员； 在单个处理步骤中测试整个种群，优胜劣汰。
2010-10-21wangzhiming@ 71§8.6.2遗传图像解释(续)最优化准则：根据区域R i的性质X i，得到的该区域的解释是θi的置信度：根据与区域R i相邻且有解释θj的邻域R j，得到的该区域的解释是θi的置信度：在整幅图像上评价解释的置信度：(N R为邻接区域数目)或2010-10-21wangzhiming@ 72算法8.13：遗传图像分割和解释 1. 初始化分割，定义每个区域与它的标记在码串中位置的对应。
码串由遗传算法产生；2. 建立初始区域邻接图；3. 随机选择码串的初始种群，必要时使用先验知识；4. 遗传最优化。
为当前种群的每个码串，压缩得到区域邻接图(算法8.11)，利用邻接图，为种群的每个码串计算最优分割函数值；5. 如果在连续的几个步骤之后，最优化准则的最大值没有显著的增加，那么跳至步骤7；6. 让遗传算法产生分割和解释假设的新的种群，跳至步骤4；7. 具有最大置信度的码串(最好的分割假设)表示最终的图像分割和解释结果。
§8.6.2遗传图像解释(续)2010-10-21wangzhiming@ 73§8.6.2遗传图像解释(续) 例：分割草坪和球符号：B –ball ，L –lawn ； 高层知识:图像中有一个圆形的球在绿色的草坪上。
2010-10-21wangzhiming@ 74§8.6.2遗传图像解释(续)一元条件：根据球的紧致性，可得到一个区域是球的置信度：根据草坪是绿色的知识，可得到一个区域是草坪的置信度： 完美情况下，各自置信度为1。
二元条件：假设一个区域在另一个区域内部的置信度可由相容性函数来计算：2010-10-21wangzhiming@ 75§8.6.2遗传图像解释(续) 假设初始的猜测种群为：2010-10-21wangzhiming@ 76第2、3位置随机杂交，得到种群如下：2010-10-21wangzhiming@ 77§8.6.2遗传图像解释(续) 优秀的第2、3个被保留，其他两个死亡，再次杂交： 再次杂交：2010-10-21wangzhiming@ 78§8.6.2遗传图像解释(续)最终结果：2010-10-21wangzhiming@ 79小结1.图像理解控制策略：并行与串行，分层与非分层，自底向上与基于模型，混合控制；2.活动轮廓模型：内力(曲线的形状)，外力(图像中力，外部约束力)，能量最小化；3.点分布模型：具有一定形状但非刚体，配准、计算均值与协方差矩阵的特征向量和特征值；4.图像理解中的模式识别方法：分类，上下文图像分类，递归的上下文图像分类；5.场景标注和约束传播：离散松驰法，概率松驰法，搜索解释树；6.语义图像分割与理解：语义区域增长，遗传图像解释。
2010-10-21wangzhiming@ 80本章要求理解不同的图像理解控制策略之间的区别；理解活动轮廓模型的能量最小化搜索过程中各种力分别对应哪些因素；点分布模型适用的描述对象及描述方法；贝叶斯分类及上下文信息的利用； 理解语义增长及遗传算法的基本概念。
2010-10-21wangzhiming@ 81课后思考题1. 活动轮廓模型的内力和外力分别受哪些因素影响？2. 描述点分布模型的最大特征维数受限于哪些因素？3. 以图像二值化为例，给出是否利用上文信息的方案。