多光谱图像配准实时处理技术研究

图 3 累计误差增长曲线 Fig.3 Accumulative error rising curve
2.1 硬件体系结构的设计 对飞行器数字式景像匹配制导系统展开研究，其最终目的是要建立高速实时信号处理系统，为景像匹配制 导系统工程实用化打下基础。根据相关匹配算法及任务要求，结合 PC 机，可编程逻辑门阵列 FPGA 以及多处 理器 DSP 板构建通用性实时信号处理硬件体系结构。在设计硬件体系结构时，应考虑以下几点： 42
1 相关匹配算法
研究数字式景像匹配制导，首先要设 计一套高效可靠又切实可行的相关匹配算 图 1 数字景像匹配制导系统工作流程图 法，达到匹配效果好、定位精度高、运行 Fig.1 Digital scene matching navigation system flowchart 速度快、便于硬件实时实现的性能要求。 近年来，国内外的学者对图像配准技术进 行了广泛深入的研究，针对各种应用情况，提出了各种各样的配准方法。目前，数字景像匹配可分为三个层次： 基于灰度相关的算法、基于特征的匹配算法和基于解释的特征匹配算法。 由于红外实时图和可见光参考图来自两个不同光谱的传感器，其视景图像在灰度上差距很大，有时甚至可能表 现出相反的信息（灰度反转） 。采用经典的按图像灰度相关的方法难以取得良好的匹配效果。基于解释的图像匹 配技术需要建立在图片自动判读的专家系统上，目前尚未取得突破性进展。因此考虑采用基于边缘特征匹配的 相关方法。 基于特征的图像匹配包括特征提取和特征匹配两大环节。当图像特征已经确定后就要求相似性度量函数给
N N r I (i, j ) = r min2 ∑ε (i , j, m k , n k ) = r min2 ∑∑ S i, j (m, n ) ⊕ T (m, n ) 1 ≤ r ≤ m 1 ≤ r ≤ m m =1 n =1 k =1
第 26 卷 第 4 期 2004 年 7 月
红 外 技 术 Infrared Technology
Vol.26 No.4 July 2004
多光谱图像配准实时处理技术研究*
孔 渊，崔洪洲，周起勃
（中国科学院上海技术物理研究所，上海 200083）
摘要：针对多光谱图像配准问题，利用了基于边缘特征的的相关匹配算法，设计了由可编程逻辑门阵 列 FPGA 和多处理器 DSP 板构建的通用性高速实时信号处理硬件体系结构。实验结果表明，该体系结 构实现了多光谱图像匹配，并达到了实时处理的性能要求。 关键词: 多光谱图像；数字式景像匹配制导系统；匹配算法；硬件体系结构 中图分类号：TP391.41 文献标识码：A 文章编号：1001-8891(2004)04-0041-04
*
收稿日期：2003-12-17
41
第 26 卷 第 4 期 2004 年 7 月
孔 渊等： 多光谱图像配准实时处理技术研究
Vol.26 No.4 July 2004
出共轭图像之间的相似性映射关系。多数情况下共轭图像之间的相似性函数以代价函数的形式或距离函数的形 式给出，当共轭图像完全相同时就希望代价函数和距离函数最小和为零。这种方法在很大程度上依赖于特征的 提取。 景物的边缘作为匹配的特征，具有较好的不变性。通过大量的仿真实验表明，利用它作为匹配的依据是有 效的。图像配准流程如图 2 所示。 1.1 匹配前预处理 1）边缘检测 对于实时图和参考图，分别采用 Sobel 算子进行边缘检测。 2） 区域分割 尽管红外实时图和可见参考图可能存在 着灰度反转现象，但同一图像中同质区的灰度值变化较
Fig.2 图 2 图像配准流程 Image matching flowchart
少。采用统计门限来进行区域分割。在每个像素周围取 n×n 个像素窗口，在窗口中求出均值和均方差值，并与 选定的门限进行比较，决定该像素的值。设图像为 M(i,j), i,j＝1,2,…,K，则其均值和均方差值分别为： M (i, j ) = 1 (2n + 1)2
K = −n L =−n∑ Nhomakorabean
∑ M (i + K , j + K ) ; σ 2 (i, j) =
M (i , j ) = 0 M (i , j ) = 1
n
∑ (2n + 1)2 K∑ = − n L= − n
1
n
n
( M ( i + K , j + K ) − M ( i, j ) )
第 26 卷 第 4 期 2004 年 7 月
红 外 技 术 Infrared Technology
Vol.26 No.4 July 2004
1）能实时实现预定功能。适应大规模计算处理的要求，采用并行和分布式处理结构来完成相关前处理和相 关匹配算法，提高系统的整体工作效率。 2）该硬件平台应具有标准统一、接口规范和易于升级的特点。具有一定的通用性，对于不同的应用，其硬 件结构不需要作太大的改动。 3）具有一定的灵活性。软件结构能在一定程度上脱离对硬件体系结构的依赖，采用异类处理板，软件移植 非常方便，编程量大大减少。通讯信道可重配置，以方便不同算法到处理器的映射。 根据以上要求，精心设计了 FPGA+DSP 的硬件体系结构。这种结构可以充分利用 FPGA 和 DSP 的各自优 点，结构灵活，适于模块化设计，易于系统的维护和扩展，有较强的通用性。同时还能提高算法效率，缩短开 发周期。硬件体系结构如图 4 所示。 FPGA 选用 Xilinx 新近推出的现场可编程平 台门阵列 （Platform FPGA） 的结构产品 Virtex II。 Virtex II 不仅能够以可编程平台来管理讯号完整
σ (i , j ) < Tth σ (i , j ) ≥ T th
根据区域分割提取边缘，将“1”区中像素而且至少有一个相邻像素为“0”者提取即可组成边界。这样得 到的边界方法很简单，而且容易保证了边界的连续性，也无需进行边界细化。 1.2 相关匹配准则 设实时图 T（N×N 维矩阵）在参考图 S（M×M 维矩阵）上平移，实时图覆盖下的那块参考图叫做参考子 i,j 图 S ，i,j 为这块子图的左上角像点在 S 图中的坐标，称为参考点。具体算法准则如下； 1）定义绝对误差值, 对于二值化后的参考图和实时图： ε (i , j , mk , nk ) = S i , j (mk , nk ) − T (mk , nk ) = S i, jT + S i , jT = S i, j (m, n ) ⊕ T (m, n ) ˆ(i , j ) = 1 式中： S N2 ˆ= 1 S i , j (m, n ) ; T ∑∑ N2 m=1 n =1
N N
T (m, n ) ; ∑∑ m=1 n =1
N
N
⊕ 表示异或处理。
2）取一不变阈值 Th； 3）在参考子图 Si,j 中随机且不重复选取像点，计算它同 T 中对应点的误差值ε，然后把这差值同其它点的差 值累加起来，当累加 r 次误差超过阈值 Th，则停止累加，并记下次数 r，定义检测曲面为：
4）把 I(i,j)值大的(i,j)点作为匹配点，因为这点上需要很多次累加 才使误差超过阈值 Th，见图 3，图中给出了 A,B,C 三参考点上得到的 误差累计增长曲线。A,B 反映实时图 T 不在匹配点上，这时Σε 增长 很快，超出阈值，曲线 C 中Σε 增长很慢，很可能是一套准的侯选点。
2 相关匹配算法实时实现
引言
图像配准是图像处理和模式识别的一个重要分支，它模仿了人的定位过程——记忆、观察、比较判断，是 现代信息处理和人工智能应用领域中一项关键核心技术。所谓多光谱图像配准，就是将两个不同光谱（典型的 如红外和可见光）的传感器从同一景物拍摄下来的两幅图像在空间上进行对准，以确定出这两幅图像之间相对 位移的过程。 在研究飞行器数字式景像匹配制导系统时，图像配准是必须要解决的关键技术问题。在这种图像匹配系统 中，把预先拍摄好的航片或卫片作为参考图，存储于弹上计算机，而将飞行过程当中机载传感器实时拍摄的地 面景物图像作为实时图，将实时图和参考图配准，从而确定飞行器的空间位置。 当前，随着图像匹配制导和导航技术的发展，为了提高飞行器的作战适应性、抗干扰能力和武器的突防能 力，新型的制导和寻的的探测器系统可采取多传感器组合方式，已由原来单一的可见光探测系统向多光谱探测 方向发展。由于红外探测系统，具有隐蔽性好、抗干扰性强、灵敏度和空间分辨率高等优点，所以现在的一般 采用可见光和红外复合探测系统。如图 1 所示，是这种匹配系统的典型工作流程图。但目前所采用的参考图一 般是可见卫片或航片，因此，这种系统应该采用多光谱图像配准技术。 本文对针对多光谱图像配准问题，选 择了基于边缘特征的相关匹配算法，并根 据匹配算法和任务要求， 构建了硬件平台， 实时实现了图像相关匹配。
43
第 26 卷 第 4 期 2004 年 7 月
孔 渊等： 多光谱图像配准实时处理技术研究
Vol.26 No.4 July 2004
标准数字接口 PC 机
PCI 总线接口 性、系统时序、电磁干扰（EMI）及设计安全性 等问题，还具备 Xilinx IP-Immersion 技术，设计 波段 1 DSP 处理板 人员可以很轻易地整合软件和硬件 IP 核心程序， 可编程逻辑 CAB (SLAVE) 波段 门阵列 总线接口 以满足设计需求，使电子系统的硬件与软件都能 随时升级。 图 4 硬件体系结构 Fig.4 Hardware architecture 多处理器 DSP 板选用 CORECO 公司的具有 两个 C6201 处理芯片的处理板 Pathon/C6。每个 C6201 DSP 提供高达 1600MIPS 峰值运算能力，C6201 处理器 采用 VLIW(Very Long Instruction Word，超长指令字)方式，它把一个足够长的指令分割成多个字段，每个字段 都可以独立地控制各自的运算器、寄存器、互联网络合存储器等。其处理的并行性是在编译时决定的。 在 Python/C6 COTS 多处理器板上，DSP 处理器之间的通讯有三种方式，它们提供了非常高的通讯带宽， 第一种是通过 HEXGATE 高速单级不完全交叉开关。四个处理器，输入总线和输出 PCI 总线都通过它来连接， 此高速交叉开关可以动态的配置六个数据输入输出端口之间的数据交换， 并且传输可在多对端口之间同时进行。 第二种是全局内存，每个 C6201 处理器即有局部内存便于独自的数据处理，又有全局内存便于数据交换。第三 种是通过 C6201 处理器的主机接口通过 PCI 总线和主控计算机交换数据。从软件角度看，处理器之间的通讯分 为大批量的端口读写和小批量的消息交换两种方式。 2.2 算法软件设计硬件实现 在设计的信息处理硬件体系结构上实时实现相关匹配算法。 根据 FPGA 和 DSP 芯片各自的特点来进行算法 软件的设计。 FPGA 的可编程性使它既具有专用集成电路的速度，又有很高的灵活性。因此可完成模块级的任务，起到 DSP 芯片的协处理器的作用。将运算速度要求高，数据量大和运算结构简单的算法用 FPGA 硬件实现。除此之 外，FPGA 还要进行系统复杂的逻辑控制。 而将运算繁琐，控制结构复杂的高层算法采用 DSP 芯片来实现。 对于存储密集型的图像处理系统 来说，将算法映射到 DSP 芯片时，I/O 吞吐量数据 传输机制对系统的处理能力和效率至关重要， Python/C6 上的 C6201 有四个 DMA ， 可以实现两级 I/O 缓冲，即图像数据从总线到 C6201 的相对较慢 的 SBSRAM 存储的交换 和 SBSRAM 存储器到 C6201 的片内高速 RAM 的交换，这样，数据处理 可以在片内高速 RAM 中进行，数据的吞吐量得到 图 5 数据处理和 I/O 并行执行 了极大的提高，如图 5 所示。 Fig.5 Data process and I/O implemented in parallel 图 5 中，用 DMA1 和 DMA4 分别实现第一级 数据缓存