2D3D医学图像配准研究

分类号：密级：

UDC：学号： 010768

东 南 大 学

硕 士 学 位 论 文2D-3D 医学图像配准研究

研究生姓名：梁玮

导师姓名： 鲍旭东 教授

罗立民教授

申请学位级别工学硕士工程领域名称生物医学工程

论文提交日期 2004年 月 日论文答辩日期2004年月日学位授予单位东南大学学位授予日期2004年月日答辩委员会主席评阅人

二〇〇四年六月

2D-3D REGISTRATION OF MEDICAL

IMAGE

A Dissertation Submitted to

Southeast University

For the Academic Degree of Master of Engineering

BY

LIANG Wei

Supervised by

Prof. BAO Xudong

And

Prof. LUO Limin

Department of Biomedical Engineering

Southeast University

June 2004

东 南 大 学 学 位 论 文 独 创 性 声 明

本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表或撰写过的研究成果，也不包含为获得东南大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示了谢意。

研究生签名：日期：

东 南 大 学 学 位 论 文 使 用 授 权 声 明

东南大学、中国科学技术信息研究所、国家图书馆有权保留本人所送交学位论文的复印件和电子文档，可以采用影印、缩印或其他复制手段保存论文。本人电子文档的内容和纸质论文的内容相一致。除在保密期内的保密论文外，允许论文被查阅和借阅，可以公布（包括刊登）论文的全部或部分内容。论文的公布（包括刊登）授权东南大学研究生院办理。

研究生签名： 导师签名：

摘要

论文题目：医学图像配准算法研究

研究生姓名：梁玮

导师姓名：鲍旭东教授、罗立民教授

院校名称：东南大学

在计算机辅助外科手术和图像导航外科手术中，图像配准是重要的一环，术前体数据与术中获取的图像间的配准能够给治疗提供实时信息，辅助手术导航。术中的三维图像不容易获取，一般只能得到二维图像。虽然这样的图像缺乏三维体数据的空间信息，但是它获取速度快并且能够减少患者和医生暴露在射线中的时间，将术中2D图像与术前体数据配准可以补偿一些空间信息。本文着重研究了相似性测度在医学图像配准中的应用。

本文首先讨论了数字影像重建技术（DRR）, 并用光线跟踪的方法实现了对CT体积数据的数字影像重建，通过对参数的调整实现了突出骨组织的DRR和包含软组织的DRR，得到了不错的效果，为以后的配准研究做好了重要的准备工作。

然后详细介绍了三种相似性测度：互信息、模式强度、梯度差值，引入了结合下降单纯形的模拟退火算法。基于前面提到的三种相似性测度，实现了二维图像的配准，为后面的研究奠定了良好的基础。

我们将二维医学图像配准的方法拓展到三维空间，基于三种不同的相似性测度实现了2D-3D医学图像配准，并对实验结果进行了比较和评价，并对模式强度测度进行了改进，在保证精度的前提下，加快了运算速度，得到了比较满意了效果。

关键词：医学图像; 互信息; 模式强度; 梯度差值; 图像配准; 数字影像重建

Abstract

Title: 2D-3D registration of medical image

Author: LIANG Wei

Thesis supervisor: Prof.BAO XuDong Prof.LUO LiMin

School: Southeast University

Registering per-operative datasets to intra-operative image acquisitions can provide up-to-date information at the treatment site, aiding surgical guidance and other interventions. As three-dimensional intra-procedural image acquisition is uncommon in medical institutions, typically only two-dimensional image datasets can be obtained for such purposes. Although these images lack the spatial detail of volumetric data, they have the advantages of faster acquisition time and reduced amount of radiation exposure to both patients and doctors. Ideally, one can recover the advantages of the volumetric data by aligning the intra-operative 2D images with pre-operative volumes.

We first discussed digitally reconstructed radiograph(DRR), and produced DRR by casting rays through a CT volume. By adjusting the parameters, we have got good results of two types of DRR images—spine image with no added structures and spine image with soft-tissue overlaid, as was the pre-processing work for image registration.

Next, we introduced three kinds of similarity measures, such as mutual information, pattern intensity, and gradient difference; we also present the combined method of simulated annealing and descendent simplicity. Based on the above three similarity measures, we realized registration of two-dimensional images. All this will provide excellent bases for the future research.

In this dissertation, we extended the registration of two-dimensional medical images into three dimension, realized the registration of 2D-3D medical images base on three different similarity measures and presented our comparison and evaluation of experiment results. Then we improved on the pattern intensity measure and got some satisfactory results. Experiment results show this improvement will speed up the calculation with the invariance of precision.

Key words:medical image, mutual information, pattern intensity, gradient difference, image registration, digitally reconstructed radiograph(DRR)

目录

摘要...........................................................................................................................................I Abstract....................................................................................................................................II 目录.......................................................................................................................................III 第一章绪论 (1)

1．1 研究的目的与意义 (1)

1．2 医学图像配准的分类 (4)

1．3 本文内容组织 (5)

第二章医学图像配准基本原理 (7)

2.1 医学图像配准原理 (7)

2.2 几何变换 (7)

2.2.1 刚体变换 (8)

2.2.2 仿射变换 (8)

2.2.3 投影变换 (8)

2.2.4 非线性变换 (9)

2.3 相似性测度 (9)

2.3.1 规一化互相关（Normalized Cross Correlation） (9)

2.3.2 差值图像的熵( Entropy of the Difference Image) (10)

2.3.3 互信息 (MI，Mutual Information) (10)

2.3.4 梯度相关（Gradient Correlation） (10)

2.3.5 模式强度（PI，Pattern Intensity） (11)

2.2.6 梯度差值（Gradient Difference） (11)

2.4 灰度插值 (12)

2.4.1 最近临插值方法 (12)

2.4.2 三线性插值方法 (13)

2.4.3 部分体积插值法 (14)

2.5 多参数优化算法 (14)

2.5.1 单纯形法 (14)

2.5.2 模拟退火算法 (17)

2．6 本章小结 (20)

第三章数字影像重建技术 (21)

3．1 DRR原理 (21)

3．2 DRR的应用 (23)

3．3 DRR算法的实现 (24)

3．4 实验结果与讨论 (25)

3．5 本章小结 (26)

第四章二维图像的配准 (28)

4．1 差值图像（Difference Image）及其熵 (28)

4．2 相似性测度 (30)

4．2．1 互信息（MI , Mutual Information） (30)

4．2．2 模式强度（PI , Pattern Intensity） (32)

4．2．3 梯度差值（GD , Gradient Difference） (32)

4．3 结合下降单纯形的模拟退火算法 (34)

4．4 二维图像配准的实现 (35)

4．4．1 MR切片图像配准结果 (36)

4．4．2 DRR图像配准结果 (37)

4．5 本章小结 (38)

第五章 2D-3D医学图像配准 (39)

5．1 配准前的准备工作 (39)

5．1．1 三维CT体数据的获取 (40)

5．1．2 二维图像数据的获取 (41)

5．2 2D-3D医学图像配准基本原理及步骤 (42)

5．3 基于三种相似性测度的配准结果 (43)

5．4 Pattern Intensity（PI）测度的快速算法 (45)

5．5 本章小结 (47)

第六章总结与展望 (48)

6.1 总结 (48)

6.2 展望 (49)

参考文献 (50)

致谢 (54)

第一章绪论

1．1 研究的目的与意义

随着医学成像技术的高速发展，医学图像在现代临床医学中的应用越来越广泛。医学影像技术在临床诊断，手术计划、实施、评估等应用中都发挥了重要作用。

新型医疗影像设备层出不穷，如X线计算机断层CT图像，核磁共振MR图像，PET，SPECT，DSA等，这些影像设备都可以被视为传感器，他们获取的是人体解剖信息或功能信息。如X线CT图像人体某一断层不同物质对X线衰减特性的图像，PET图像是人体中注入某种放射示踪剂后，随着人体的功能作用，利用光子探测器来跟踪显示图像。

不同性质的图像提供了多种诊断依据，单一的图像无法给出足够的信息，比如，CT图像的分辨率较高，但有时无法显示某组织的功能描述，而PET图像的分辨率较差，但它能提供功能性描述，因此，临床上通常需要将同一个病人的多种模式成像结果结合起来进行分析，以提高医学诊断和治疗的水平，例如，将来源于CT或MR图像的解剖信息，与来源于PET或SPECT图像的功能信息结合，或者在CT图像上观察骨组织结构，而在MR图像上对照软组织信息等。如果只依靠医生的经验把来自不同途径的图像信息综合在一起，是比较困难的。用图像配准技术将多种图像模式（通常是两种）的信息通过一个最佳的空间几何变换达到两幅图像空间上的最佳对应，就解决了这个问题。

如图1-1-1、图1-1-2和图1-1-3所示，这是EASI（European Application in Surgical Interventions）计划于1998年发表的关于计算机辅助外科手术、图像导航外科手术方面的部分研究成果。EASI计划于1996年1月正式启动。这项计划的目的是提高神经脑外科图像导航手术和腹部大动脉血管瘤图像导航手术的效率和质量，同时减少患者的危险及治疗费用，在这方面他们做了大量的工作]1[。在计算机辅助外科手术和图像导航外科手术中，图像配准是重要的一环，术前体

图1-1-1 外科手术中的图像导航：(a) 手术前在患者的皮肤上设置外部标记，(b)手术前在医学图像的辅助下制定手术计划，(c) 在手术台上进行患者与图像的实时配准，(d) 手术中用导航器械进行手术导航

图1-1-2 手术前的3-D CTA图像与手术中的2-D X射线图配准，将X射线图中导管的位置

显示在CTA图像中，然后将CTA图像中的大动脉分割出来贴在X射线图中（见图1-1-3）。

(b) (c)

图1-1-3 把术前的CTA与术中的X射线图数据联系起来：(a) 用户界面平台上显示术前的CTA，术中的X射线图和一个能看到血管瘤的大动脉，(b) 将从术前CTA上分割下来的大动脉覆在术中的X射线图上，(c) 在X射线图上勾勒出大动脉的轮廓。

数据与术中获取的图像间的配准能够给治疗提供实时信息，辅助手术导航。术中的三维图像不容易获取，一般只能得到二维图像。虽然这样的图像缺乏三维体数据的空间信息，但是它获取速度快并且能够减少患者和医生暴露在射线中的时间。将术中2D图像与术前体数据配准可以补偿一些空间信息。

1．2 医学图像配准的分类

在临床医学诊断中，图像配准融合是模式识别和计算机视觉领域所研究的主要问题之一。图像配准的主要任务是要在两幅图像（二维或者高维）之间建立对应关系，也就是寻找图像间的变换。图像配准方法的具体分类有很多种，根据各种各样的准则对配准方法进行分类，一般主要有九种分类的原则]4][3][2[。

其中，基于特征的来源的配准可分为基于外在特征、基于内在特征和无需图像的配准三大类。

基于外在特征的配准分为有创和无创两个方面，有创包括立体定位框架]6][5[

和有创埋入标记]7[的方法；无创包括运用模具、框架和牙托等方法，还包括在皮肤上无创设立标记]9][8[等。

基于内在特征的配准主要包括三个方面：基于标记、基于分割、和基于像素特征。

基于标记分为基于解剖知识的标记]10[（如：利用人体特殊的解剖结构，一般由人工直接描述）和基于几何知识的标记]12][11[（如：运用数学知识得到大量点、线、面的曲率、角度特征等）；基于分割分为基于刚体变换的模型]13[（如：头骨模型的表皮分割）和基于变形变换模型]14[（心脏模型的表皮分割）。基于标记和分割的方法运算速度比较快（在分割完成之后），然而这两种方法的主要缺点在于：1.需要对患者植入人工标记；2.配准依赖于分割，而分割很难本身很可能引入错误，所以通常需要交互。

基于像素分为部分运用像素灰度信息]15[（如：对像素的二值化处理后的基于矩的配准）和全部运用像素灰度信息（如：基于相关校准]16[、傅立叶变换]17[或

者熵的配准]18[）。基于像素灰度信息的配准直接对像素灰度进行操作，与基于特征的方法相比，虽然需要对应的点数增加了，但是不再需要特征提取的步骤，也就是说，不需要图像分割。

无需图像进行配准，似乎不太可能，但在实际应用中可能出现，我们只要想办法将两种图像的坐标系统事先调整一致就可以了，比如，正在做CT的病人同时在做B超，或者在外科手术中需要将手术器械配准到CT图像中]19[。

1．3 本文内容组织

本文的重点是实现二维、三维医学图像配准，并对互信息、模式强度、梯度差值三种相似性测度进行比较，并实现了模式强度的快速算法。

第一章 介绍医学图像配准的基本原理和相关理论知识。包括图像配准的概念、空间变换方法、相似性测度、插值算法以及多参数优化算法。

第二章 介绍并实现了数字影像重建（Digitally Reconstructed Radiograph，DRR）。

介绍了DRR的原理，参数、应用，并用点光源，光线跟踪的方法实现了

对CT体积数据的数字影像重建，通过对参数的调整实现了突出骨组织

的DRR和包含软组织的DRR，得到了不错的效果，为以后的配准研究

做好了重要的准备工作。

第三章 我们首先介绍了由两幅二维图像获取差值图像的方法以及差值图像的熵在图像配准中的作用，然后详细介绍了三种相似性测度：互信息、模式

强度、梯度差值，引入了结合下降单纯形的模拟退火算法。基于前面提

到的三种相似性测度，实现了二维图像的配准。我们对三种相似性测度

的性能进行讨论、比较，为后面的研究奠定了良好的基础。

第四章 内容主要涉及2D-3D医学图像配准。我们将二维医学图像配准的方法拓展到三维空间，介绍了2D-3D医学图像配准的基本原理和步骤及二维、

三维图像数据的获取，然后基于三种不同的相似性测度实现了2D-3D医

学图像配准，并对实验结果进行了比较和评价，分析了每种相似性测度

的优劣，并对模式强度测度进行了改进，得到了比较满意了效果。

第五章 总结与展望。对前面工作的总结，指出工作中取得的成绩和存在的不足，并对以后的研究工作进行了展望。

第二章 医学图像配准基本原理

基于灰度的配准方法是医学图像配准研究的发展方向，也是目前的热点之

一。与基于特征的配准方法相比，基于灰度的配准方法不需要提取特征，而是直接对图像像素的灰度进行处理，这样就免去或减少了图像分割。图像分割通常需要交互，实现自动分割是很困难的，而且，图像分割的错误会严重影响配准结果。

2.1 医学图像配准原理

对于在不同时间或/和不同条件下获取的两幅图像)(x U 和)(x V 配准，就是要定义一个相似性测度，并寻找一个空间变换关系，使得经过该空间变换后，两幅图像间的相似性测度达到最大]20[，使图像U 上的每一个点在图像V 上都有唯一的点与之相对应。如：

)))((),(()(X T V X U S T S = （2-1-1）

式中S 是相似性测度，T 为空间变换，图像空间变换的形式通常可分为刚体变换、仿射变换、投影变换和曲线变换四种，配准过程可归结为寻求最佳空间变换

)(max arg ?T S T T

= ( 2-1-2) 由于空间变换包含多个参数，可见这是一个多参数最优化问题，一般由迭代过程实现

T T T ?+=′ （2-1-3）

本文采用了模拟退火算法作为优化算法，增量T ?用该算法的搜索策略得到。

2.2 几何变换

将一幅图像与另一幅图像配准，需要对一幅图像进行一系列的空间变换，这些变换可分为刚体变换（Rigid body transformation ）、仿射变换（Affine

transformation ）

、投影变换（Projective transformation ）和非线性变换（Nonlinear transformation ）

。

如果第一幅图像中的两点间的距离变换到第二幅图像中后仍保持不变，则这种变换成为刚体变换。刚体变换可分解为平移、旋转和反转。在二维空间中，点),(y x 经过刚体变换到点),(y x ′′的变换公式为：

??????+?????????ΦΦ±??

?ΦΦ=??????′′y x t t y x y x cos sin sin cos m （2-2-1） 其中Φ为旋转角，??

????y x t t 为平移向量。

2.2.2 仿射变换

经过变换后第一幅图像上的直线映射到第二幅图像仍为直线，并且保持平衡关系，这样的变换称为仿射变换。仿射变换可以分解为线性变换和平移变换。在2D 空间中，变换公式为：

??

????+????????????=??????′′y x t t y x a a a a y x 22122111 （2-2-2） 其中??

????22122111a a a a 为实矩阵。

2.2.3 投影变换

经过变换后第一幅图像上的直线映射到第二幅图像上仍为直线，但平行关系基本不保持，这样的变换称为投影变换。投影变换可用高维空间上的线性变换来表示。变换公式为：

????

????????????=??????′′1231322122111y x a a a a a a y x （2-2-3）

非线性变换可把直线变换为曲线。在2D 空间中，可以用以下公式表示： ),(),(y x F y x =′′

其中，F 表示把第一幅图像映射到第二幅图像上的任意一种函数形式。典型的非线性变换如多项式变换，在2D 空间中，多项式函数可写成如下形式：

K K

++++++=′++++++=′2021122001100020211220011000y b xy b x b y b x b b y y a xy a x a y a x a a x （2-2-4）

非线性变换比较适用于那些具有全局性形变的图像配准问题，以及整体近似刚体但局部有形变的配准情况。

在医学图像配准中，对刚体变换的应用比较多，尤其是脑部及骨骼的配准。其他的变换形式多用于软组织的配准中。本文主要对脑部及椎骨进行配准。 2.3 相似性测度

相似性测度决定了每一个配准测试中的相关特性。相似性测度的选择是一个图像配准中最重要的步骤之一，它将决定如何确定配准变换，而且，其匹配的程度最后应转化为匹配或者不匹配。下面介绍几种与基于灰度信息的图像配准相关的相似性测度。

下面我们介绍几种主要的基于像素灰度信息的相似性测度。这里我们定义待配准图为参考图（Reference Image ），像素灰度值为ref I ；定义配准过程中以不同的空间变换参数产生的图像为浮动图（Floating Image ），像素灰度值为flo I 。

2.3.1 规一化互相关（Normalized Cross Correlation ）

∑∑∑∈∈∈????=T j i flo flo T j i ref ref T j i flo flo ref ref I j i I I j i I I j i I I j i I

R ),(2

),(2

),()),(()),(()),()(),(( (2-3-1) ref I 和flo I 分别是参考图和浮动图在T j i ∈),(区域内的像素灰度平均值。

在互相关相似性测度中，像素的贡献几乎完全依赖于像素的灰度，因此，少量大的灰度差值（比如，可能是由手术器械的干涉引起的）会对该相似性测度由较大的影响]21[。

2.3.2 差值图像的熵 ( Entropy of the Difference Image)

这里所说的熵（H ）是差值图像（dif I ）得到的。所谓差值图像就是就是参考图（ref I ）减去浮动图像(flo I )与一个适当灰度缩放参数（s ）的乘积的结果。如下式所示：

flo ref dif sI I I ?= (2-3-2)

)(log )()(x p x p s H x

∑?= (2-3-3)

)(x p 表示在差值图像dif I 中像素值x 的概率，是将直方图规一化后得到的。

2.3.3 互信息 (MI ，Mutual Information)

互信息是信息理论中的一个基本概念，通常用于描述两个系统间的统计相关性，或者是一个系统中所包含的另一个系统中信息的多少。两幅图像间的互信息可以用下式来描述：

∑=y x y p x p y x p y x p S ,)

()(),(log

),( (2-3-4) 联合概率分布),(y x p 用归一化的联合直方图表示，)(x p 、)(y p 是),(y x p 的边缘分布概率]2[]6[。当两幅图像的空间位置完全一致时，其中一幅图像表达的关于另一幅图像的信息，也就是对应像素灰度的互信息应为最大。研究表明，互信息在3D-3D 多模图像配准中非常有效，如MR 与PET ，或者MR 与CT ]24][23][22[。

2.3.4 梯度相关（Gradient Correlation ）

基于梯度的相似性测度首先要计算ref I 和flo I 的导数。用水平和垂直Sobel 算

子对两幅图像进行处理，生成四幅梯度图像di dI ref 和dj dI ref 以及di dI flo 和dj dI flo ，分别表示两幅图像在两个正交坐标轴方向上的变化率。接下来，用式

（2-3-1）分别计算di dI ref 与dj dI ref 之间和di dI flo 和dj dI flo 之间的归一化互相

关。这两幅图像的梯度相关测度值就是前面得到的两个归一化互相关的平均值。

梯度相关测度的优点在于能够滤除两幅图像间空间低频差异，比如软组织。但是由于用到了Sobel 算子，所以该测度对边缘信息敏感。又因为用到了归一化互相关，所以对少量大的灰度差值敏感。如果一幅图像上包含术中手术器械，那么它的轮廓会被Sobel 算子加强，进而影响该相似性测度]25][21[。

2.3.5 模式强度（PI ，Pattern Intensity ）

模式强度是基于2.2.1中提到的差值图像进行计算，这里我们把待配准的目标称作“模式”。将fl I 与DRR sI 相减得到dif I ，当达到配准状态时，dif I 中待配准的模式会消失，模式的强度会减到最小。模式强度认为，当一个像素与其临近的像素值差别显著的时候，这个像素属于一个模式]26[。 以这个像素为中心，半径r 以内的像素都加入了计算。计算公式如下：

∑∑≤?+=j i r d dif dif r w v I j i I P ,222,22)),(),((σσσ （2-3-5）

222)()(w j v i d ?+?= （2-3-6） 式（2-3-5）表明，当该模式趋近于零时，模式强度测度的值趋近于一个最大值；当该模式渐渐增加的时候，模式强度测度渐进趋于零。常数σ是函数的权重。

2.2.6 梯度差值（Gradient Difference ）

这种相似性测度也是基于前面提到的差值图像的，但是这个差值图像是有梯

度图像得到的（如式2-3-7）。与模式强度测度同样，梯度差值测度也用到了)1(12x +的形式，这样可以增加对细线结构的鲁棒性]27[。

∑∑+++=j i j i diffH h h diffV v v j i I A A j i I A A s G ,,22

)),(()),(()( （2-3-7） di dI s di

dI j i I DRR fl

diffV ?=),( dj dI s

dj dI j i I DRR fl

diffH ?=),( （2-3-8） 式（2-3-7）的计算与见2.3.4，v A 与h A 是常数。

2.4 灰度插值

在图像配准中，空间坐标变换后得到的像素坐标位置可能不在整数像素上，因此需要用灰度插值的方法对像素值进行估计。在医学图像配准中，由于要对目标函数反复迭代求解，也就是说要几百次甚至上千次地反复进行图像的坐标变幻和灰度插值。因此，在医学图像配准中，希望插值计算简单、速度快，当然这样会在一定程度上牺牲计算精度，常用的插值方法有：最临近插值法（NN, Nearest

Neighbor ）

、三线性插值法（TRI, Trilinear Interpolation method ）和部分体积分布法(PV , Trilinear Partial V olumn Distribution)等方法。

2.4.1 最近临插值方法

设需要插值的点为u ，在二维图像中，临近该点的落在坐标网格上的像素点分别为1v ，2v ，3v ，4v 。最近临法直接计算u 和邻近四个点之间的距离，并将与该点距离最小的点的灰度值赋给u （如图2-4-1所示）

计算公式如下：

)()(v f u f = ， )),((min arg i v v u d v i

= （2-4-1） 这种方法简单快捷，但当临近点之间的像素灰度差别很大时，这种方法会产生较大的误差。

图2-4-1 最临近插值示意图

2.4.2 三线性插值方法

三线性插值法也称双线性插值法，是使用线性插值来求像素的灰度。计算方法为先沿着一个坐标轴方向使用线性插值方法求出两点的插值灰度，然后沿另一个坐标轴，利用这两个点对目标点进行线性插值来求灰度。计算方法如图2-4-2所示：

图2-4-2 三线性插值和部分体积插值示意图

计算公式为：

∑=i

i i v f w u f )()( （2-4-2）

上式中)(i v f 为它们的灰度值，i w 为各相邻点的权重，表达式如下：