多模态医学图像非刚性配准算法研究综述

多模态医学图像非刚性配准算法研究综述

夏仁波

中国科学院沈阳自动化研究所

医学影像技术的高度发展给临床医学提供了X射线、超声、计算机断层成像（CT）、数字减影血管造影（DSA）、单光子发射断层成像（SPECT）、磁共振成像（MRI）、正电子发射断层成像(PET)等多种模态的影像信息。每种模态都有其优缺点，例如CT可以清楚地显示出体内脏器和骨骼的解剖结构，但不能显示功能信息。PET 是一种无创性的探测生理性放射核素在机体内分布的断层显像技术，是对活机体的生物化学显像，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。由于成像原理不同造成的图像信息局限性，使得单独使用某一类图像的效果并不理想，而多种图像的利用又必须借助于医生的空间想象力和推测去综合判定他们所要的信息，其准确性受到主观影响，更重要的是一些信息可能被忽视。解决这个问题的办法是通过空间变换将两幅图像映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。而求解空间变换参数的过程就是图像配准。在配准过程中，其中的一幅图像保持固定，称为参考图像（Reference Image），与参考图像进行匹配的图像称之为浮动图像（Floating Image）。医学图像配准是信息科学、计算机图像技术和当代医学等多学科交叉的一个研究领域，在病灶定位、PACS 系统、放射治疗计划、指导神经手术以及检查治疗效果上有着十分重要的应用价值。

按空间变换关系，图像配准可被归为两个大类: 刚性配准（Rigid Registration）和非刚性配准（Non-rigid Registration）

变换，非刚性配准包括仿射、射影和弹性变换等。刚性配准通常假设图像获取过程中目标组织的解剖和病理结构不发生变形或者扭曲，例如，由于受头颅的约束，同一病人的大脑图像被认为只存在刚性变换。“刚性”假设简化了配准的复杂度，经过几十年的发展，刚性配准算法已经比较成熟，但目前的算法对初值非常敏感。另一方面，虽然在一般情况下刚性配准足以描述两幅图像之间的空间变换，然而，许多时候并不能满足临床的需要，因为很多形变的性质是非刚体、非线性的。比如MRI 图像常常伴有组织磁化系数差异、非水分子的化学位移以及血液流动等因素导致的几何畸变以及由于磁场不均匀、磁场梯度非线性及涡流等导致的探测畸变。因此在放疗计划制定中，CT 与MRI 图像配准时，不能单纯地使用刚体配准。尤其对一些特殊部位，比如鼻咽部，由于软组织和空气的磁化系数差异大约为105，会引起10ppm 的磁场变化，从而导致大于5mm 的几何畸变。此时，为了得到满意的结果，必须使用非刚性配准。相对刚性配准，非刚性配准还是一个方兴未艾的课题。采用现有的非刚性算法配准两幅2D的医学图像，一般需要几十分钟，处理 3D图像时，更是多达几个小时。计算量过大已成为非刚性配准算法在临床应用中的最大障碍之一。此外，在处理噪声图像时，特别是处理局部

变形较大的多模态医学图像时，目前的配准算法经常产生错误的结果。这些因素限制了非刚性配准算法在医学领域中的应用。

国内外研究现状及分析

在过去的几十年里，图像采集设备发展惊人，大量图像信息的获取增加了对图像配准技术的需求。早在1983年，Ghaffary等就发表了关于配准的综述[1]。另一篇影响深远的综述性文章在1992年由Brown发表[2]。Institute of Scientific Information (ISI)的调查数据表明，1999至2008的10年间至少有3900多篇的学术论文在研究图像配准问题。2002年网上公布的美国申请专利中，与图像配准的相关的部分就超过50项，IBM和GE等大型跨国企业甚至拥有自己的工作组专门研究医学图像配准问题。而在最近的国际顶级学术会议上（CVPR2004、ICIP2005和MICCAI 2007）都有关于配准的专题讲座。这些统计数据足见图像配准问题受到的关注程度。

在医学图像处理领域，80年代初，随着CT、MRI等医学成像设备逐步应用于临床诊断，医学图像配准的问题逐渐被重视起来。Elsen等首先综述了1993年以前在医学图像配准领域中应用的各种方法，将医学图像配准方法分为基于图像外部特性和内部特性的两大类[3]。其中，基于图像外部特性的方法包括定标架、面模法和皮肤外标记法等。应用这种方法，图像扫描前需要给患者安装定标架、面模和皮肤标记物等辅助设施，以限制身体的移动，减少由移动等因素引起的空间位置变化，从而获得高精度的配准。但是这类方法操作繁琐而且对病人本身是有创伤的，应用较少。另外一种方法是直接利用图像内在的特征引导图像配准，包括手工交互法、对应点配准法、结构配准法以及相关配准法等，这是目前主要的研究方向，也是本项目的研究内容。1998年，Maintz等对医学图像配准方法又作了一次全面的总结[4]，并依据8个主要准则对自1993年及之后的配准方法进行归类。2003年，Josien等针对基于互信息的医学图像配准方法，从配准方法和具体应用两个层面进行了详尽的回顾。在配准方法部分描述了图像预处理、灰度插值、优化过程和变换函数等图像配准过程的现状；在具体应用部分根据不同模式、不同病人和不同解剖对象的差异说明了基于互信息的图像配准应用情况[5]。

图像配准的方法众多，根据空间变换关系，图像配准可被归为两个大类: 刚性配准和非刚性配准[6]。许多医学图像配准算法都假设变换是刚性的，即搜索空间只包含六个自由度（三个平移和三个旋转）。刚性变换的主要特点是保持距离不变。由于人体骨骼的刚性较高，当配准的组织为骨骼或受骨骼包围时，刚性配准通常被广泛采用。目前为止，采用刚性算法进行配准最多的人体部位是头，特别是大脑[7,8]。刚性配准也可应用于人体骨骼附近区域，如颈部、骨盆和脊骨等，但是误差往往较大。刚性算法既可用于单模态配准，也可用于多模态配准。刚性配准方法目前已基本趋于成熟，MRreg、 SPM 和AIR等商业软件都集成了刚性配准算法。然而，医学图像配准大多数是非刚性的，完全刚性的图像很少，当图像中的存在非线性变形时，刚性配准便无法满足精度要求，这时要求采用非刚性配准方法。

目前，非刚性配准的已经成为一个极具活力的研究领域，也是本课题的研究焦点，下面我们将从仿射变换、样条函数、弹性模型、粘流模型、有限元模型和统计概率等方面对其作重点综述。

仿射变换是一种最为简单的非刚性变换，它把尺度变换系数的非均匀性和剪切效应当作新的自由度。当尺度变换系数和剪切畸变分别为1和0时，仿射变换退化为刚性变换。仿射变换可用于校正由CT台架倾斜引起的剪切或MR梯度线圈不完善产生的畸变[9]。但是，单纯地发生伸缩或剪切的组织器官并多见，即使对于大脑的配准，小孩的成长、损伤部位的恢复和切除手术等都会让仿射变换失败。因此，用仿射变换代替刚性变换进行图像配准不会明显的增加应用范围。对于大多数器官来说，为了精确地描述组织的形变，需要引入更多的自由度。

非刚性配准中另一种采用得较多的变换形式是样条（Spline）。样条是一种由多项式分段定义的光滑曲线，样条曲线在连接点处具有连续的坡度与曲率，所以在图像配准中有着广泛的应用[10]。样条配准技术假设在浮动图像和参考图像上已经存在一组对应点，这些对应点通常称作控制点。样条配准就是通过已知的控制点利用样条函数插值的方法建立起从浮动图像到参考图像之间所有点的对应关系，它提供了一个平滑的变位移域。常见的样条有薄板样条（Thin Plate Spline）和B样条。薄板样条是基于径向基函数的样条族的一种，它是由Duchon 通过分散数据的面插值而得来[11]。薄板样条的变换模型有许多优点，例如，它能够吸收如刚性体的附加约束或方向约束到变换模型，还可以扩展为逼近样条，而且薄板样条具有将形变清楚地分解为仿射分量和非仿射分量的独特性质，因此，近年来被广泛地应用于图像配准[12]。基函数通常有无限的支持，因此每一个基函数都对变换有贡献，每一个控制点都对变换有全局性的影响。在很多情况下，控制点的全局影响都是不良的，因为它导致模型局部变形困难。薄板样条中某一控制点的位置一旦遭到扰动，经薄板样条插值后，扰动误差将传播到整幅图像，从而对变换函数产生全局性的影响。这是采用薄板样条函数进行图像配准最大的局限性之一，因为实际应用中标记点的位置难免有所偏差。薄板样条的另一个缺点是，为了处理复杂局部变形，要求采用大量的控制点，随着控制点的增加，移动单个点的计算花费将会猛增。而B 样条是定义在每个控制点附近区域

B 样条的这种局部支持性具有更

计算效率高、平滑和易于局部控制等优点，已成功也用于图像配准。Rueckert等[13]

局部运动为基于B 样条的自由形式变换，归一化的互信息作为像素级的相似性测度。配准通过最小化一个代价函数来完成，该代价函数包括变换的平滑代价和图像相似性代价，最大化相似性代价函数计算出最优的仿射变换参数，用总的代价函数计算出最优的非刚性变换参数。研究显示，与多项式、径向基函数、谐波函数和小波函数等相比，B样条模型的计算花费最小。

弹性配准是把浮动图像看作线弹性的固体，通过弹性体自身的内力和施加在

弹性体上的外力对弹性体进行变形，当内力和外力达到平衡时，弹性体的形变停止，图像配准完成。外力通常选择相似性量度标准的梯度，如强度差分和曲率的局部相关量度。此外，还可选择相应解剖结构曲线和曲面间的距离作为外力。Rexilius等[14]提出了基于弹性变形模型的非刚性配准算法，他们用非线性扩散滤波器平滑图像后计算图像梯度，选取高于梯度平均值两个偏差的像素点作为特征点，用局部归一化互相关作为相似性测度计算特征点的稀疏变形估计量，该估计量作为外力引入建立的弹性模型。Krinidis等[15]在序列切片的重建中使用了基于物理模型的非刚性配准。线弹性假设只适用于小变形的情况，对于差异较大的图像，弹性配准方法并不可靠。在流体配准中，约束随着时间放宽，使得包括拐角的局部变形都能够模型化。因此在多主体配准工作（包括图谱配准）中，由于存在较大的变形度，流体配准很有吸引力。例如，等[16]提出用粘流模型取代弹性模型解决高度局域化的变形问题。但由于粘流模型需要计算每个像素（体素）上的驱动力，当处理的数据较大时，效率较低。Bro-Nielsen等[17]提出了一种快速的弹粘流配准方法，结合偏微分方程的线特性和叠加原理，他们把线性偏微分方程的脉冲相应当作滤波器处理，使得该模型的执行效率提高了一个数量级。Thirion等[18]提出了一种叫做“Demons”非刚度配准算法，该方法与流体

由于存在较多的自由度，图像重合失调的范围也随之增加。

有限元方法由于对局部变形具有更强的原则性控制，已被用于大脑和胸等部位的图像配准。Edwards 等[19]采用三要素模型来模拟刚性、弹性和流体结构的性质，提出了一种有限元模型的简化形式。做法是将图像划分为有多个连通结点的三角形网络，根据潜在解剖结构的物理性质为每个结点做标记，例如骨质标记为刚性，软组织标记为弹性，CSF 标记为流体。标记为弹性和流体的结点通过最小化能量函数变形，而标记为刚性的结点保持不变。配准由最小化相应标记点距离的相似性测度驱动，但别的相似性测度也可以容易地结合到能量函数中。Ferrant 等用有限元模型配准脑部MRI 图像[20]，他们采用四面体网络生成程序进行3D 医学图像网络化，标记的3D图像首先分割成给定大小的立方体，然后进一步分割成四面体，用给定目标的边缘再分割四面体，直到最小的边缘不可再分，最后用类似的步进四面体切割产生实际的四面体网络，精确地表达边界表面。有限元法一般用于具有强烈生物机械约束的情况，不适用于多主体（Intersubject）之间的图像配准。

多模态的医学图像之间关系一般较为复杂，并且多是隐性的，因此，基于统计概率的图像配准算法逐渐得到了更多学者的认可。最大似然（Maximum Likelihood）、相对熵（Kullback-Leibler Divergence）和相关比（Correlation Ratio）和互信息（Mutual Information）等信息测度纷纷被用于图像配准，特别是基于互信息的医学图像配准取得了长足的进展[21]。互信息是信息论中的一个基本概念，是两个随机变量统计相关性的测度，当两幅基于共同解剖结构的图像达到最佳配准时，它们对应像素的灰度互信息应达到最大。该测度不需要对不同成像

模式下图像灰度间的关系作任何假设，也不需要对图像进行分割或任何预处理。尽管互信息已被广泛地用于多种医学图像配准，

息度量有很大影响，误配数量的增加也可能导致互信息值增大，因此互信息值达到最大并不能保证得到正确的配准结果。为此，Studholme等[22]提出了一个归一化互信息测度。归一化互信息使配准函数更平滑，对图像重叠部分敏感性更低，配准精度更高。此外，互信息与其他物理模型结合，可以派生出许多新的非刚度图像配准方法。例如，Fookes等[23]提出了一种基于互信息和流体模型的混合图像配准算法，它既有粘流模型变换函数光滑的优点，又兼备互信息方法无需任何形态信息假设的好处。

值得一提的是，大多数非刚性的图像配准都可看作是一个多参数优化问题[24]，即寻找某个信息测度达到最大时的几何空间变换参数值。常用的优化算法有: Powell 法、单纯形法、遗传算法、模拟退火和确定性退火技术等，但选取什么样的优化策略、如何避免局部极值、如何提高优化速度等问题依然处理研究阶段。

在我国，尽管图像配准的研究已有数十年的历史，但关于非刚性的医学图像配准方法近几年才鲜有报道[25-28]。为了尽快缩短与国外的差距，国家自然科学基金在最近两年都资助了关于非刚性配准方面的研究（例如，周海芳，2006；覃征，2006；梁栋，2007；吕晓琪，2007），尽管至2006年以来已有2篇相关文章在国内核心刊物和国际会议上发表，但实质性的工作未见报道。

综上所述，我们可以总结出：第一，与刚性方法相比，非刚性方法更适合医学图像的配准；第二，基于样条函数的配准方法一般要求提取图像中的特征点，

此外，薄板样条对点的局部扰动比较敏感，而B样条需要采取一些特殊处理措施，以免产生折叠效应；第三，弹性假设只适合小变形的情况，虽然粘流模型可以处理较大的图像变形，但

并且计算花销很大；第四，有限元法具有较强的局部变形控制能力，但不适合多主体图像的配准；第五，互信息在医学图像配准中受到了广泛的关住，然而，互信息只是一个相似性测度，如何实现不

如何将互信息概念与其他概念结合起来形成一个更稳健的测度等问题仍然有待深入研究。由于医学图像的模态多样性和复杂性，已有的模型或假设条件可以很好的应用到一类图像或一类组织，但是很难再将该模型加以扩充，使其可以应用到其他的方面。用户可以调节一定的参数，如搜索层次、精度，但是很难再加入新的条件和知识，如对象的形状、灰度轮廓、模态特性等。最理想的目标是能够有一套方法可以在无指导的情况下，自动的实现图像的配准及分割的问题。但是这样一种通用的方法实际上是难于得到的。比较而言，统计意义下的图像分析模型比其他的模型具有更广泛的适用性和鲁棒性。比其他的方法需要更少的假设，灵活性强，适用于处理复杂的多模态问题。

参考文献

[1] B. G. Ghaffary, A. A. Sawchuk. A Survey of New Techniques for Image Registration and

Mapping, Proc. SPIE: Applications of Digital Image Processing, 432: 222-239, 1983. [2]L. Brown. A Survey of Image Registration Techniques, ACM, Computing Surveys, 24(4):

325-376, 1992.

[3]P. A. van den Elsen, E. J. D. Pol, M. A. Viergever. Medical Image Matching- A Review

with Classification, IEEE Engineering in Medicine and Biology, 12: 26-29, 1993.

[4]J. B. A. Maintz, M.A. Viergever. A Survey of Medical Image Registration, Medical Image

Analysis, 2: 1-36, 1998.

[5]P. Josien, J. Maintz, and Max A. Viergever. Mutual Information Based Registration of

Medical Image: A Survey, IEEE transaction on medical imaging, 22(8): 986-1004, 2003. [6] B. M. Dawant. Non- rigid Registration of Medical Images: Purpose and Methods, a Short

Survey. IEEE International Symposium on Biomedical Imaging, 465-468, 2002.

[7]J. B. West, J. M. Fitzpatrick. Comparison and Evaluation of Retrospective Intermodality

Brain Image Registration Techniques, Journal of Computer Assisted Tomography, 21: 554-566, 1997.

[8]R. Myers. The Application of PET-MR Image Registration in the Brain. The British.

Journal of Radiology, 75: s31–s35, 2002.

[9]J. Flusser, T. Suk. A Moment-based Approach to Registration of Images with Affine

Geometric Distortion. IEEE Trans. Geosci. Remote Sensing, 32, 382-387, 1994.

[10]冯林, 管慧娟, 孙焘, 滕弘飞. 医学图像非刚性配准研究进展, 北京生物医学工程, 2

25(4): 437-440, 2006.

[11]J. Duchon. Spline Minimizing Rotation-invariant Semi-norms on Sobolev spaces, in Proc.

Construct. Theory Funct. Several Variables, 571: 85–100, 1977.

[12]Y. C. Tsai, H. D. Lin, Y. C. Hu, et al.. Thin-Plate Spline Technique for Medical Image

Deformation. Journal of Medical and Biological Engineering, 20(4): 203-210, 2000. [13] D. Rueckert, L. L. Sonoda, C. Hayes, et al.. Non-rigid Registration Using Free-form

Deformations: Application to Breast MR Images, IEEE Transactions on Medical Imaging, 18(8): 712-721, 1999.

[14]J. Rexilius, S. K. Warfield, C. R. G. Guttmann, et al.. A Novel Nonrigid Registration

Algorithm and Applications, In MICCAI(2001), LNCS 2208, 923-931, 2001.

[15]S. Krinidis, C. Nikou, and I. Pitas. Reconstruction of Serially Acquired Slices Using

Physics-Based Modeling, IEEE Transactions on Information Technology in Biomedicine, 7(4): 394-403, 2003.

[16]G. Christensen, H. Johnson. Consistent Image Registration, IEEE Transactions on Medical

Imaging, 20(7): 568-582, 2001.

[17]M. Bro-Nielsen and C. Gramkow. Fast Fluid Registration of Medical Images. Visualization

in Biomedical Computing (VBC ’96), 267-276, 1996.

[18]J. P. Thirion. Image Matching as a Diffusion Process: an Analogy with Maxwell's Demons.

Medical Image Analysis, 2(3): 243-260, 1998.

[19]P. J. Edwards, D. L. G. Hill, J. A. Little, et al.. A Three-component Deformation Model for

Image-guided Surgery, Medical Image Analysis, 2(4): 355-367, 1998.

[20]M. Ferrant, A. Nabavi, B. Macq, et al.. Registration of 3-D Intraoperative MR Images of

the Brain Using a Finite-element Biomechanical Model, IEEE Trans. Med. Imaging, 20(12): 1384-1397, 2001.

[21]J. Pluim, J. Maintz, and M. Viergever. Mutual-information-Based Registration of Medical

Images: a Survey. IEEE Transactions on Medical Imaging, 22(8): 986-1004, 2003.

[22] C. Studholme, D. L. Hill and D. Hawkes. An Overlap Invariant Entropy Measure of 3D

Medical Image Alignment, Pattern Recognition, 32(1), 71-86, 1999.

[23] C. Fookes and A. Maeder. Comparison of Popular Nonrigid Image Registration Techniques

and a New, Hybrid Mutual Information-based Fluid Algorithm, In Proc. of APRS Workshop on Digital Image Computing, Brisbane, Australia, 2003.

[24] F. Maes, D. Vandermeulen, P. Suetens. Comparative Evaluation of Multiresolution

Optimization Strategies for Multimodality Image Registration by Maximization of Mutual Information. Medical Image Analysis, 3(4): 373-386, 1999.

[25]陈昱, 庄天戈, 王合. 直方图估计互信息在非刚性图像配准中的应用, 计算机学报,

23(4): 444-447, 2000.

[26]孙冬梅, 裘正定. 利用薄板样条函数实现非刚性图像匹配算法, 电子学报, 30(8):

1104-1107, 2002.

[27]刘新刚. 医学图像弹性配准新算法的研究, 博士论文, 第一军医大学, 2006.

[28]彭文. 基于特征的医学图像配准中若干关键技术的研究, 博士论文, 浙江大学, 2007.

[29]Z. Yi, M. Ye, J. C. Lv, K. K. Tan. Convergence Analysis of a Deterministic Discrete Time

System of Oja’s PCA Learning Algorithm, IEEE Trans. Neural Networks, 16(11): 2482-2489, 2005.

[30]R. Durbin, D. Willshaw. An Analogue Approach to the Traveling Salesman Problem Using

an Elastic Net Method, Nature, 326: 689-691, 1987.