多模态医学图像融合技术综述
收稿日期:2008-11-23
基金项目:辽宁省自然科学基金资助项目(20052001).
作者简介:范立南(1964-),男,辽宁沈阳人,沈阳大学教授,博士.
第21卷第3期2009年6月沈阳大学学报
J OURNAL OF SHEN YAN G UN IV ERSIT Y Vol 121,No.3J un.2009
文章编号:100829225(2009)0320096205
多模态医学图像融合技术综述
范立南,王 晶,王银玲
(沈阳大学信息工程学院,辽宁沈阳 110044)
摘 要:介绍了医学图像融合的级别和方式,重点对目前国内外医学图像配准和融合的技术与方法进行了阐述,最后提出了在医学图像融合技术研究中的几个热点问题.关 键 词:多模态;医学图像;图像配准;图像融合中图分类号:TN 911.73;R 318 文献标识码:A
随着医学、计算机技术及生物工程技术的发展,医学影像为临床诊断提供了多种模态的医学
图像,如CT (计算机X 线断层扫描)、MRI (磁共振成像)、SPECT (单光子发射计算机断层成像)、PET (正电子发射计算机断层扫描)、DSA (数字减影血管造影技术)、超声图像、电阻抗图像等.不同的医学图像提供了相关脏器的不同信息,比如CT 和MRI 以较高的空间分辨率提供了脏器的解
剖结构信息,而PET 尽管空间分辨率较差,但提供了脏器的新陈代谢功能信息.在实际临床应用中,单一模态的图像往往不能提供医生所需要的足够信息,通常需要将不同模态的图像融合在一起,得到更丰富的信息以便了解病变组织或器官的综合信息,从而作出准确的诊断或制订出合适的治疗方案.多模态融合的目的在于充分显示形态成像方法的分辨力高、定位准确这一优势,克服功能成像中空间分辨力和组织对比分辨力低的缺点,最大限度地挖掘影像信息,目前多用于神经外科手术的定位和放疗计划设计等.
1 医学图像融合基本问题
1.1 医学图像融合概念
医学图像融合的概念很广泛.广义地说,对多模态图像信息的任何形式的综合利用都可称之为融合.融合的结果可表现为不同模态图像间结构的映射、叠加显示、伪彩色显示等图像显示技术和生成新型的医学诊断图像———融合图像,它包括一、二维图像之间的融合图像、二维断层融合图像
和三维融合图像及体融合图像.狭义地说,只有将多个图像数据集组合到一个图像数据集中才称为融合.融合的结果是由多种不同来源的信息源得到的一个新的、被优化的输出,这个结果应该比任何一个输入信息源包含更多的有用信息.这就是图像信息的融合.1.2 医学图像融合级别
图像融合的级别可分为像素级、特征级和决策级三种[1].像素级融合是在图像严格配准的基础上,直接进行像素关联融合处理.特征级融合是在像素级融合的基础上,使用模式相关、统计分析的方法进行目标识别、特征提取,得到融合结果.决策级对每个图像的特征信息进行分类和识别等处理,形成相应的结果后,进行进一步的融合过程,最终的决策结果是全局最优决策.决策级融合的数据量最少,抗干扰能力强,但对特征提取要求较高,故决策级融合的代价最高.1.3 医学图像融合方式
(1)按融合对像分类有单样本时间融合系
统、单样本空间融合系统及模板融合系统.
单样本时间融合:跟踪某个病人,将其一段时间内对同一脏器所作的同种检查图像进行融合,以助于跟踪病理发展和研究该检查对该疾病诊断的特异性.
单样本空间融合:将某个病人在同一时间内
(临床上1～2周内的时间可认为是同时)对同一脏器所作的几种检查的图像进行融合,以便综合利用这几种检查提供的信息(如MRI/CT 可以提
供脏器的结构信息,SPECT可以提供脏器的功能信息),对病情作出更确切的诊断.
模板融合:为了提供一个诊断的标准,可以从对许多健康人的研究中建立一系列模板,将病人的图像与模板图像融合,有助于研究某种疾病的病理和诊断标准.
(2)按处理方法分类可以分为数值融合法和智能融合法两类.
数值融合法:将来源于不同成像设备的图像作空间归一化处理(确保不同图像中的像/体素表达同样大小的空间区域),获得一致性描述后,直接应用.
智能融合法:将来源于不同成像设备的图像作空间归一化处理,根据研究的需要,选择不同图像中的所需信息进行综合.如:提取MRI的颅骨轮廓作为先验知识用于ECT脑的重建.
(3)按图像维数分类可分为仅考虑空间维数的图像融合与考虑空间维数的时间序列图像融合[2]两大类.在每一类中根据涉及到的图像空间维数进一步划分为1D/2D,2D/2D,2D/3D,3D/ 3D图像融合.其中二维图像融合目前研究较多,近年来三维图像融合研究也有很大发展,但基本是不考虑时间因素的3D/3D图像融合.
2 医学图像融合步骤
(1)预处理.对源图像的预处理[3]包括对获取的两种图像数据进行去噪,增强等处理;统一两种数据格式,图像大小和分辨率;对序列断层图像作三维重建和显示;根据目标特点建立数学模型.
(2)配准.两幅不同模态图像的配准[4]指对一幅图像进行一定的几何变换映射到另一幅图像中,使两幅图像中的相关点达到空间上的一致.
配准主要解决的问题是两幅图像之间的几何位置差别,包括平移、旋转和比例缩放等基于对特征空间、相似性准则和搜索策略的不同选择,配准方法可分为基于全局域准则的方法、频域傅里叶法、基于特征的匹配法和基于弹性模型的匹配法.
(3)融合.图像在空间域配准后便可选择不同的融合算法和融合规则进行融合.
3 医学图像融合中的配准
3.1 配准的步骤
(1)分割图像特征的提取.对图像进行分割基本上有两种不同的方法.第一种方法是直接依据图像感兴趣区域(ROI)中的生理特征进行分析,将这些特征与图像中的边、轮廓、表面,或跳跃性特征如角落、线的交叉点、高曲率点,或不同的统计性特征相互对应[5],然后根据先验知识选择一定的分割阈值对图像进行自动、半自动或手动的分割,从而得出图像的几何特征.另一种方法是采用特征点的方法.特征点一般包括外特征点和内特征点.外特征点一般是立体定位框架上的标记点、加在病人皮肤上的标记点或其他在两幅图像中都可检测到的附加标记物.内特征点一般选取相对运动较小的解剖标记点如血管的分叉点或相交点、耳蜗尖端拐点.
(2)变换.将一幅图像中的坐标点变换到另一幅图像的坐标系中,经过图像分割后,配准问题就转换为求解两幅图像中对应点的变换问题.根据图像中目标的变换形式不同,变换也有线性变换和非线性变换两种形式.线性变换包括刚体变换、仿射变换、投影变换.刚体变换使得一幅图像中任意两点间的距离变换到另一幅图像中后仍然保持不变;仿射变换使得一幅图像中的直线经过变换后仍保持直线,并且平行线仍保持平行;投影变换是从三维图像到二维平面的投影.非线性变换把一条直线变换为一条曲线,这种变换所反映的是图像中组织或器官的严重变形或位移,一般用代数多项式来表达.
(3)寻优.在定义了一种相似性测度后用优化算法使该测度达到最优值.经过坐标变换后,两幅图像中相关点的几何关系已经一一对应,进一步的工作需要找到一种相似性测度来衡量两幅图像的相似程度,并且通过不断地改变变换参数,使得相似性测度达到最优,即最终转化为多参数多峰值离散最优化问题.目前经常采用的相似性测度有均方根距离、相关性、归一化互相关、梯度互相关、梯度差、模式灰度、图像差熵、互信息、归一互信息等.常用的优化算法有穷尽搜索法、最速梯度下降法、单纯形法、共轭梯度法、模拟退火法、遗传算法等[6].当然,配准的过程并不绝对按上述步骤进行,像一些自动配准方法的配准过程中一般都不包括分割步骤.此外,坐标变换和寻优过程在实际计算过程中是彼此交叉进行的.
3.2 配准的方法
(1)基于特征的配准方法
基于图像特征的配准方法[7-8],像重要特征之间的变换关系确定配准参数,它的主要优点是提取了图像的显著特征,大大压缩了图像的信息量,使得计算量减小,速度加快,并且它对图像灰度的变化具有鲁棒性,而且它可以很好地避免因为图像的比例变化、旋转、遮挡等对图像配准结果
79
第3期 范立南等:多模态医学图像融合技术综述
的影响.它很大程度上依赖图像的分割,分割的准确性直接影响配准参数的精度.此外这种方法对特征提取和特征匹配的错误也较敏感.
①基于点的方法.基于点的方法主要差别在于特征点的选取,这些特征点包括外特征点、内特征点和立体定位框架标记点[9].常用的奇异值分解方法将体素点的平移和旋转解耦,通过计算两点集中标记点中心的距离来计算平移向量,而旋转矩阵则通过计算两个空间中标记中心位置差的协方差矩阵的奇异值分解得到.基于内特征点的方法和基于框架的方法所使用的算法与基于外特征点的算法基本一致.基于力矩和主轴的方法可以用于体、面和分散点的配准,但它的本质是根据动量矩的计算使目标的质心重合,因而也可认为这种方法是基于点的方法.这种方法对数据的变异性很敏感,当图像中有细节丢失或病变时会严重影响配准的精度.因此它主要用于图像的初步配准,以减少后续精确配准时优化算法的搜索区间和计算时间.
②基于线的方法.Batler[10]对二维投影放射照片首先用人工的方法在两幅图像中寻找对应的开曲线,再在两条曲线局部曲率最佳拟合的线段用相同的采样率找出一组对应点来,然后用对应点来匹配两幅图像.Gueziec和Ayache配准CT 体积图像系列时,用图像强度的导数自动提取脊线.然后,用连续的样条近似这些离散的曲线并计算曲率和扭矩,曲线的对应关系是用几何散列表检索和表决技术确定的,对应曲线及图像间的配准是通过刚体变换实现的.
③基于面的方法.基于表面的配准技术典型的例子是Pelizzari和Chen研究的“头帽法”[11].从一幅图像轮廓提取的点集称作帽子,从另一幅图像轮廓提取的表面模型叫作头.一般用体积较大的病人图像,或在图像体积大小差不多时用分辨率高的图像来产生头表面模型.Powell探索算法被用来寻求所需的几何变换,即使帽点和头表面间的距离平均平方值最小.
④基于点和面特征结合的方法.这种方法是近年来主要由Maurer CRJ r和Maciunas RJ 等[12-13]在改善迭代最近点法、面和特征点法的基础上所提出的一种方法.该方法用表面点集和特征点集的加权来计算两幅图像间的相关点集的距离,可以减少所使用的特征点.通过实验和临床验证,这种方法比单独使用特征点或表面点的方法具有更高的精度.此外,这种加权方法可以退化为基于面的方法或点的方法,在实际应用中可以由医生方便地进行控制.
(2)基于灰度的配准方法
基于图像灰度信息的配准方法[7]通常不需要对图像作特征提取,而是直接利用全部可用的图像灰度信息,因此能够提高估计的精度和鲁棒性.算法比较直观,容易实现。但在通常情况下,在待配准图像中以模板位置为中心,相似性度量值会形成比较平缓的峰面,从而计算准确的匹配位置难度较大,计算量很大,速度较慢.此外,图像的比例变化、旋转、遮挡等都会显著地影响匹配效果.
①相关法.对于同一物体由于图像获取条件的差异或物体自身发生的小的改变而产生的图像序列,采用使图像间相似性最大化的原理实现图像间的配准,即通过优化两幅图像间相似性准则来估计变换参数,主要是刚体的平移和旋转.对照相序列,考虑到棱镜系统的使用,还要作必要的尺度变换,还需对曝光时间不同引起的强度差异作修正.对核医学图像也要作强度换算来修正因获取时间、注入活性及背景等因素产生的影响.所使用的相似性测度可以是多种多样的,例如相关函数、相关系数、差值的平方和或差的绝对值和等.由于要对每种变换参数可能的取值都要计算一次相似性测度,相关法的计算量十分庞大,需要采取一些优化措施.例如,用相位相关傅里叶法估算平移和旋转参数;用遗传算法和模拟退火技术减少搜索时间和克服局部极值问题,及用傅里叶不变性和对数变换分解变量的互相关技术.值得注意的是,相关法主要限于单模图像配准,通过改进算法,也可用于多模图像配准.
②最大互信息配准法.互信息是信息论的一个基本概念,是两个随机变量统计相关性的测度.互信息是目前用得最广泛的多模态配准方法,其精度和鲁棒性都较令人满意[14].Woods[15]使用给出参考像后测试图像的条件熵作为配准的测度. Viola和Wells[16]以及Studholme[17]等人用互信息作为多模医学图像的配准的测度.如果两幅图像几何上对齐的话,它们对应体素对强度值的互信息最大.由于该方法不需要对两种成像模式中图像强度间关系的性质作任何假设,也不需要对图像作分割或任何预处理,所以被广泛地用于CT/MRI、PET/MRI等多种配准工作.最大互信息法几乎可以用在任何不同模式图像的配准,特别是当其中一个图像的数据部分缺损时也能得到很好的配准效果.但由于插值、图像间重叠部分变化和其他一些因素的影响,配准函数通常不是光
89沈 阳 大 学 学 报 第21卷
滑的,存在许多局部极大值.这使得配准过程可能收敛到局部极值而得到错误的配准参数.为了克服这些缺点可以应用一些优化算法,如下降单纯形-模拟退火混合算法[18]、粒子群优化算法[19]等.
4 医学图像融合方法
目前的图像融合技术可以分为两大类:一类是以图像像素为基础的融合方法;另一类是以图像特征为基础的融合方法.
4.1 以图像像素为基础的方法
像素是图像的基本元素,像素间灰度值的差异显现出图像中所包含的结构信息.因此,通过求取两幅图像对应像素灰度间的加权求和就可以得到一幅融合图像,但是融合的灰度值不再具有原来的意义.它具有数学原理直观、实现算法简便的特点,但是其实现效果和效率较差,困难在于如何设计和选择权重系数才能达到最佳的视觉效果.
4.2 以图像特征为基础的方法
特征级融合是对图像提取特征信息并将其进行综合分析和处理.提取的特征是像素的充分表示量或充分统计量,如边缘、方向,相近的亮度和纹理区域,等等.通过将源图像分别变换至一定变换域上;在变换域上设计一定特征选择规则;根据选取的规则在变换域上创建融合图像;逆变换重建融合图像.在原理上不够直观且算法复杂,但是其实现效果较好.
4.3 常用技术
目前常用的医学图像融合技术包括:加权平均法、多分辨金字塔法和小波变换法等.下面对这几种技术作进一步的说明.
①加权平均法.对每个源图像之间对应的像素灰度值加权平均.该方法实现简单并可提高图像的SNR,可将融合图像噪声的标准差降为源图像的1/n,其中n为源图像个数.其困难在于如何选择权重系数才能达到最佳的视觉效果.
②多分辨金字塔法.对源图像进行多次滤波从而形成一个塔式结构,在塔的每一层都用一种算法对这一层的数据进行融合,从而得到一个合成的塔式结构.然后对合成的塔式结构进行重构,最后得到合成的图像,合成图像包含了源图像的所有重要信息.金字塔法主要有Laplacian金字塔法[20]、比率低通金字塔法[21]、多分辨率形态滤波法[22]和小波变换法[23]等.
③基于图像分割的融合方法.这种方法是以一幅待融合的图像为基准,从另一幅图像中分割出感兴趣的部分(通常是病灶),然后对两幅图像进行配准,建立空间映射关系,将一幅图像上的特征映射到另一幅图像上.
④小波变换法.基于小波变换[24]的融合方法是对源图像的小波变换系数进行适当的组合形成新的小波系数,然后进行反变换得到融合图像.由于小波变换具有良好的时域和频域局部性以及多分辨性,致使小波技术一度成为医学图像融合的主要工具,目前基于小波变换的方法所采用的技术基本是沿用Mallat算法,根据实际问题,可采用不同小波基函数[25]和不同的综合算法,同时小波分解层数的多少直接影响图像的融合质量[26].
⑤PCA方法.求得图像间的相关系数矩阵(由多个波段数据)之后求相关系数矩阵的特征值,特征向量,再求各主分量图像.将高空间分辨率图像进行对比度拉伸,使之与第一主分量图像有相同均值、方差.最后用拉伸后的图像代替第一主分量图像,经逆PCA变换得到融合图像.主成分变换法是一种传统方法,但与小波变换相结合能得到较好效果.
⑥HSI变换法.将R G B(红,绿,蓝)颜色空间的三个多光谱图像转换为HSI空间中的三个量之后,在HSI空间用高空间分辨率波段(经一些处理)去取代源亮度波段(Ⅰ)最终用逆HSI变换得到融合图像.
⑦神经网络法.在进行图像融合时,神经网络经过训练后把每一幅图像的像素点分割成几类,使每幅图像的像素都有一个隶属度函数矢量组,通过对其提取特征,将其特征表示作为输入来参加融合.
⑧贝叶斯估计和D2S推理法.它们是基于概率论知识的两种算法,基于估计理论的方法在图像处理过程中要先指定一个图像结构模型和一个先验模型,融合的图像由后验最大值或可能最大值来验证.贝叶斯估计方法需要先验知识,当多个可解的假设或多个条件相关时处理起来比较复杂.D2S推理算法可看成贝叶斯估计的推广,此算法需解决的问题是如何处理矛盾的证据和大的计算量.
参考文献:
[1]Pohl L C.Multisensor image fusion in remote sensing:
concept,methords and application[J].Intenational Jounal of
Remote Sensing,1998,19(5):823-854.
[2]Vincken K L,K oster A S,Viergever M.Probabilistic multi2
scale image segmentation[J].Pattern Analysis and Machine
Intelligence,1997,19(2):109-120.
99
第3期 范立南等:多模态医学图像融合技术综述
[3]刘卫光.图像信息融合与识别[M].北京:电子工业出版
社,2008:46-48.
[4]Pluim J P,Fitzpatrick J M.Image registration[J].Medical
Imaging,2003,11(22):1341-1343.
[5]Nie Sheng2dong,Chen Zhao2xue,Li Li2hong.A CI feature2
based pulmonary nodule segmentation using three-domain
mean shift clustering[J].Journal of East China Normal
University:Natural Science,2007,9(1)223-227.
[6]Ritter N,Owens R,Copper J,et al.Registration of stereo
and temporal images of the retina[J].Medical Imaging,
1999,18(5):404-418.
[7]宋余庆.数字医学图像[M].北京:清华大学出版社,
2008:129-131.
[8]Ramirez L,Durdle N G,Raso V J.Medical image
registration in computational intelligence framework:a
review[J].Electrical and Computer Engineering,2003,5
(2):1021-1024.
[9]Vandeln E P,Viergever M A.Medical image matching:a
review with classification[J].Engineering in Medicine and
Biology Magazine,1993,12(2):26-39.
[10]Balter J,Pelizzari C,Chen G.Correlation of projectionradio
graphs in radiation therapy using open curve segments and
points[J].Med Phys,1992,19(2):329-334.
[11]Pelizzari C A,Chen GT,Spelbring D R,et al.Accurate
three2dimensional registration of CT,PET and/or MR
images of the brain[J].Journal of Computer Assisted
Tomography,1989,13(1)2-26.
[12]Maurer J A,Maciunas R J,Fitzpatrick J M.Registration of
head CT images to physical space using a weighted
combination of pointsand surfaces[J].Medical Imaging,
1998,17(5):753-761.
[13]Maurer J C,AboutanosG B,Dawant B M,et al.Registration
of32D images using weighted geometrical features[J].
Medical Imaging,1996,15(6):836-849.
[14]杨春兰,郑链,李晓明.互信息在医学图像配准中的应用
研究[J].计算机软件与应用,2008,25(3):145-170. [15]Woods R P,Mazziotta J C,Cherry S R.MRI/PET
registration with automated algorithm[J].Journal of
Computer Assisted Tomography,1993,17(4):536-546.
[16]Wells W,Viola P,Atsumi H,et al.Multi-modal volume
registration by maximization of mutual information[J].
Medical Image Analysis,1996,1(1):35-51.
[17]Studholme C,Hill D,Hawkes J.Automated3D
registrationof MR and CT images of the head[J].Medical
Image Analysis,1996,1(2):163-175.
[18]刘丽,苏敏.基于改进模拟退火算法的医学图像配准[J].
计算机软件与应用,2008,25(5):223-259.
[19]Wachowiak M P,Smolikova R,Yufeng Zheng,et al.An
approach to multimodal biomedical image registration utilizing
particle swarm optimization[J].Evolutionary Computation,
2004,3(8):289-301.
[20]Burt P J,Adelson E H.The Laplacian Pyramid as a Compact
Image Code[J].Communication,1983,4(31):532-540.
[21]Toet A,Van Ruyven L.Merging thermal and visual images
by a contract pyramid[J].Optical Engineering,1989,28
(7):789-792.
[22]Matsopoulos G K,Atlins S.Multiresolution morphological
fusion of MR and CT images of human brain[J].Vision,
Image and Signal Processing,1994,141(3):220-232. [23]Zhu W,Wang Y,Deng Y,et al.A wavelet based
multiresolution regularized least squares reconstruction
approach for optical tomography[J].Medical Imaging,
1997,16(2):210-217.
[24]G onzalo Pajares.Awavelet2based image fusion tutorial[J].
Pattern Recognition,2004,9(37):1855-1872.
[25]Wang Hai2hui,Wang J un,Wang Wei.A New Multiwavelet2
Based Approach to Image Fusion[J].Journal of
Mathematical Imaging and Vision,2004,2(24):177-192.
[26]刘贵喜,杨万海.基于小波分解的图像融合方法及性能评
价[J].自动化学报,2002,28(6):927-934.
A Summ ary of Multimodality Medical Im age Fusion T echnology
FA N L i nan,W A N G Ji ng,W A N G Yi nli ng
(College of Information Engineering,Shenyang University,Shenyang110044,China)
Abstract:The levels and the modes of medical image fusion are introduced.The reviews focus on the techniques and methods of the multimodality medical image registration and fusion.Some main problems in the research of medical image fusion technology are proposed.
K ey w ords:Multimodality;medical image;image registration;image fusion
【责任编辑 张耀华】001沈 阳 大 学 学 报 第21卷