Multi-modal medical image registration from information theory to optimization objective
Multimodal Medical Image Fusion
Yosuke Uchimura, Atsushi Kobayashi
Graduate School of Engineering Kyushu Institute of Technology, KIT Kitakyushu, Japan ** serikawa@elcs.kyutech.ac.jp
Miroslaw Trzupek‡
Department of Automatics, Lab. of Biocybernetics AGH University of Science and Technology Krakow, Poland ‡ mtrzupek@.pl and MR images are better in present the normal and pathological soft tissue. Therefore, only one type of image with a single sensor cannot provide a complete view of the scene in many applications. The fused images, if suitably obtained from a set of multimodal sensor images, can provide a better view than that provided by any of the individual source images. In recent decades, growing interest has focused on the multimodal medical image fusion. Multimodal medical image fusion is the process of extracting significant information from multiple images and synthesizing them in an image. In literature, it is well established that the multi-resolution analysis (MRA) is the best approach that suits image fusion. Some MRA based fusion multimodal medical methods [5], such as wavelets [6], Laplacian pyramids [7], wedgelets [8], bandelets [9], curvelets [10], shearlets [36], contourlets [11], have been recognized as one of the most methods to obtain fine fusion images at different resolutions [29]. The pyramid method for multimodal image fusion method firstly constructs the input image pyramid, and then takes some feature selection approach to form the fusion value pyramid. By the inverter of the pyramid, the pyramid of image can be reconstructed, to produce fusion images. This method is relatively simple, but it has some drawbacks [6]. So, discrete wavelet transform (DWT) method is proposed to improve the multi-resolution problem [7]. Discrete wavelet transform (DWT) can be decomposed into a series of subband images with different resolution, frequency and direction characteristics. The spectral characteristics and spatial characteristics of image are completely separation. And then the different resolution image fusion is performed. But because of limited directional of wavelets, it cannot express line- or curve-singularities in two- or higher dimensional signal. So, other excellent MRA
美国危险品运输管理
Bureau of Dangerous Goods, Ltd. USA美国危险品运输管理Introduction to 49-CFRNovember, 2010北京，中国©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved 2一架载化工品的货机从上海到洛杉矶……One HAZMAT Cargo plane from SHA to LAX, you need …A.中国法规(CAAC, MOT, AQSIQ, etc..)B.国际法规(ICAO/IATA, IMDG)C.美国法规(49 CFR etc.)BCA一架载化工品的货机从上海到洛杉矶……One HAZMAT Cargo plane from SHA to LAX, you need …中国有关法规China’s D.G. Transport Regulation 空运By Air: CCAR-276 of CAAC水运与陆运By Water and Road: Regulations of MOT分类与鉴定DG Classification/Packaging: AQSIQ国际法规Int’l Regs.in different Transport Modes 空运Air: ICAO/IATA海运Vessel: IMDG美国危险品法规US HAZMAT Transport Regs.多种运输模式49 CFR, Security Measures©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved3美国政府危险品管理美国政府危险品运输的管理T.I.中的美国国家差异(USG)简介危险品运输法规49-CFR近期锂电池运输的政策讨论©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved4美国的危险品运输HAZMAT Shipments in the US每天超过1 million shipments每年超过3.1 billion tons(包括各种运输模式)每年超过34 million containers(进口到美国)每年超过28% of all freight tonnage(货物总吨位)©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved5©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved6Office of Hazardous Materials Safety©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved7 US HAZMAT LAW & REGULATIONS The Federal HazardousMaterials TransportationLaw, 49 U.S.C. §5101et seq.©2010Bureau of Dangerous Goods, Ltd.All Rights Reserved8美国法典Code of Federal Regulations (CFRs)法典共50部，CFR (Title 49(DOT), 40(EPA) …) CFR 49 负责交通运输，涵盖多种运输模式(Multi Modal)每年10月1日出版，每日联邦登记(Federal Register) 可更新；主要内容由美国运输部(DOT)编写;其他部门也有参与撰写(e.g. TSA)。
基于混合蛙跳算法的SPECT-B超甲状腺图像配准
基于混合蛙跳算法的SPECT-B超甲状腺图像配准郑伟;孟繁婧;田华;郝冬梅;吴颂红【摘要】为了降低甲状腺肿瘤的误诊率和漏诊率,提出将甲状腺肿瘤的SPECT图像和B超图像进行多模异机融合,提供涵盖功能信息和结构信息的融合后图像,为手术规划和放射治疗提供依据.配准是融合的前提,针对2种成像模式的不同特点,采用阈值方法和图割方法提取轮廓并填充为二值图像,建立仿射变换模型对待配准图像进行变换,将混合蛙跳算法引入基于特征的配准过程中,将局部区域的二值图像的互信息量作为适应度函数以获取水平平移量、垂直平移量和旋转角度的全局最优解.实验表明,该算法具有参数少、配准精度高、鲁棒性强等特点,为2种模式图像的融合奠定了基础.【期刊名称】《河北大学学报（自然科学版）》【年(卷),期】2013(033)003【总页数】7页(P305-311)【关键词】甲状腺肿瘤;SPECT图像;B超图像;特征配准;混合蛙跳算法【作者】郑伟;孟繁婧;田华;郝冬梅;吴颂红【作者单位】河北大学电子信息工程学院,河北保定071002;河北大学电子信息工程学院,河北保定071002;河北大学电子信息工程学院,河北保定071002;河北大学附属医院功能检查科,河北保定071002;河北大学附属医院功能检查科,河北保定071002【正文语种】中文【中图分类】TN911世界权威组织统计显示，甲状腺癌在2010年已跃居女性恶性肿瘤的第6位.目前，针对甲状腺肿瘤的影像检查分为功能成像（SPECT，PET等）和解剖结构成像（B 超，CT，MRI等）2类，单一检测方式的诊断准确率较低.图像融合技术能够将来自不同模式的图像中的信息结合起来，为外科手术的规划和放射治疗计划的设计提供依据.美国通用电气公司生产的SPECT／CT融合设备，将SPECT的功能图像CT 图像的准确定位相结合，确定肿瘤的位置和大小.但CT放射性会削弱人体抗菌能力，而且对于小于2cm的甲状腺肿瘤，B超检查检出率可高达67%，检出率明显高于CT，而且B超无放射性损伤.根据临床实际需求，提出了将甲状腺B超图像和SPECT图像进行融合处理，克服单模医学图像信息单一、表征局限的缺点，提供涵盖功能信息和结构信息的图像，提高对甲状腺肿瘤良、恶性判断的准确率.图像配准是融合的基础，医学图像配准就是指将来自不同模式的医学图像，通过空间变换使一幅医学图像与另一幅医学图像上的对应点或对应轮廓达到空间上的一致，或至少是所有具有诊断意义的点及手术感兴趣的点都达到匹配.因研究对象，研究目的不同，配准的方法也多种多样，常用的图像配准方法有基于灰度的方法、变换域法和基于特征的方法.现有的SPECT／CT融合设备为同机配准，采用的是衰减校正质量控制配准方法［1］.文献［2］提出基于人工免疫系统模型算法的点对点的配准算法，证明其性能的优越性和高精度性；文献［3］对人脑的CT和MR采用一种新的非均匀采样的方法提高了互信息的精确度；文献［4］则对人脑的MR和CT图像提出了一种改进式同步扰动随机算法对配准的过程进行了优化；文献［5］采用大变形微分同胚尺度映射算法进行配准，高斯－牛顿策略则实现了更快的收敛速度；文献［6］提出了基于稳健点集的随机全局优化配准；文献［7］提出了一种改进的人工鱼群算法和powell算法结合完成了在低分辨率下的图像配准；文献［8］首先把点集匹配问题转化为解空间为仿射参数空间下的目标函数优化问题，然后运用粒子群算法对相应的变换参数进行搜索，获得问题最优解；文献［9］提出基于边缘保护多尺度空间配准以及自动获取非线性扩散模型中平滑参数入的方法来提高配准的精度和速度，避免局部极值.B超图像和SPECT图像成像原理不同，同一器官表现出来的图像特征差异较大，基于灰度的方法和变换域法不适用，而基于特征的方法适合用于有明显特征的图像，B超图像和SPECT图像轮廓特征明显，适合用该方法.从原始的B超图像（如图1a所示）中可以看到甲状腺的两叶、肿瘤、颊部、气管，其周围的神经、血管和甲状软骨等.SPECT对于一些凉结节和冷结节不显像，亦无法显示气管或病灶的解剖细节，图像中只能观察到甲状腺区和其上方的放射线减淡区，即为凉结节（如图1b所示）.医学图像配准中所需的特征点通常为具有一定意义的点，而非纯粹几何意义上的点，河北大学附属医院专家在采集图像过程中，通过对肿瘤的触摸，标记出凉结节的位置（如图1c所示）.对比2种模式的图像，2幅图像都能显示的解剖部位为甲状腺和肿瘤，是具有临床诊断意义的区域，可采用基于特征的配准方法，将甲状腺的蝴蝶形轮廓特征和肿瘤的圆形轮廓特征结合起来作为配准的依据.采用基于特征的B超图像和SPECT图像的配准主要包括特征轮廓的提取，相似度测度，仿射变换模型的确定以及参数的优化.B超图像灰度对比度低、亮度分布不均匀，本文采用基于活动轮廓模型的图割算法［10］得到了所需区域的分割图（如图2a所示）.SPECT图像可显示的甲状腺和肿瘤的边界较为模糊，没有一个可以视觉可观的边界，于是以肿瘤上标记点为界限（如图2b所示），分割出实验所需的甲状腺和肿瘤的整体轮廓（如图2c所示）.由图2a可知，B超分割的轮廓线不圆滑，图2c所示的SPECT分割轮廓线较圆滑，且轮廓线不能达到完全对齐，于是不能采用基于轮廓线的配准，而由于两图像轮廓的区域内像素差异大，亦会造成误配准，于是我们将分割出的轮廓填充，以甲状腺和肿瘤的轮廓区域的二值图像分别作为参考图像和待配准图像.填充后的结果如图2d和图2e所示.相似性测度是用来度量图像间相似性的一种准则，本文以甲状腺和肿瘤轮廓区域二值图像的平均互信息作为配准测度.若A代表参考图像，B代表待配准图像，它们之间的平均互信息I（A；B）为其中，H（A）和H（B）分别是图像A和图像B的熵，H（AB）是它们的联合熵，都可由A和B的联合直方图hAB求出，见式（2）式中，A（i，j）和B（i，j）分别表示2幅图像相同位置的坐标点，n［A（i，j），B（i，j）］表示同一灰度级出现的次数.对上式两边除以全部灰度值出现的次数和n，即可得到归一化的联合直方图函数p（A，B）为则B超图像和SPECT图像轮廓区域二值图像的互信息为待配准B超图像是三维甲状腺图像的断层图像，由于甲状腺内部无相对运动，可以把甲状腺近似的看做刚体运动，以SPECT图像中医生标出的肿瘤大小为基准同比例缩放，并把图像均裁至208＊208，使待配准的图像经过预处理后具有相同的空间比例.设待配准图像未旋转时中心坐标为（a，b），旋转后的中心坐标为（c，d），若对图像进行水平平移Δx个像素，垂直平移Δy个像素，并以图像中心为基点旋转θ弧度，旋转后新图像左上角为原点，则SPECT图像和B超图像的仿射变换模型为B超图像和SPECT图像的配准问题就是寻求参数Δx，Δy，θ的解，代入仿射变换模型T，使互信息MI（T）最大，即可得2种模式图像的配准结果.多参数优化问题成为决定配准精度的核心因素，优化策略的选取尤为重要.混合蛙跳算法（shufled frog leaping algorithm，SFLA）是2003年由Eusuf和Lansey提出的一种基于群体智能的后启发式计算技术［11］.它结合了基于模因进化的模因演算法（MA，memeticalgorithm）和基于群体行为的粒子群算法（PSO，particle swarm optimization）2种群智能优化算法的优点，模拟青蛙群体寻找食物时，按族群分类进行思想传递的过程，关键是全局搜索策略和局部深度搜索策略的完美结合使得最后的解能够跳出局部极值点，向着全局最优的方向进行搜索，具有概念简单、调整的参数少、计算速度快、全局搜索寻优能力强，易于实现等特点.首先，随机生成U只青蛙组成初始群体，nDim表示变量的个数即解空间的维数，因需要寻优的参数为Δx，Δy，θ，所以nDim＝3.第i只青蛙可以表示成U（i）＝（U1i，U2i，U3i）.然后，把U1i，U2i，U31代入放射变换模型对待配准图像进行变换，再计算参考图像和变换后待配准图像的最大互信息，即为每只青蛙的适应度，用fUi表示，并将种群内青蛙个体按适应度降序排列，并记录全局最佳解Ug，即为U1.将整个青蛙群体分成m个族群，根据式（6）的分组方式每个族群包含n只青蛙，并满足关系U＝m×n.对每个子族群进行局部深度搜索，即对k循环进行更新操作，根据混合蛙跳规则［12］（如图3所示）青蛙的位置进行更新，Ds表示移动的距离，U′w表示更新后的青蛙，更新策略为其中，rand（）表示0和1之间的随机数，同时更新的距离Ds必须在可行域内.其中，Ub表示子群中的最佳解，Uw代表子群中的最差解.更新后，如果得到的解U′w优于原来的解Uw，则令U′w＝Uw.如果没有改进，则用全局最优解Ug取代原来的解Uw重复执行更新策略.如果仍然没有改进，则随机产生一个新的解Urandom取代原来的解Uw.当所有子群内部更新完成后，对子群的青蛙重新混合并排序进行分组和对子群的内部搜索，如此反复直到收敛到最优解或达到最大进化代数为止.在选定了混合蛙跳的优化方法后，有5个参数需要调整和确定［13］：子种群的个数、每个子群蛙的个数、每个子种群中的进化迭代次数、允许每只青蛙移动的最大距离、允许整个种群进化的代数次数.根据多次实验确定的参数可知，子群的个数和每个子群蛙的个数要选择合适的大小，子群蛙的个数太小就会丧失局部搜索的优点，还要保证初始种群的容量，容量越大，则能够找到全局最优的概率越大，经实验测试，选用4＊5青蛙群体.子群的进化迭代次数太小不益于子种群信息交流，太大则容易陷入局部最优，经实验测得迭代次数5至8最恰当.允许青蛙改变的距离Dmax控制的是算法进行全局搜索的能力，所以Dmax太小，则会降低全局搜索的能力，使算法容易陷入局部最优值，如果Dmax过大，则容易使算法错过最优解，经实验测试，20至34最适合.一般来说，当循环进化到一定次数后，代表最好解的青蛙的适应值就不再改变了，算法即可以此为条件停止了.图4横坐标代表进化迭代的次数，纵坐标代表全局最好青蛙的适应值，可以看出，在45代的时候适应值就不再改变了，并基本保持稳定，设定迭代次数为45即可.实验环境为Matlab7.1，Dell，CPU2.53GB，内存2GB.采用的所有数据来源于河北大学附属医院，SPECT图像采自GE Infina Hawkeye 4SPECT－CT单光子发射断层仪，B超图像采自Voluson E8三维彩色超声诊断仪，这2幅图像均按每4mm一断层，同一时期取至同一病人甲状腺的同一层面.为了验证本方法的有效性，先以2幅SPECT图像为例，一幅为参考图像，另一幅图像是人为改变水平平移量为10个像素，垂直平移量为20个像素，旋转角度为10个角度的待配准图像.利用本方法配准前后的数据如表1所示.由表1数据可以看到，基于轮廓特征点最大互信息的图像配准方法误差可以保证在3个像素内，可以达到很好的配准效果，配准精度较高，且有较好的稳定性. 在调至相同迭代次数的条件下，再与其他算法的配准效果加以比较，结果如图5所示.第1行分别表示配准前，粒子群算法（PSO），蚁群算法（Ant Colony），本文算法配准后的轮廓叠加图，第2行为对应的最后融合结果.比较3幅结果图，可以明显看出，粒子群算法和蚁群算法并未达到甲状腺和肿瘤位置的对齐，而本文算法具有较好的配准效果，混合蛙跳算法可以基本达到甲状腺和肿瘤的对齐，能够满足临床基本诊断需要.对这3种算法的配准时间和配准精度进行了比较，结果如表2所示.由表2数据也可证明虽然粒子群算法时间较快，但配准精度不高，且实验结果具有随机性；蚁群算法配准精度比粒子群算法精度高，但优化时间长.本文算法比蚁群算法有更高的配准精度，比粒子群算法有更快的配准速度.提出了一种基于混合蛙跳算法的甲状腺SPECT－B超图像配准方法，通过多次实验证明，该方法对甲状腺的SPECT图像和B超图像配准有较好的效果，不仅能够有效地防止配准结果陷入局部最优当中，还有很强的鲁棒性，能够为甲状腺的SPECT图像和B超图像的融合提供满足要求的配准图像，对甲状腺肿瘤的临床诊断具有较高的参考价值.【相关文献】［1］ SUH J W，KWON O K，SCHEINOST D，et al.CT－PET weighted image fusion for separately scanned whole body rat［J］.Med Phys，2012，39（1）：533－542.［2］ DELIBASIS K K，ASVESTAS P A，MATSOPOULOS G K.Automatic point correspondence using an artificial immune system optimization technique for medical image registration［J］.Computerized Medical Imaging and Graphics，2011，35（1）：31－41.［3］ FREIMAN M，WERMAN M，JOSKOWICZ L A.curvelet－based patient－specific prior for accurate multi－modal brain image rigid registration［J］.Medical Image Analysis，2011，15（1）：125－132.［4］ KHADER M，HAMZA A B.An information－theoretic method for multimodality medical image registration［J］.Expert Systems with Applications，2012，39（5）：5548－5556.［5］ ASHBURNER J，FRISTON K J.Diffeomorphic registration using geodesic shooting and Gauss－Newton optimization［J］.NeuroImage，2011，55（3）：954－967.［6］ PAPAZOV C，BURSCHKA D.Stochastic global optimization for robust point set registration［J］.Computer Vision and Image Understanding，2011，115（12）：1598－1609.［7］赵海峰，姚丽莎，罗斌，等.改进的人工鱼群算法和Powell法结合的医学图像配准［J］.西安交通大学报，2011，45（4）：46－52.ZHAO Haifeng，YAO Lisha，LUO Bin，et al.Registration of multi－resolution medical images using a modified artificial fish－swarm algorithm combined with Powell's Method ［J］.Journal of Xi'an Jiaotong University，2011，45（4）：46－52.［8］谭志国，鲁敏，任戈，等.匹配与姿态估计的粒子群优化算法［J］.中国图象图形学报，2011，16（4）：640－646.TAN Zhiguo，LU Min，REN Ge，et al.Particle swarm optimization based pose and correspondence estimation［J］.Journal of Image and Graphics，2011，16（4）：640－646.［9］李登旺，王洪君，尹勇，等.基于边缘保护多尺度空间的医学图像配准方法［J］.模式识别与人工智能，2011，24（1）：117－122.LI Dengwang，WANG Hongjun，YIN Yong，et al.Multiscale registration based on edge－preserved scale space for medical Images［J］.Pattern Recognition and Artificial Intelligence，2011，24（1）：117－122.［10］ XU Ning，AHUJA N，BANSAL R.Object segmentation using graph cuts based active contours［J］.Computer Vision and Image Understanding，2007，107（3）：210－224.［11］ EUSUFF M M，LANSEY K E.Optimization of water distribution network design using the shuffled frog leaping algo rithm［J］.Journal of Water Resources Planning and Management，2003，129（3）：210－225.［12］崔文华，刘晓冰，王伟，等.混合蛙跳算法研究综述［J］.控制与决策，2012，27（4）：481－486，493.CUI Wenhua，LIU Xiaobing WANG Wei，et al.Survey on shuffled frog leaping algorithm ［J］.Control and Decision，2012，27（4）：481－486，493.［13］ ELBELTAGI E，HEGAZY T，GRIERSON parison among five evolutionary－based optimization algorithm［J］.Advanced Engineering Informaties，2001，19（1）：43－53.。
多模态医学图像融合处理技术研究
多模态医学图像融合处理技术研究随着医疗技术的不断发展，多模态医学图像技术在临床应用中越来越广泛。
医学图像包括CT扫描、MRI、X光等多种不同的成像技术，经过融合处理，可以获得更全面、更准确的医学信息。
本文将讨论多模态医学图像融合处理技术的研究现状，以及其在临床应用中的重要性和应用前景。
一、多模态医学图像融合技术的研究现状1.图像融合的定义多模态医学图像融合是指将来自不同成像技术的多个医学图像融合在一起，以获得更全面、更准确的信息。
如何有效地实现不同成像技术的融合，是多模态医学图像融合技术研究的核心问题之一。
2.图像融合的分类和方法图像融合可以分为低级、中级和高级三个层次：（1）低级融合：对于同一种成像技术的图像进行融合。
常用的方法包括平均值法、最大值法、最小值法等。
（2）中级融合：对于不同成像技术、但有部分信息相同的图像进行融合。
常用的方法包括小波变换、主成分分析等。
（3）高级融合：对于不同成像技术、没有重叠部分的图像进行融合。
常用的方法包括变换域相关法、贪婪算法等。
3.图像融合的应用多模态医学图像融合技术在很多医学领域都有广泛的应用，如肿瘤诊断、病理分析、手术导航等。
图像融合可以提高诊断的准确性和精度，帮助医生更快、更准确地作出诊断，提高治疗效果。
二、多模态医学图像融合技术在临床应用中的重要性1.提高诊断准确性通过多模态医学图像融合技术，可以获得更全面、更准确的医学信息，帮助医生更好地判断疾病的发展，从而提高诊断的准确性和精度。
例如，在肿瘤诊断中，MRI和CT扫描可以提供完整的肿瘤图像，而PET扫描则提供了肿瘤活动的信息，将它们进行融合可以更好地判断肿瘤的位置和性质。
2.指导手术和治疗多模态医学图像融合技术可以在手术前确定手术的方案和路径，指导整个手术过程。
在治疗中，图像融合技术可以提供更准确的治疗方案，人工智能辅助判断疾病状态，为治疗提供更精细的信息。
3.促进医学科学研究多模态医学图像融合技术可以帮助医学科学家更好地分析、研究疾病的发展和变化过程。
医学图像配准技术 综述
医学图像配准技术A Survey of Medical Image Registration张剑戈综述，潘家普审校（上海第二医科大学生物医学工程教研室，上海 200025）利用CT、MRI、SPECT及PET等成像设备能获取人体内部形态和功能的图像信息，为临床诊断和治疗提供了可靠的依据。
不同成像模式具有高度的特异性，例如CT通过从多角度的方向上检测X线经过人体后的衰减量，用数学的方法重建出身体的断层图像，清楚地显示出体内脏器、骨骼的解剖结构，但不能显示功能信息。
PET是一种无创性的探测生理性放射核素在机体内分布的断层显象技术，是对活机体的生物化学显象，反映了机体的功能信息，但是图像模糊，不能清楚地反映形态结构。
将不同模式的图像，通过空间变换映射到同一坐标系中，使相应器官的影像在空间中的位置一致，可以同时反映形态和功能信息。
而求解空间变换参数的过程就是图像配准，也是一个多参数优化过程。
图像配准在病灶定位、PACS系统、放射治疗计划、指导神经手术以及检查治疗效果上有着重要的应用价值。
图像配准算法可以从不同的角度对图像配准算法进行分类[1]：同/异模式图像配准，2D/3D图像配准，刚体/非刚体配准。
本文根据算法的出发点，将配准算法分为基于图像特征(feature-based)和基于像素密度(intensity-based)两类。
基于特征的配准算法这类算法利用从待配准图像中提取的特征，计算出空间变换参数。
根据特征由人体自身结构中提取或是由外部引入，分为内部特征(internal feature)和外部特征(external feature)。
【作者简介】张剑戈（1972-），男，山东济南人，讲师，硕士1. 外部特征在物体表面人为地放置一些可以显像的标记物（外标记，external marker）作为基准，根据同一标记在不同图像空间中的坐标，通过矩阵运算求解出空间变换参数。
外标记分为植入性和非植入性[2]：立体框架定位、在颅骨上固定螺栓和在表皮加上可显像的标记。
食管癌自适应放疗不同累加方法对危及器官受照剂量的差异比较
引言随着放疗技术的快速发展，调强放疗（Intensity Modulated Radiation Therapy，IMRT）在肿瘤治疗中的应用日益广泛。
IMRT不仅可以提高靶区剂量与均匀性，还可以降低周围正常组织受照剂量[1]，减轻放疗不良反应，提高患者生存质量[2-3]。
有研究显示，食管癌在放疗过程中，靶区存在不同程度的缩小和移位[4]。
因此，为了避免靶区漏照，保护危及器官（Organs at Risk，OARs），通常需在食管癌患者放疗的中后期再次进行CT模拟定位并制定自适应放食管癌自适应放疗不同累加方法对危及器官受照剂量的差异比较许晓燕1，王沛沛1，李金凯1，昌志刚1，顾宵寰1，鞠孟阳2，葛小林1，孙新臣11. 江苏省人民医院（南京医科大学第一附属医院）放射治疗科，江苏南京 210000；2. 南京医科大学特种医学系，江苏南京 211100[摘 要] 目的 比较食管癌自适应放疗时，三种累加方法所得危及器官（Organs at Risk，OARs）受照剂量的差异。
方法 回顾性分析50例根治性食管癌自适应放疗计划，PTV：50 Gy/25 f，PGTV：60 Gy/30 f。
在治疗20~25 f期间重新CT模拟定位，根据肿瘤靶区退缩情况制定自适应放疗计划。
通过人工计算（A组）、治疗计划系统（B组）和MIM多模态形变配准系统（C组）三种方法分别计算双肺、心脏及脊髓的累加受照剂量。
结果 方差分析显示双肺V5差异有统计学意义（F=8.933，P<0.001），A组最小为（51.95±12.67）%；V20差异无统计学意义（P>0.05）。
心脏V40差异有统计学意义（F=3.590，P<0.05），A组最大为（17.69±12.48）%。
脊髓D max差异有统计学意义（F=5.587，P<0.001），A组最大为（43.98±2.23 ）Gy。
结论 食管癌自适应放疗时，人工计算方法会低估双肺的低剂量受照体积，并会高估脊髓的最大受照剂量。
多模态医学图像融合与诊断模型构建研究
多模态医学图像融合与诊断模型构建研究随着医疗技术的不断发展和进步，多模态医学图像融合与诊断模型构建研究成为了医学图像分析领域的热门话题。
多模态医学图像融合是指将不同的医学图像数据融合成一个综合的图像来提供更全面、准确的医学信息和更好的辅助诊断。
本文将从多模态医学图像融合的意义、方法和应用角度进行阐述，以及构建诊断模型的相关研究。
多模态医学图像融合的意义在于提高医学图像的质量、准确性和可视化效果，进而提升医生的诊断能力和效率。
传统的医学图像只能提供局部信息，缺乏全面性。
而融合不同模态的图像，如MRI、CT、PET等，可以综合不同的视角和信息，提供更全面的医学数据，从而更准确地诊断疾病。
此外，图像融合还能够减少图像噪音和伪影，改善医学图像的质量，有助于医生更好地观察和分析病变。
多模态医学图像融合的方法主要分为空域方法和变换域方法。
空域方法是基于像素级的操作，通过图像融合区域的像素值相加、平均等操作来融合不同的医学图像。
这种方法简单直观，易于实现。
但是由于未考虑像素之间的关系，可能会导致信息损失和伪影的产生。
变换域方法则是通过将不同模态的图像进行变换，如小波或奇异值分解等，然后在变换域中融合不同模态的图像。
这种方法能更好地保留不同模态图像的特性和细节信息，但计算复杂度较高。
除了方法之外，多模态医学图像融合的应用也十分广泛。
其中最常见的应用是辅助诊断和手术规划。
通过将不同模态图像的信息融合，可以提供更全面、准确的医学信息，辅助医生诊断和进行手术规划。
另外，多模态医学图像融合还可用于研究疾病的发展和变化趋势，比如肿瘤的生长和扩散。
融合不同时间点的图像数据可以更好地观察病变的变化，从而更好地评估疾病的进展情况。
诊断模型的构建是多模态医学图像融合的重要研究方向之一。
借助深度学习和人工智能技术，可以构建出高度自动化、准确性较高的诊断模型。
诊断模型是指将融合的多模态医学图像作为输入数据，利用机器学习算法来自动分析和诊断疾病。
多模态融合
多模态融合多模态融合 1多模态机器学习MultiModal Machine Learning (MMML)，旨在通过机器学习理解并处理多种模态信息。
包括多模态表示学习Multimodal Representation，模态转化Translation，对齐Alignment，多模态融合Multimodal Fusion，协同学习Co-learning等。
多模态融合Multimodal Fusion也称多源信息融合(Multi-source Information Fusion)，多传感器融合(Multi-sensor Fusion)。
多模态融合是指综合来自两个或多个模态的信息以进行预测的过程。
在预测的过程中，单个模态通常不能包含产生精确预测结果所需的全部有效信息，多模态融合过程结合了来自两个或多个模态的信息，实现信息补充，拓宽输入数据所包含信息的覆盖范围，提升预测结果的精度，提高预测模型的鲁棒性。
一、融合方法1.1早期融合为缓解各模态中原始数据间的不一致性问题，可以先从每种模态中分别提取特征的表示，然后在特征级别进行融合，即特征融合。
由于深度学习中会涉及从原始数据中学习特征的具体表示，从而导致有时需在未抽取特征之前就进行数据融合，因此数据层面和特征层面的融合均称为早期融合。
特征融合实现过程中，首先提取各输入模态的特征，然后将提取的特征合并到融合特征中，融合特征作为输入数据输入到一个模型中，输出预测结果。
早期融合中，各模态特征经转换和缩放处理后产生的融合特征通常具有较高的维度，可以使用主成分分析( PCA) 和线性判别分析( LDA) 对融合特征进行降维处理。
早期融合中模态表示的融合有多种方式，常用的方式有对各模态表示进行相同位置元素的相乘或相加、构建编码器—解码器结构和用LSTM 神经网络进行信息整合等。
1.2后期融合后期融合法又称决策级融合法，先用不同的模型训练不同的模式，然后融合多个模型的输出结果。