基于神经网络集成的肺癌早期诊断

第39卷第10期2002年10月计算机研究与发展JOURN AL OF COM PU TER RESEARCH AND DEVELOPM ENTV ol.39,No.10Oct.2002原稿收到日期:2001-07-11;修改稿收到日期:2002-04-17本课题得到江苏省自然科学基金重点项目资助(BK 2001202)基于神经网络集成的肺癌早期诊断周志华　李　宁　杨育彬　陈世福(南京大学计算机软件新技术国家重点实验室　南京　210093)(zhouzh @nju.ed )摘　要　将病理性诊断与计算机技术相结合以实现肺癌的早期诊断,首先利用数字图像技术对肺癌穿刺样本进行处理,提取出形态和色度特征,然后通过一种二级集成结构和特殊的投票方式,用神经网络集成对细胞图像进行分析.实验和原型系统试用表明,方法的总误诊率和肺癌患者漏诊率均低于单一神经网络方法和常用的神经网络集成方法.关键词　神经网络,模式识别,图像处理,计算机辅助医疗诊断中图法分类号　T P 183EARLY STAGE LUNG CANCER DIAGNOSIS BASED ONNEURAL NETWORK ENSEMBLEZHOU Zhi-H ua,LI Ning ,YANG Yu-Bin,and CHEN Shi-Fu(N ational L aboratory f or N ov el S o f tw are T echnology ,N anj ing Univ ersity ,N anj ing 210093)Abstract In this paper ,patholo gical diag nosis is co mbined w ith com puter techniques fo r ear ly stage diagnosis of lung cancer.Firstly ,punctured samples of lung cancer are processed by digital image technique,extracting mor pholo gic and chromatic featur es.Then,the cell images are analy zed by neural netw ork ensem ble w ith a tw o -layered architectur e and a specific voting schem e.Ex periments and the probation of a pro to type system sho w that both the overall misdiagnosis rate and the rate of m issed diag no sis of lung cancer sufferers are lo wer than that of the sing le neural netw ork and com monly -used neural netwo rk ensem ble methods .Key words neural netw orks,pattern recog nition,im age pro cessing ,com puter aided m edical diagnosis1　引 言肺癌是世界上患者最多的致命性疾病,特别是在我国肺癌发病率和死亡率逐年上升,严重地危害了人民的生命健康.早期诊断、早期治疗是提高肺癌患者生存率、降低死亡率的关键.目前,我国基层医院的临床门诊中肺癌误诊、漏诊率高达52.9%,40岁以下年轻患者的误诊率高达63.3%[1].因此,利用先进的科学技术进行肺癌早期诊断已是当前急需解决的课题.目前,肺癌早期诊断的主要手段有X 线胸片、CT 、核磁共振图像技术、同位素、纤维支气管镜、经皮穿刺活检、病理性诊断等.临床最可靠的是病理性诊断,即直接对来自患者的细胞病理切片进行分析.但在现阶段,由于缺乏先进的分析手段,往往只能依靠病理专家通过肉眼对细胞病理切片的图像进行观察和估计.一方面,经验丰富的病理专家人数非常少;另一方面,由于疲劳等原因,病理专家的诊断会受一些主观因素的干扰,这将对诊断的效果产生不利影响.随着数字图像处理、模式识别、人工智能技术的发展,计算机辅助肺癌诊断已受到了越来越多的关注,并已取得了不少成果.然而,到目前为止,绝大多数计算机辅助肺癌诊断方面的工作都是对X线胸片图像、CT图像进行处理,对临床最可靠的病理性诊断还罕有涉及.本文作者与中国人民解放军八一医院的专家合作,通过获国家发明奖和国际巴拿马金奖的“肺癌早期诊断双相立体定位仪”直接从患者身上获取肺癌穿刺样本,利用数字图像处理、神经网络技术对样本中的细胞图像进行分析,有效地将病理性诊断与计算机技术进行了结合,研制出的肺癌早期诊断系统LCDS(lung cancer diagnosis sy stem)在试用中取得了较好的效果.本文先对相关工作进行综述,然后介绍LCDS 系统中使用的细胞图像预处理和特征提取技术,在此基础上,提出基于二级神经网络集成的肺癌细胞识别方法,并给出实验结果和原型系统运行实例.2　相关工作20世纪90年代以来,很多研究者对计算机辅助肺癌诊断进行了研究.例如,Chiou等人[2]设计了一个基于神经网络的混合型肺结节检测系统HLND,利用X线胸片图像进行诊断.Hayashibe等人[3]提出了一种全自动的肺结节检测方法,通过将两幅连续块X线胸片图像相减进行诊断.Kanazaw a 等人[4]从螺旋线CT图像中抽取出肺和结节血管区域图像的特征,然后利用一组诊断规则来判断是否发生癌变.Lin等人[5]设计了一个基于参数化两层卷积神经网络和多标记输出编码过程的计算机辅助诊断系统,通过分析X线胸片图像进行诊断.Mor i 等人[6]提出了一种从胸部三维CT图像中抽取支气管区域的方法,并将其用于一个可视化支气管镜检系统.Penedo等人[7]设计了一个基于两层神经网络结构的计算机辅助诊断系统,他们利用第1层网络来检测低分辨率X线胸片图像中的可疑区域,再用第2层网络处理可疑区域的曲率峰顶.然而,如引言所述,上述研究几乎都是对X线胸片图像、CT图像进行处理,少数研究运用了支气管镜检,对临床可靠性最高的病理性诊断还罕有触及.另一方面,神经网络集成(neural netw ork ensemble)技术[8]已被成功地应用到很多领域中,如光学字符识别、人脸识别、地震波分类等.其原因是该技术可以显著地提高神经网络系统的泛化能力.显然,该技术在计算机辅助医疗诊断方面有很好的应用前景.然而,值得注意的是,在医疗诊断尤其是对肺癌这样的致命性疾病的诊断中,将患者漏诊为健康人的代价非常大,因为这会耽误患者获得及时救治的机会,对患者的生命产生极大的危害.而如果将健康人误诊为患者,虽然会给医护人员和被诊对象及其亲属带来不必要的麻烦,但随着进一步诊治的进行,误诊将会得到纠正,其代价远远小于将患者误诊为健康人的情况.但是,现有的很多神经网络集成方法都只考虑总错误率,没有考虑对应于患者漏诊的错误率.因此,为了将神经网络集成技术应用到肺癌诊断,必须进行一些特殊的设计.3　前端处理LCDS系统首先对原始图像进行去噪、平滑、锐化、分割和形态滤波等一系列处理,再运用形态学和色度学对细胞图像进行形态特征和色度特征的提取.在此基础上,利用神经网络集成分析提取出的特征,以判断是否存在癌细胞,并且辨别出癌细胞的种类.对采集到的原始RGB彩色图像,首先将其从三维色彩空间投影到一维线性灰度空间,然后再对灰度图像进行分割.由于显微细胞图像目标比例小,背景较复杂,存在部分干扰和噪声,LCDS系统采用了基于图像灰度梯度的直方图和双阈值快速分割方法.该方法根据显微细胞图像的特点给出约束,抑制噪声并减弱杂散物的影响,改善灰度直方图的谷点和峰值,在类内离散距离最小的意义下通过迭代自动选取阈值,并对灰度做阈值分割,从而得到效果较好的二值图像.在此基础上对二值化图像进行形态滤波以改善图像内目标的几何形状,由于形态滤波可以在一定程度上消除图像采集及转换过程中可能产生的毛刺及小孔状噪音,因此分割细胞区域的准确性得到了提高.在图像预处理完成之后,开始提取目标区域的形态特征.为了提高处理速度,采用了基于区域边界的八链码表示法,用八链码对二值图像进行边缘跟124910期周志华等:基于神经网络集成的肺癌早期诊断踪可以得到一系列细胞区域的几何形状特征.LCDS 系统使用了4种形态特征作为神经网络集成的输入,包括细胞区域的周长、面积、似圆度和矩形度,其计算公式分别为:细胞区域的周长,即链的长度L =n e +n o2,(1)其中n e 表示链码中偶数码的数目,n o 表示链码中奇数码的数目.细胞区域的面积S =∑ni =1aixy i -1+12a iy ,(2)其中y i =y i -1+a iy ,(x 0,y 0)为起始点坐标,a ix ,a iy 分别为方向码a i 在X ,Y 轴上的分量,其取值如表1所示:表1　a ix 与a iy 的取值a i a ix a iy 010*******-114-105-1-160-171-1细胞区域的似圆度C =4 S L2,(3)其中S 和L 分别为面积和周长.似圆度用于描述细胞区域与圆的偏离程度.当细胞区域为边界光滑的圆时,C 取最大值1;细胞区域的形状越偏离圆,C 值越小.细胞区域的矩形度R =SW ×H,(4)其中S 为细胞区域的面积,W 和H 分别为宽度和高度,其计算公式为:W =max i∑ik =1akx+x 0-min i∑ik =1akx+x 0;(5)H =max i∑ik =1aky+y 0-min i∑ik =1aky+y 0,(6)其中x 0,y 0,a ix ,a iy 的含义与式(2)相同.矩形度用于描述细胞区域与矩形的偏离程度.当细胞区域为矩形时,R 取最大值1;细胞区域的形状越偏离矩形,R值越小.从病理专家的经验知识来看,染色细胞的颜色特征在辨别癌细胞时起着非常重要的作用.因此,本文利用二值图像处理的结果,结合原始彩色图像,获得了较多的色度特征作为神经网络集成的输入,包括细胞区域的红色分量值、绿色分量值、蓝色分量值、照明度、饱和度、蓝色分量与红色分量差值、蓝色分量比例、整幅图像的红色分量值、绿色分量值、蓝色分量值.本文考虑了多个可能的颜色空间,其原因是不同颜色空间中的颜色分量所描述的色度特性与病理专家辨别癌细胞的经验知识吻合程度不同.经过反复的实验和分析,本文发现,尽管{R ,G ,B }空间存在着各分量之间相关性强的弱点,但由于它是直接根据摄像镜头成像的特点定义的,因此很适合作为色度识别的依据,在选用的10个色度特征中,前3个特征就对应于细胞区域在{R ,G ,B }空间中的R ,G ,B 分量值.{H ,I ,S }空间可以较好地反映出肺癌细胞核比正常细胞核颜色更暗、更深的特性,在选用的特征中,照明度和饱和度就分别对应于细胞区域在{H ,I ,S }空间中的I ,S 分量值.没有直接选用H 分量的原因是由于其值是非连续的,考虑到偏蓝紫色是肺癌细胞核的一般特性,本文利用R ,G ,B 分量定义了一个新的彩色分量C ′,即蓝色分量比例,其计算公式为C ′=BR +G +B.(7) {I ,I ′,I "}空间中I ′和I "分量相关性太强,且有可能出现负值,但I ′分量有助于突出肺癌细胞核偏蓝紫色的特性,选用的蓝色分量与红色分量差值这一特征就对应了该分量值.{G /R ,G /B ,R /B }空间中三分量均为比值,由于这种两两比较的值不能很好地描述癌细胞核的特性,且其取值范围太分散,因此没有选用该空间中的特征.此外,考虑到整幅图像的色度信息对识别有一定影响,本文也将整幅图像的R ,G ,B 分量值作为神经网络集成的输入特征,这些特征与细胞区域面积等形态特征结合起来可以表达丰富的信息.4　神经网络集成如第2节中所述,对肺癌细胞识别来说,将癌细胞识别为非癌细胞的误识率是一个非常关键的因1250计算机研究与发展2002年素,其重要性不亚于总误识率.LCDS 系统使用了一种二级集成结构,较好地解决了该问题.在LCDS 系统中,神经网络集成的输入是通过特征提取模块获得的14维输入向量,输出是肺癌穿刺样本中的细胞类型,包括非癌细胞、腺癌细胞、鳞癌细胞、小细胞癌细胞、核异型细胞.识别处理流程如图1所示:图1　神经网络集成识别流程LCDS 系统中使用的神经网络模型是FTA RT 2[8].由于肺癌穿刺样本直接来自于被诊对象,其数量比较有限,因此,LCDS 系统使用了对训练样本利用得比较充分的Bag ging 技术[9]来产生个体神经网络,即通过Bag ging 从初始训练集中派生出多个规模相同的训练集,然后为每一个训练集训练出一个FT ART 2网络.在两级神经网络集成中,个体神经网络的输入向量都是14维,但输出向量维数不同.第1级集成中个体网络的输出为2类,即非癌细胞和可能的癌细胞,结论合成方法采用一种特殊的“完全投票法”,即仅当所有个体网络都判别为非癌细胞时集成才认为是非癌细胞,否则就认为是可能的癌细胞.第2级集成中个体网络的输出为5类,即非癌细胞、腺癌细胞、鳞癌细胞、小细胞癌细胞、核异型细胞,其结论合成方法采用相对多数投票法[9].在进行识别时,第1级集成将以很高的可靠性“筛”掉一部分非癌细胞,它们将不需要第2级集成进行处理.第2级集成仅对被第1级集成判别为可能的癌细胞进行处理.值得注意的是,即使被第2级集成诊断为“非癌细胞”,医生也需要加以注意,因为该“非癌细胞”的可靠性低于第1级集成的诊断结果.实验表明,通过采用上述二级集成结构,将癌细胞识别为非癌细胞的误识率很低.5　实验测试实验所用的数据为从肺癌穿刺样本获得的细胞图像,共552个.事先预留100个样本作为测试集,只使用其余的452个样本进行训练.测试集中共有75个样本为癌细胞.首先对单一神经网络进行实验.用Bagg ing 技术由初始训练集产生5个不同的训练集,每个训练集中都包含452个样本.用这些训练集分别训练出5个FT ART2网络,每个网络都有5个输出神经元,分别表示非癌细胞、腺癌细胞、鳞癌细胞、小细胞癌细胞、核异型细胞等5个输出分类.这些网络的测试集误识率如表2所示,其中E rr sum 代表总误识率,E rr a 代表将癌细胞识别为非癌细胞的误识率.表2　单一神经网络测试结果%误识率网络1网络2网络3网络4网络5E rr sum 4044494249Err a13.318.7201218.7显然,单一神经网络对肺癌细胞的识别效果并不好,基本上不具有应用价值.然后,对常用的神经网络集成方法进行实验.以表2中的5个FT ART 2网络为集成的个体网络,采用相对多数投票法合成集成结论.测试集误识率如表3第2栏所示.显然,E rr sum 和Er r a 都有显著改善.表3　神经网络集成测试结果%识别率常用方法本文方法E rr sum 2220E rr a10.75.3最后,对本文方法进行实验.以表2中的5个网络为第2级集成的个体网络,采用相对多数投票法合成结论.另外使用Bagg ing 技术训练出5个网络作为第1级集成的个体网络,采用完全投票法合成结论.第1级集成中的网络仅有2个输出神经元,分别表示非癌细胞和可能的癌细胞,后者为腺癌细胞、鳞癌细胞、小细胞癌细胞、核异型细胞的并集.本文方法的测试集误识率如表3第3栏所示.125110期周志华等:基于神经网络集成的肺癌早期诊断显然,Err sum 和E rr a 这两个指标都远优于表2中任何一个单一神经网络,也优于常用神经网络集成方法.图2给出了LCDS 系统运行的一个实例.(a)采集到的肺癌穿刺样本图像(b )去噪、平滑、锐化后得到的灰度图像(c)分割、形态滤波后得到的二值图像(d)神经网络集成诊断结果图2　L CDS 系统图像处理实例6　结束语在LCDS 系统中,从肺癌穿刺样本采集到的图像经去噪、平滑、锐化、分割和形态滤波等处理后,提取出形态和色度特征,然后用神经网络集成对其进行分析以找出癌细胞.神经网络集成采用了二级集成结构,集成中的个体网络由Bag ging 技术产生,第1级集成采用相对多数投票法合成结论,第2级集成采用完全投票法合成结论.该系统已投入试用,取得了很好的效果.进一步的研究工作主要集中在细胞图像区域发生重叠时的处理,由于此时无法从二值图像中清楚地分割出细胞区域,使得其后的特征提取很难进行.可能的解决方法之一是利用领域知识或由其它设备获取的信息,对细胞区域进行三维重建,将二维环境下难以区分的对象放到合适的三维环境下去处理.另外,如何在尽可能降低总误诊率的同时,尽可能降低患者的漏诊率,将是一个长期而艰巨的目标.致谢　本文研究工作得到了中国人民解放军八一医院叶玉坤副院长、汪栋主任等专家的支持和协助,在此谨表示衷心的感谢.参考文献1周宝森,何安光,刘可立等.肺癌微机诊断专家系统的研究.中国医科大学学报,1997,25(5):472～475(Zh ou Baosen ,He Anguang ,L iu Keli et al .Research on lung can cer diagnos is expert s ystem on personal computer.J ournal of China M edical U nivers ity (in Chines e),1997,25(5):472～475)2Y S P Chiou,Y M F Lure,P A Ligomenides.Neural n etw ork image analysis and class ification in hybrid lung nodule detection (HLND )sys tem.T he 3rd IEEE W orks hop on NeuralNetw or ks for S ignal Proces sing,Baltim ore,M D,19933R Hayashib e ,N Asano ,H Hirohata et al .An au tomatic lung can cer detection fr om X-ray images obtained through yearly s erial mass su rvey .Th e 3rd IEEE Int'l Conf on ImageProces sing,Lausanne,S witzerland,19964K Kanazawa,M Kubo,N Niki.C om puter aided diagnos is s ystem for lung cancer based on helical CT images .The 13th Int'l Conf on Pattern Recognition,Vienna,Austria,19965Lin J -S ,L o S -C B ,A Hasegaw a et al .Reduction of false p os itives in lung nodule detection using a tw o-level neural class ification.IEEE Trans on M edical Imagin g,1996,15(2):206～2176K M ori,J Hasegawa,J T oriw ak i et al .Recognition of1252计算机研究与发展2002年bronchusinthree -dimensionalX -rayCTimageswithapplications to vir tu aliz ed b ronchos copy s ystem.Th e 13th Int'l Conf on Pattern Recognition,Vienn a,Austria,19967M G Penedo,M J Carreira,A M os qu era et al .Com puter-aided diagnosis :A neural -netw ork -b as ed approach to lung n odu le detection .IEEE Trans on M edical Imag ing ,1998,17(6):872～8808周志华,陈兆乾,陈世福.基于域理论的自适应谐振神经网络分类器.软件学报,2000,11(5):667～672(Zhou Zh ihua ,Chen Zhaoqian ,Ch en S hifu .Field theory bas ed adaptive resonance neural netw ork class ifier .Journal ofSoftw are(in Chinese),2000,11(5):667～672)9周志华,陈世福.神经网络集成.计算机学报,2002,25(1):1～8(Zhou Zhih ua,Chen S hifu.Neural netw ork ens emb le.Chin ese Journal of Computers (in Chines e ),2002,25(1):1～8) 周志华　男,1973年生,博士,副教授,主要从事机器学习、神经网络、进化计算、模式识别、数据挖掘等方面的研究工作. 李　宁　女,1968年生,硕士,讲师,主要从事人工智能、知识工程、图像处理等方面的研究工作. 杨育彬　男,1977年生,博士研究生,主要从事图像处理、基于内容的检索等方面的研究工作. 陈世福　男,1938年生,教授,博士生导师,主要从事机器学习、分布式人工智能、知识工程、图像处理等方面的研究工作.(上接第1204页)逻辑性——这是文章的结构特点.它要求论文脉络清晰、结构严谨、前提完备、演算正确、符号规范,文字通顺、图表精制、推断合理、前呼后应、自成系统.不论文章所涉及的专题大小如何,都应该有自己的前提或假说、论证素材和推断结论.通过推理、分析、提高到学术理论的高度,不应该出现无中生有的结论或一堆堆无序数据、一串串原始现象的自然堆砌;有效性——指文章的发表方式.当今,只有经过相关专业的同行专家的审阅,并在一定规格的学术评论会上答辩通过、存档归案;或在正式的科技刊物上发表的科技论文才被承认为是完备的和有效的.这时,不管论文采用何种文字发表,它表明论文所揭示的事实及其真谛已能方便地为他人所应用,成为人类知识宝库中的一个组成部分.(2)科技论文的分类严格且科学地对科技论文进行分类也不很容易,因为从不同的角度去分析;就会有不同的分类结果.例如可以从文章的学科内容分,从文章的发表形式分,从文章的叙述目的分,…….而这个问题本身对现在的讨论并不是最主要目的.对于科技期刊的撰稿人和编辑来说,更为重要是在论文撰写、修改和编辑加工时,如何抓住文章的要害和不同类型文章的特点.为此,暂时可对科技论文作如下的分类:论证型——对基础性科学命题的论述与证明的文件.如对数、理、化、天、地、生等基础学科及其他众多的应用性学科的公理、定理、原理、原则或假设的建立、论证及其适用范围,使用条件的讨论.科技报告型——在国标GB 7713-87中,说科技报告是描述一项科学技术研究的结果或进展或一项技术研究试验和评价的结果;或者论述某项科学技术问题的现状和发展的文件.记述型文章是它的一种特例(如医学领域的许多临床报告属之).许多专业技术、工程方案和研究计划的可行性论证文章,亦可列入本类型.这样的文章一般应该提供所研究项目的充分信息.原始资料的准确与齐备,包括正反两方面的结果和经验,往往使它成为进一步研究的依据与基础.科技报告型论文占现代科技文献的多数;发现、发明型——记述被发现事物或事件的背景、现象、本质、特性及其运动变化规律和人类使用这种发现前景的文件;阐述被发明的装备、系统、工具、材料、工艺、配方形式或方法的功效、性能、特点、原理及使用条件等的文件; 计算型——提出或讨论不同类型(包括不同的边值和初始条件)数学物理方程的数值计算方法,其他数列或数字运算,计算机辅助设计及计算机在不同领域的应用原理、数据结构、操作方法和收敛性、稳定性、精度分析等.它往往是计算机软件进一步开发的基础.(下转第1260页)125310期周志华等:基于神经网络集成的肺癌早期诊断。