皮肤检测技术

皮肤检测技术

第一节皮肤检测技术相关理论

一、肤色检测技术

肤色检测技术是指在图像中选取对应于人体皮肤像素区域的过程。广泛应用于人脸检测与识别、人脸追踪、面部表情识别、手势识别、互联网色情图像过滤以及基于内容的图像检索等。除此之外，肤色检测技术也可以应用于包括视频监控与检索、皮肤疾病诊断、化妆品效果分析等日常生活领域。由此可见肤色检测技术在理论研究和实际应用中都具有极为重要的研究价值和意义。

皮肤检测技术在以下领域扮演着非常重要的角色：

（1）人脸检测

该问题最初作为自动人脸识别系统的定位环节被提出，近年来由于其在安全访问控制、视觉监测、基于内容的检索和新一代人机交互界面等领域的应用价值，开始作为一个独立的课题受到研究者的普遍重视。随着电子商务等应用的发展，人脸识别因为其非接触性的特点而成为最有潜力的生物身份验证手段，这种应用背景要求自动人脸识别系统能够对一般环境图像具有一定的适应能力，由此所面临的一系列问题使得人脸检测开始作为一个独立的课题受到研究者的重视。今天，人脸检测的应用背景己经远远超出了人脸识别系统的范畴，在基于内容的检索、数字视频处理、视觉检测等方面都有着重要的应用价值。

（2）人脸追踪

随着多媒体通信技术的不断发展，各种基于通信新技术的视频产品已经走进了人们的日常生活，不但给人们带来了来极大的方便，还增添了不少乐趣。其中人脸追踪技术就被广泛应用于个人通信、交互娱乐、视讯监控、人机交互等领域。例如将人脸识别与追踪技术应用于数码相机中，可以准确快速地定位相机取景器中的人脸，从而实现对人脸的快速对焦，拍出清晰的人像。该技术通过对摄像头捕获到的人脸图像进行持续的跟踪与验证，不断进行人脸区域的准确性校正，从而实现对人脸的精确定位与比对。这一技术的成功也是基于对皮肤检测的应用。

（3）面部表情识别

面部表情识别系统就是对人脸的表情信息进行特征提取和分析，按照人的认识和思维方式加以归类和理解，利用人类所具有的情感信息方面的先验知识使计

算机进行联想、思考及推理，进而从人脸信息中去分析理解人的情绪，如快乐、惊奇、愤怒、恐惧、厌恶、悲伤等。系统通常以程序块的序列结构表示，这与经典的模式识别模型一致。主要的块包括：图像的获得、预处理、特征提取、分类和后续处理。皮肤检测在面部表情识别的预处理阶段和特征提取阶段都起着关键的作用。

（4）手势识别

手势是一种自然、直观、易于学习的人机交互手段。手势识别作为手势输入的先前条件，是实现自然、直接的人机交互不可缺少的关键技术。目前的手势识别技术主要分为基于数据手套和基于视觉两种，这两种方法各有自己的长处，也都取得了一些研究成果，但都还不成熟，手势输入作为一种自然、丰富、直接的交互手段在人机交互技术中占有重要的地位，手势识别与皮肤识别技术紧密相关。

（5）实时敏感图像过滤

该技术的研究方向具有重大的应用价值，对网络视觉信息过滤和净化有很好的应用前景。伴随着网络的普及，网络安全日益成为关系到国家与社会安全的一个重要内容，对网络信息进行必要的技术监测和过滤，能有效地打击网络犯罪。

互联网上的色情图像的传播愈演愈烈，难以用人工进行有效的控制，不法分子常以篡改其他网站主页或使用隐蔽代名词的方式来传播色情图像。因此，必须引入计算机视觉和图像识别技术，对嵌入在主页中的图像进行分析。色情图像在内容上差别很大，但是它们的共同点是：包含了大量裸露的皮肤区域。所以，敏感图像检测问题又归结到了皮肤检测问题。

人脸识别和敏感图像过滤等技术都必须解决一个基础问题：如何把图像精确地划分为皮肤和背景两类。而分类的精确与否直接影响到下一步的处理，如图像分割、形状判断等。因此，一个精确检测皮肤的方法具有非常重要的研究价值。但另一方面，精确的检测皮肤是非常困难的，例如，人种的肤色差异、有色灯光、阴影，以及强光照射、摄像机色偏等都影响对皮肤的正确识别。尤其是在复杂光照情况下，肤色的检测更加具有挑战性。

二、国内外研究现状

肤色检测是一个模式识别问题，其模式分为皮肤像素和非皮肤像素。它是所有基于肤色的应用要处理的第一个步骤，它的任务是首先对输入的图像进行分割，

即把整幅图像分割成两部分：一部分为肤色区域，另一部分为非肤色区域。

1.其评价标准主要有以下4点：

（1）检测率：被正确检测到的皮肤像素数与原图像内包含的肤色像素数的比值。检测率越高，说明检测系统对皮肤的接受能力越强。

（2）误检率：被误检为肤色的非肤色像素数与原图像内被检测的所有非肤色像素数的比值。

（3）检测速度：大部分应用领域需要在线实时地检测出肤色，如人脸识别，人脸跟踪，视频监控，Web敏感图像过滤等。在检测率和误检率达到满意的前提下，检测速度越快越好。

（4）鲁棒性：在各种条件下，检测系统的适应能力。有些检测方法受复杂背景或者复杂光照的干扰，在背景较简单或正常光照时效果好，反之较差。

肤色检测技术的发展经历了三个时期：即七十年代的早期研究时期，当时只采用了简单的特征技术。70到90年代的迷茫时期，由于硬件技术等各方面问题的存在，研究出现了停滞不前的局面。90年代以来，由于社会经济的发展，身份验证的需要急剧增加，使得与生物识别技术相关的肤色检测技术也得到了前所未有的关注的高速发展阶段。

当前，根据有没有涉及成像过程，可以将肤色检测方法分成两种基本类型：基于物理的方法和基于统计的方法。基于物理的方法则在肤色检测中引入光照与皮肤间的相互作用，通过研究肤色反射模型和光谱特性进行肤色检测。基于统计的肤色检测通过建立肤色统计模型进行肤色检测，主要包括两个步骤：颜色空间变换和肤色建模。

2.颜色空间的选择

在不同颜色空间中肤色的聚类情况是不一样的，而肤色与非肤色的易分离度也是不相同的，是否存在一个最优的颜色空间，如何找到这样的颜色空间，大量的研究者为此付出了心血。

常用的颜色空间包括RGB、Nrgb、TSL、HSV、HSL、HS、YIQ、YUV、YES、YCb Cr、CIE Lab、CIE Luv等。Terrillon JC等在9种颜色空间(TSL，NCC rgb，CIE xy，CIE SH，HSV，YIQ，YES，CIE Luv，CIE Lab)上比较了利用单一高斯模型与混合高斯模型进行肤色检测的效果，他们发现利用单一高斯模型在亮度归一化后

的r-g和TSL空间中检测效果最好，要优于更复杂的混合高斯模型，而混合高斯模型可以提高未归一化颜色空间上的检测效果。随后，Terrillon等发现在NCC rgb和CIE xyz颜色空间中最适合于进行肤色分割，肤色在这两个颜色空间中的分布的范围最小，并且最适合采用单高斯模型来拟和。

Zarit等在CIE Lab，Fleck HS，HSV，归一化RGB，Ycr Cb五种颜色空间上，分别采用查表法与Bayes决策法来检测，并对检测效果进行了比较，发现在使用查表法时，在HSV和Fleck HS空间上的检测结果要优于其他三种颜色空间，而使用Bayes法时，颜色空间的选择对最终结果的影响有限。

Fang比较了肤色在八个空间(RGB、XYZ、YIQ、YUV、HSV、HIS、Luv和Lab)上的分布和分类情况发现无论是肤色聚集性还是肤色、非肤色样本的可分性，YUV 和YIQ都是各个色彩空间中最佳的。

Jone和Rehg认为尽管可以采用诸如YUV、HSV等色彩空间对肤色进行建模，但RGB颜色空间仍然为表述像素色彩信息的标准空间。

从这些研究中不难发现一些结果是矛盾的，大家并没有在有效颜色空间上达成一致的观点。但有一个结果是统一的，就是肤色在任何空间中都具有聚集特性，不同的只是聚集的程度。

3.肤色建模

肤色模型是在一定颜色空间描述肤色分布规律的数学模型。模型中颜色特征的数学表达涉及到很多问题。首先要选择合适的颜色空间来描述颜色特征；其次要采用一定的量化方法将颜色特征表达为向量的形式；最后还要定义一种相似度（距离）标准用来衡量图像之间在颜色上的相似性。

根据对成像条件的了解，肤色模型可分为基于物理的模型和基于统计的模型，而统计模型则可进一步分为：参数、非参数和半参数三种类型。参数模型具有一个明确的函数形式，能够通过调整其可调参数来得到与样本数据集相适应的模型，而非参数模型没有任何的特定形式。半参数模型一般指神经网络，它们具有相同的函数形式，却有不同数目的隐式可调参数。

最简单的非参数模型是阈值边界模型，由一组阈值规则构成，适用于对肤色分类精度要求低，光照条件比较稳定的场合，其主要困难是确定合适的颜色空间及良好的决策规则。与此相反，基于归一化直方图的查找表是最精确的模型，它

的每个柄直接存储了肤色概率，能够精细地描述肤色分布的概率密度而不管分布的内在复杂性，并隐含了分布的多模式复杂特性。非参数模型具有分类速度快的明显优势，不能进行内插和数据归纳是其主要缺陷。

参数模型不同于非参数模型，他提供了一个肤色分布的非常简洁而明确的表示，具有低空间复杂性以及相对少的训练集的优势，能够通过内插来推广不完全的训练数据，单模式高斯模型、高斯混合模型和椭圆模型是三种常用的参数模型。不过，参数模型的拟合优度和性能很大程度上依赖相应颜色空间的肤色分布形状。

以神经网络为代表的半参数模型同时满足了模型精度与存储空间的折中需求，兼具参数模型和非参数模型的优点，占据的空间小，模型精度高，运行速度较快，其中以多层感知机和自适应组织映射网络的应用最为广泛。神经网络模型本质上是一种矢量量化手段，不过，其决策规则也隐含在网络结构中，网络神经元数目的确定也需要一定的经验。

基于物理的模型是从皮肤的光学特性出发，结合已知的照明条件以及照相机特性，估计肤色可能的分布范围，试图实现肤色的光照不变性。Angclopoulou 介绍了皮肤的生理结构以及皮肤反射的物理性质，分析了皮肤反射属性与皮肤表皮中黑色素的关系。作者认为最佳的皮肤反射模型是高斯及其一阶导数的线性组合。Storring等根据漫反射模型、相机参数和光源的光谱为皮肤建立模型，并研究了皮肤图像的生成过程。根据光源的色温对皮肤的影响自适应地分割皮肤。Andersen等假定皮肤颜色的RGB值位于漫反射矢量张成的空间中，并给出一种新的肤色建模方法。

目前，研究的主要方法集中在基于统计方面，因为人的皮肤的颜色特征具有相对的稳定性并且和大多数背景物体的颜色相区别，对于旋转、表情等变化情况都能适用。肤色是人类对图像中皮肤区域最直观的感知特征。“皮肤颜色”不仅是物体的物理特征，更是一种感知现象，而且颜色信息可以进行快速处理。

三、皮肤检测技术相关理论

1.人体皮肤的组成

皮肤覆盖于体表，具有保护机体、调节体温、分泌排泄和感受刺激等功能。人体皮肤通常由三个部分构成，即：表皮、真皮、皮下组织，总厚度约为1.55mm。

常见光在皮肤表皮层中被黑色素吸收，在皮肤真皮层中则同时发生吸收和散

射。无光泽的人体皮肤的主要肤色通常受到三个不同颜色因素的影响：皮肤表皮细胞中的黑色素、真皮及皮下组织中的胡萝卜素以及真皮中的毛细血管。而不同个体肤色在亮度上的差异性主要是由黑色素浓度引起的。在常用的基于统计方法的肤色检测与分割技术中，不同的光照效果会对检测结果造成很大影响，甚至导致肤色分割失败，因此考虑影响个体肤色差异性的因素，综合电磁辐射与皮肤相互物理作用的肤色检测技术称为基于物理的肤色检测技术。该技术不在这里的讨论范围内。但这里研究了从光照补偿以及颜色校正出发解决光照条件对成像颜色的校正问题。

2.数字图像

所谓数字图像，是把画面分割成若干小点，称之为像素点，各像素的灰度值也是用离散数值即整数来表示的。数字图像包含固定的像素行数与列数，像素就像小方块，其数值范围通常在0到255之间，像素值表示图像上各点的亮度。0表示最暗、255表示最亮，或者反过来255表示最暗、0表示最亮，这与编码方案的不同有关。图像的数字化方式可以分为均匀采样、量化和非均匀采样、量化。所谓“均匀”指的是采样、量化为等间隔。图像数字化一般采用均匀采样和均匀量化方式，采用非均匀采样与量化，会使问题复杂化，因此很少采用。

一般来说，采样间隔越大，所得图像像素数越少，空间分辨率越低，成像质量就差，严重时出现像素呈块状的棋盘效应；采样间隔越小，所得图像像素数越多，空间分辨率高，图像质量好，但同时数据量也会较大。量化级数越多，所得图像层次越丰富，灰度分辨率高，图像质量好，同时数据量也比较大；量化等级越少，图像层次欠丰富，灰度分辨率低，会出现假轮廓现象，图像质量变差，但数据量小。所以应该根据实际应用选用不同的采样间隔和量化级数。特别是在这里的关于综合颜色信息和纹理信息的皮肤检测方法中，就必须对图像的灰度级数进行预处理以降低计算量。

3.计算机视觉

人可以通过视觉、听觉、语言与外界交换信息，并且可用不同的方式表示相同的含义，而计算机却要求严格按照各种程序语言来编写程序，只有这样计算机才能运行。如何让计算机来适应人的习惯和要求，以人所习惯的方式与人进行信息交换，也就是让计算机具有视觉、听觉和说话等能力。这就需要计算机必须具

有逻辑推理和决策的能力。

计算机视觉就是用各种成像系统代替视觉器官作为视觉信息输入手段，由计算机来代替大脑完成处理和解释，并根据解释结果做出相应的决策。计算机视觉的最终研究目标就是使计算机能像人那样通过对视觉信息的处理来观察和理解世界，从而对外界事物做出反应。在皮肤检测中也同样会遇到相应的问题，即从一幅图像的描述中如何抽取出能够适应各种光照变化的肤色描述，从而得到肤色区域，就正如人的视觉系统可以在各种变化的光照条件下，清楚地辨认目标那样。

人类的视觉系统是功能最强大和完善的，但人们并不能描述和解释自身的视觉系统是如何对信息进行处理的，因此通过对计算机视觉的研究、模拟，人们有可能逐步地揭开人类视觉的信息处理机制，从而了解人类的思维机制、推理机制等。因此，用计算机信息处理的方法研究人类视觉的机理，建立人类视觉的计算理论，也是一个非常重要和有趣的研究领域。同样的，通过其他途径，如神经解剖学、心理学等方面对人类视觉的研究，也会给计算机视觉的研究提供启发和指导，两者有相互促进的作用。

4.模式识别

计算机视觉与皮肤检测有紧密关系，同样，模式识别理论对皮肤检测更具有直接的指导意义。

模式识别是指对表征事物或现象的各种形式的（数值的、文字的和逻辑关系的）信息进行处理和分析，以对事物或现象进行描述、辨认、分类和解释的过程，是信息科学和人工智能的重要组成部分。同时，模式识别是人类的一项基本智能，在日常生活中，人们经常在进行“模式识别”。随着20世纪40年代计算机的出现以及50年代人工智能的兴起，人们当然也希望能用计算机来代替或扩展人类的部分脑力劳动。模式识别在20世纪60年代初迅速发展并成为一门新学科。

功能较完善的识别系统在进行模式识别之前，首先要进行学习或对它进行训练，即包括两个主要过程，学习训练和识别分类。

具体包括4个主要环节，第一就是特征提取。无论是识别过程还是学习过程，都要对研究对象固有的、本质的重要特征或属性进行测量并将结果数字化，或者对目标进行分解产生基元并对其符号化，形成特征矢量或符号串、关系图，从而产生代表对象的模式，模式类中的个体在有些场合中也称为样本。用于学习与训

练的样本的类别应是已知的。

另外，在进行特征提取之前一般还需要对目标的信息载体进行必要的预处理。第二就是特征的选择。通常能描述对象的元素很多，为了节约资源，节省计算机的存储空间以及特征提取的代价，有时更是为了可行性，在保证满足分类识别正确率要求的条件下，按某种准则尽量选用对正确分类识别作用较大的特征，使得用较少的特征就能完成分类识别任务。这项工作表现为减少特征矢量的维数或符号字符数。第三就是学习和训练。为有效地让机器具有分类识别的功能，如同人类自身一样，人们应首先对它进行训练，将人类对知识和方法的识别以及分类识别对象的知识输入机器中，产生分类识别的规则和分析程序，这也相当于机器进行学习。这个过程一般要反复进行多次，不断地修正错误、改进不足，这包括修正特征提取方法、特征选择方案、判决规则参数及方法，最后使系统正确识别率达到设计要求。目前机器学习常需要人工干预，这个过程通常是人机交互的。第四就是分类识别。在学习、训练之后所产生的分析规则及程序用于未知类别的对象的识别。需要指出的是，输入机器的人类分类识别的知识和方法以及有关对象知识越充分，这个系统的识别功能也就越强，同时正确率也就越高。有些分类过程例如聚类过程，似乎没有将有关对象的类的分布知识输入，实际上在选择相似性测度以及采用哪种聚类方法时已经用到了对象的一些知识，也在一定程度上加入了人类的知识。

模式识别的基本方法主要包括：统计模式识别，句法模式识别，模糊模式识别，人工神经网络方法和人工智能方法等几种。基于统计方法的模式识别系统主要由4个部分组成：数据获取、预处理、特征提取和选择、分类决策。

第二节皮肤镜图像提取黑色素瘤技术

一、皮肤镜图像概述

1.背景

恶性黑色素瘤，通常被人们称为“恶性黑色素瘤”或黑素瘤是皮肤癌症的一种。它是由于皮肤表皮基底部的黑色素细胞产生病变进而恶化而形成的一种恶性肿瘤。黑色素瘤的发病部位常见于皮肤表面，也可产生于眼部，鼻腔等处，是一类侵袭程度高，转移速度快，并且预后治疗效果不理想的皮肤癌症。在黑色素瘤的发病人群中，年龄分布主要集中在15～44岁，其中，年轻成年人占10～30％，

中年人占30～40％，老年人占40～50％，男性患者平均发病年龄为35.8岁，女性患者则为32.0岁。在皮肤癌症的死亡病例中，恶性黑色素瘤是最致命的一种，并且死亡患者占皮肤癌死亡患者的66％左右。根据美国癌症协会发布的Cancer Statistics统计显示，2015年在美国黑色素瘤的新增加的发病总数达到73870例，死亡病例达到了9940例。

虽然我国长期属于黑色素瘤的低发地区，但是近年来，我国每年新增的黑色素瘤病例达2万多例，并且发病率呈3％～8％的趋势高速增长。现如今，黑色素瘤已经成为严重危害我国人民生命健康的疾病之一，给患者带来了巨大的生理痛苦和经济负担。由于长期以来我国人民对于黑色素瘤的了解不够，在黑色素瘤的早期阶段没有及时引起重视，以至于到了晚期黑色素瘤开始溃烂，转移至其他组织。然而对于已经发生转移的黑色素瘤，目前的临床医疗技术水平缺乏有效的治疗方法，此时再治疗已经没有多大的意义，所以通过及时诊断发现并进行局部手术是治疗黑色素瘤的最好方法。

实际上，人体的皮肤存在一种特殊的可以构造出黑色素蛋白质的细胞，也称为黑色素细胞。这些黑色素可以防止紫外线对于皮肤的辐射，从而避免细胞染色体因紫外线的照射而受损。但是由于其具有不受控生长的特性，在黑色素过度增长的过程中，会逐渐形成了恶性黑色肿瘤细胞。恶性黑色素瘤的主要症状是：首先在早期的时候，黑色素细胞开始发生，随着色素的增多，黑色素瘤皮损区域的颜色开始逐渐加深，区域面积不断增大，硬度持续增加，并伴有痛痒感。随着病情的进一步恶化，在黑色素瘤的内部会出现一些颜色退化的区域，肿瘤的大小，形状和颜色在这个阶段也不断发生变化，直至最后黑色素瘤开始发生溃烂，生长真菌，此时病情已经发生转移。到了晚期，癌细胞经血液转移至肺部、肝脏、脑部等诸多器官，这个时候治疗已经没有任何显著的效果，患者数月之内既能致死。

通过对黑色素瘤的研究，人们总结出黑色素瘤的发病原因主要集中在以下五个方面：

（1）紫外线照射：长时间的暴露在紫外线的照射下，会导致黑素细胞的数量显著增加、色素不断沉着同时由于皮肤长时间暴露在紫外线下会引起皮肤细胞中DNA的损伤，从而增加患黑色素瘤的几率。

（2）良性痣的病变：出现在躯干与四肢的恶性黑色素瘤大部分都与之前的

良性痣细胞有关。

（3）人种与遗传：在黑色素瘤的发病人群中，白种人的发病率远高于其他肤色的人种。比如在美国，白种人的发病率高每十万人中就有42例，而黑种人每十万才0.8。此外，黑色素瘤的患病概率还与遗传存在比较大的关系，患病家族的成员由于基因的遗传，患病率较之普通人群相对要高，且发病时间较早，而且有家族患病史的病例占比达1％～6％，属于染色体显性遗传。

（4）皮肤创伤与外部刺激：皮肤的表面在受到创伤与反复刺激时也会增加黑素细胞产生恶变的概率，所以在手掌，足底等经常遭受摩擦的部位患黑色素瘤的几率较大。

（5）免疫反应：由于年纪的增大，身体免疫力衰退，机体自我修复能力下降，所以对于老年人来说，发病率也较高。

对于已经发生转移的恶性黑色素瘤，最好的方法还是通过在早期阶段及时进行确诊并进行手术干预来切除黑色素瘤。在以往的恶性黑色素瘤早期筛查中，诊断主要依赖于医生的临床肉眼观察和组织病理学切片活检。虽然组织病理学作为一种创伤性的方法，结果较肉眼观察更可靠，但盲目实施会增加病人的痛苦。因此非创伤性的黑色素瘤检查技术目前逐渐受到重视。其中，皮肤镜就是诊断恶性黑色素瘤较为理想的一种非创伤性的设备。

皮肤镜通过无创性的显微技术来观察皮肤表面人眼难以发现的细微结构、颜色变化以及色素网结构，它使医生能通过6～40倍的放大镜将色素性皮肤损害的区域放大，全方位的观察表皮、真皮表皮连接处和真皮浅层内的色素网结构表皮浅层血管等与组织病理学的变化有着对应关系的图像特征。通过皮肤镜的成像技术，皮肤科医生将临床皮肤病学与皮肤病理学通过宏观与微观上的结合，对黑素瘤进行诊断，可以显著地降低对恶性黑色素瘤的误诊几率。

皮肤镜能够检测出皮损区域出现的色素网结构、蓝白幕结构、条纹形状、均匀圆点、球状体和斑点等形态学特征。这些丰富的形态学特征展现了良性痣与恶性黑色素瘤在颜色，纹理和形态结构上存在的差异。

皮肤科医生根据皮肤镜所呈现的图像特征，分析皮损的表面特征和相应的生长规律，总结出多种黑色素瘤诊断方法，其中常用的诊断标准有模式分析法、ABCD 准则、三点特征法、七点特征法、孟氏法以及CASH法。这些方法的主要依据是

皮损的颜色、形态和纹理特征。例如ABCD准则的侧重点是皮损的非对称性、边缘、颜色和结构的多样性。而CASH法考察的主要是皮损的颜色、结构、对称性和均匀性。

其中，颜色特征涉及皮损区域可能出现的颜色比较丰富，有浅棕色、深棕色、蓝灰色、黑色、白色和红色等。皮损区域的颜色种类繁多且分布不均匀，属于恶性黑色素瘤的概率就越大。形态特征主要包括网状模式、球状模式、鹅卵石模式、腔洞模式等全局特征和由上述全局特征发展而来的局部形态特征。

2.意义

在黑色素瘤早期阶段，诊断的难度较大，并且随着病情的发展，恶性程度很高，非常容易扩散，预后效果较差。身患恶性黑色素瘤的患者，不仅生活质量下降，生命健康受到威胁并且还需要承担沉重的精神负担和巨大的经济压力。如果能够及早进行确诊，并对黑色素瘤进行局部手术根除，能够大大的提高治愈的几率。据数据统计，在早期就进行确诊并进行有效治疗的病例中，存活下来的几率高达95％，且不需要进一步的治疗，所以对于恶性黑色素瘤进行早期诊断具有重大意义。然而现有黑色素瘤诊断方法，主要是依靠皮肤科医生对皮损的颜色、形态和纹理特征进行主观判断。这种诊断方法，由于不同的医生在水平经验上存在差异，使得观察者间和观察者内的再现性都不是很理想，也就是说针对同一皮肤镜图像，不同的医生会出现诊断结果不一致，甚至同一医生在不同时间的诊断结果也会存在变化，所以通过皮肤科专家进行主观的诊断对医生的临床经验要求较高，而且准确率也不高，而且由于黑色素瘤皮损存在类内差距大，类间差距小的特点，容易产生漏诊和误诊。Argenzinao等的研究表明，七点检查法的灵敏度和特异性，对于有经验的医生分别为95％和75％，而对经验不足的医生分别为85％和48％。因此，基于皮肤镜图像对恶性黑色素瘤的检测关键技术进行研究，对于黑色素瘤的早期诊断具有重大意义。

二、皮肤镜图像基本理论

1.皮肤镜图像预处理

首先，在获取皮肤镜图像的过程中，通常图像中会包含一些人工操作所形成的黑框、气泡，以及皮肤的一些固有特征，如血管、毛发等。这些噪声的存在会对皮损区域的分割操作产生影响，随即降低后续特征提取的有效性和分类结果的

准确性。现有的皮肤镜图像预处理方法一般采用通用的滤波器进行处理，如高斯滤波、中值滤波、各向异扩散滤波等，来进行噪声处理。也可以针对某些特定的噪声进行单独处理，例如对于皮肤镜图像中的黑框噪声，可以考虑到黑框在亮度分量上与中间区域存在较大差异来检测和消除黑框，以及可以采用形态学灰度顶帽来对气泡进行检测。

对于皮肤镜图像中存在的毛发噪声的处理，现有的工作主要是从以下两个方面进行研究：

（1）通过中值滤波，形态学操作，基于边缘检测的算法，如Canny算子，Prewitt算子和斯提杰线条检测等来对毛发噪声进行检测。

（2）对于毛发区域恢复的方法主要是通过中值滤波，形态学操作，双线性插值，领域像素替换，基于偏微分方程的图像修复，基于一致性迁移的快速图像修复的方法。

在现有的方法中，中值滤波和形态学操作可以同时用来进行毛发区域的检测和恢复，但是会带来图像模糊和渗色的不良后果。图像修复技术则克服了这些缺点，毛发区域的恢复后的视觉效果比较理想，但是计算量比较大。从上述研究可以看出，毛发噪声的消除是皮肤镜图像噪声预处理的重要环节，它所涉及的关键技术问题也是当前图像处理中的热点问题。

2.皮肤镜图像分割

现有的皮肤镜图像分割算法中，按图像分割的技术特点可以分为以下六种类型：

（1）基于阈值的分割算法，主要是通过对灰度图像的直方图的分布情况进行分析来得到阈值，从而提取出目标区域。

（2）基于边界的分割算法。

（3）基于区域的分割算法，如分水岭法和统计区域融合算法。

（4）基于聚类的算法，如K均值算法(K-Means)，均值漂移算法(Mean Shift)，模糊C均值，以及基于密度的聚类。

（5）基于活动轮廓的分割算法，如蛇形算法和水平集算法。

（6）基于机器学习的分割算法，如神经网络，线性判别分析和支持向量机等。

国内在基于皮肤镜图像的黑色素瘤皮损分割研究中，最具有代表性的是解放军空军总医院的孟如松团队及其所在的北京航空航天大学的成员所组成的团队，以及杭州电子科技大学的马莉团队。

孟如松团队在皮损分割中的主要研究成果包括：

（1）田庆飞等提出统计区域融合和K均值相结合的分割算法。

（2）谢凤英等提出一种改进的自生成神经网络分割算法，及基于支持向量机的分割算法。

（3）韩超等使用均值漂移算法进行粗分割，并利用遗传算法类合并皮损区域。

（4）徐斌等使用了统计区域融合方法。

此外马莉团队的苏天珍提出了基于活动轮廓的蛇形分割算法。另外，杭州师范大学的徐舒畅等提出的基于独立色素浓度分布的阈值分割算法。

以上算法都有各自的特点，如蛇形算法分割出来的边界比较平滑，基于阈值的分割方法计算速度快等，但是大都缺乏对分割方法的进行鲁棒性分析，即没有使用标准差来对分割结果的准确性，特异性和灵敏性等指标进行评价。在分割“形态各异，大小不一，颜色多样，噪声多样”的皮损图像时，这些方法有时候会严重失效，从而极大的限制了他们在实际中的应用。

3.皮肤镜图像特征提取

最近几年，很多工作都研究了不同的特征提取方法来提取皮肤镜图像的特征，这些方法大抵可以分为特征设计和特征学习两种方式。其中，特征设计主要是通过人工设计和干预来生成特征。它的目的是在原始数据上构建新的特征，将原始数据转换为一组有明显物理意义或者统计意义的特征，在这里中主要是根据皮肤科专家诊断黑色素瘤的传统方法，得到的颜色，形状，纹理等特征。比如ABCD 准则是根据皮损以下四个方面来设计特征：

（1）在颜色和形状上的不对称性。

（2）皮损区域的最大直径、面积、不规则性等边界特征。

（3）颜色的属性和颜色数量，还有在不同颜色通道上的均值和方差。

（4）特异结构的数量，特异结构包括色素网，血球，占皮损面积百分之十以上的无结构的区域等。

根据传统的黑色素瘤临床诊断方法，可以设计出一系列的颜色、纹理和形状特征。

Abbas等通过计算颜色相似性和颜色共生来获得颜色特征，通过多尺度SPT(Steerable pyramid transform)分解方法来获取纹理特征。

Celebi等在获得皮损分割结果后，通过在皮损区域，皮损外区域，皮损内区域上提取相应的形状、颜色和纹理等特征。

在图像分类中，利用特征设计所获得图像的特征在分类性能上主要是注重皮肤镜图像的全局特征，没有考虑图像的局部特征。目前在图像处理领域常用的局部特征包括Lowe等提出的SIFT、SURF、PCA-SIFT等特征描述子，由于这些特征对图像的尺度拉伸，旋转，仿射等变换具有不变性，因此可以对图像进行更好的描述。后来为了对图像的局部特征子进行有效的组织，Li等提出了词包模型的概念，该方法通过对获取到的图像局部特征子进行聚类从而生成一个视觉字典，接着按照一定的相似性度量准则将图像的每个局部特征映射到视觉词典中的某个单词，然后统计每幅图像在视觉单词上的直方图作为图像的特征表示。然而词包模型没有考虑到图像局部特征描述子间的空间位置信息，这就会导致两幅差距较大的图像，由于它们在视觉字典上的直方图相似，从而得到相同的特征表示，这样就影响了词包模型对图像的表征能力。为了解决这个问题，Lazebnik等人提出了基于空间金字塔匹配模型。该模型通过在不同尺度上将图像的局部特征与空间的位置信息联合起来并与词包模型进行结合来对图像进行表征。但是在基于空间金字塔匹配的词包模型中，只是采用简单的矢量量化方式，通过最近邻算法将图像的局部特征映射到单个视觉单词上。为了解决矢量量化方式编码能力的不足，Yang等在词包模型和空间金字塔模型思想的基础上，通过将图像的每个局部特征映射到多个视觉单词上，提出了基于稀疏编码的空间金字塔匹配模型。稀疏编码是将传统的基于空间金字塔匹配的词包模型中的矢量量化方式转换为稀疏编码的方式。稀疏编码的主要思想是对一组无标签的局部特征描述子学习出一组基向量，这些然后用这组基向量对这些局部特征描述子进行线性表示，通过对系数加上一些正则化的约束条件，就可以达到只需要较少的基向量就能得到比较理想的描述。

然而上述的词包模型还只局限于提取单个视觉单词，缺乏对由多个局部特征

所构成的视觉词组进行研究。而黑色素瘤大多具有多成分模式和未指定模式，多种几何形状、纹理、颜色特征的同时出现，往往是黑色素瘤诊断的依据。

4.皮肤镜图像分类

在皮肤镜图像的皮损分类研究中，首先做出里程碑式贡献的是Ganster，在他的研究工作中将机器学习的方法应用到皮肤镜图像的识别和分类中，主要的思路是在对肿瘤图像进行基于颜色的分割基础上，然后分别提取皮损区域的颜色、形状和梯度特征，在最后通过设计神经网络对特征进行分类决策，皮损区域分类的灵敏度和特异性分别达到了77％和84％。Celebi等通过使用基于阈值的ostu 算法对黑色素瘤图像进行分割，并在分割出来的目标区域中提取了图像的形状、颜色和纹理特征，运用支持向量机对皮肤镜图像进行二分类，并且获得了90％以上的特异性和灵敏度。为避免SVM的过拟合或者欠学习，Celebi还通过对SVM 中的惩罚系数C和核函数参数进行网格搜索进而取得最优的分类效果。

最近几年，有很多工作通过研究不同的特征提取方法和分类方法对黑色素瘤进行检测。Situ等提出了一种基于词包的恶性黑色素瘤色素网的检测方法，首先，通过训练得到一个词包，然后每个皮损区域都由基于词包的代号直方图来表示。最后是使用朴素贝叶斯分类器和SVM分类器进行分类。获得了82.21％的准确率。随后，Situ使用相同的词包框架，提出了一种新的基于空间聚集和图理论特征的采样和聚集方法。在1500幅图像的数据集上，获得了92.7％的AUC(Area Under Curve)曲线下面积。Barate等研究了基于词包模型的局部颜色和纹理特征对于黑色素瘤分类问题的适用性。并且分别分析了颜色特征和纹理特征在恶性黑色素瘤分类中的作用，实验结果表明，单一的颜色描述子取得了比纹理描述子更好的性能，并且使用KNN和SVM能获得更好的分类结果。孟如松等提出自生成神经网络的自适应聚类分割算法并在此基础上进行特征提取，结合组合神经网络对黑色素瘤的良性与恶性进行分类与识别。在642幅皮肤镜图像的数据集上，准确率达到了93.65％。在上述的皮肤镜图像的分类研究中，大多都采用了基于特征设计的低级特征，且各分类器使用了相同或者相似的特征，缺乏利用特征设计与特征学习生成的特征具有互补性的特点，采用基于多视图机制的框架来对皮损进行分类，从而提高分类的性能。

三、皮肤镜图像低级特征提取

临床常用的黑色素瘤诊断方法，都使用了皮损的形状，颜色和纹理特征。因此，基于临床诊断方法的需求，在特征设计中，这里从这三个方面来获取图像的特征。

1.皮损区域形状特征提取

在基于皮肤镜图像的恶性黑色素瘤的临床诊断方法中，形状是一个关键的特征。这里采用的形状特征主要有：面积、纵横比、非对称、密实度和离心率等。下面介绍这些特征的计算方法。

（1）皮损面积

在计算皮损面积的时候，可以通过统计分割结果的皮损区域中像素点的个数。

（2）纵横比

纵横比定义为纵轴L 1和横轴L 2的比值，计算纵横比首先需要计算区域的中

心位置：

∑∑===rows i cols

j q p pq j i m 11

()()0001001000,,m m m m c r =

这里pq m 表示图像的p+q 阶几何矩。区域的中心距可以通过下面公式的pq μ计算得出，继而根据中心矩计算横轴与纵轴，最后将横轴与纵轴相除就是最后的纵横比，这里横轴即L 1取两者中较长的边。

()()q p

rows i cols j pq c j r i 0110-?-=∑∑==μ

()()()()212111*********.148μμμμμ+-±+=L

21L L A R =

（3）非对称性A 1和A 2

为了计算非对称性，首先需要根据以下公式计算皮损区域主轴的方向θ，然后分别计算图像逆时针旋转后，与原图像不重叠部分的面积A x 和A y ，其中A y 是关于短轴的。然后分别计算A 1和A 2。

???

? ??-=-02201112tan 21μμμθ

()

％100,min 1?=A

A A A y x ％1002?+=A A A A y

x

（4）密实度

密实度一般是指皮损区域的面积与周长的比值，这里周长的计算可以通过计算分割结果中边缘像素的个数。

（5）离心率

离心率的计算公式如下所示：

()()

2200211220024μμμμμε++-= （6）最大直径

边缘两个像素点之间的最大距离定义为最大直径。

（7）伸展性

获得皮损区域的最小包围盒，伸展性定义为包围盒的长宽比。

2.皮损区域颜色特征提取

在得到的皮损区域的基础上，通过向内收缩得到皮损内区域(inner)，向外扩展得到皮损外区域(outer)，联合皮损区域(lesion)得到三个区域。其中绿色曲线内的为皮损区域，红色曲线内的为皮损内区域，而黄色曲线内则为皮损外区域。然后分别在这三个区域内，计算皮肤的颜色特征。在六种不同颜色空间下的所有通道上计算均值和标准差，颜色不对称性，直方图距离和中心矩。

下面详细描述这里所采用的颜色特征：

（1）均值和标准差

由于这里采用了6个颜色空间，每个颜色空间有三个通道，分别对皮损区域，皮损外区域和皮损内区域计算均值和方差，同时计算这两个统计量的比值和差值，分别为：(outer/inner)，(out/lesion)，(inner/lesion)，(outer-inner)，(outer-lesion)和(inner-lesion)。

（2）颜色的不对称性

颜色不对称性的计算与形状的不对称性类似，只是将几何矩和中心矩计算的

时候加上像素值作为权重。

（3）颜色的重心距离

对于颜色空间的一个通道来说，重心距离是指二值图像的几何中心到亮度中心之间的距离，其中亮度中心也是在几何矩的计算过程共加上像素值作为权重。如果某一个颜色通道上的颜色分布比较均匀，那么亮度中心与几何中心的距离就很小。为了获得尺度不变性，需要将重心距离除以直径。最后分别计算6个颜色空间，共18个颜色通道的重心距离。

（4）直方图距离

直方图可以用来衡量两个区域的相似性，由于CIE LUV 和CIE LAB 在颜色的感知均一性上的突出表现，这里计算这两种颜色空间的直方图距离。直方图距离的计算过程如下所示，首先将颜色空间量化为4×4×8个小箱(bins)，根据上文得到的区域，内区域，外区域，计算每两个区域间的直方图，然后通过L 1范数和L 2范数来计算直方图之间的距离。这样就得到了23C ×2共6维的直方图距离特征。

3.皮损区域纹理特征提取

与前文超级像素纹理特征提取类似，为了得到皮损区域的纹理特征，将原图像转换成灰度级为64的灰度图像，然后在0°、45°、90°和135°这四个方向计算图像的灰度共生矩阵。除了计算灰度共生矩阵特征之外，还考虑图像的梯度特征比如梯度直方图，该特征能很好的反映皮肤镜图像的纹理特征，对于良性痣与恶性黑色素瘤的鉴别有一定的能力。在这里中，采用幅度和方向两种梯度直方图。首先通过Sobel 算子来计算图像的梯度：

()()()[]y x g y x g y x g ,,,,21=

然后通过下面公式来计算梯度大小和方向：

()()()2

221,,,y x g y x g y x g += ()()()???

? ??=-y x g y x g y x ,,tan ,121φ 最后，将梯度的大小划分为十个块，将梯度的方向每10度为一个小块，分别统计梯度大小和方向的直方图。

第三节毫米波检测皮肤癌技术

一、毫米波在生物医学上的应用

麦克斯韦提出了电磁波理论，赫兹证实了它的存在，马克尼做了进一步的研究。经过人们对电磁波不断地探索和实验研究，电磁波理论已经非常成熟。在许多方面都得到了应用，推动了人类的进步和科技的发展。电磁波最初的应用是在通信与军事方面，这是作为信息载体的应用，并在应用中不断发展与扩大。

电磁波技术首先被应用于通信及军事领域，并在应用中得到发展。应用范围日益扩大，使用频段不断增多和拓宽。实际上任一新电磁波段的开辟总是与通信、雷达、导航和许多传统技术领域的需要联系在一起的。电磁波在生物医学上的应用也非常成功，所使用的频段也在不断加宽，尤其是在肿瘤的诊断和治疗方面。毫米波治疗作为一种新的现代化物理治疗手段在一些国家特别是俄国和我国得到推广应用。

当毫米波照射生物体时会产生热效应和非热效应。热效应又称为能量效应，这种效应是靠电磁波的功率来取得的。使机体组织的全部或局部加热，在这种情况下电磁波的频率和波形不起主要作用。应用于治疗小儿肺部疾病、骨折、胰腺疾病和创伤等。非热效应对生物体不会照成明显的发热现象，主要是对生物体内部的分子产生影响，如发生变形和震动，使它内部的电状况放生变化。非热效应在医学的诊断和治疗方面也起了很大的作用。但是电磁波的制热作用有好的一面也有坏的一面，关键在于电磁波的强度、辐照的时间和作用条件之间的关系。毫米波对人体的有害一面主要表现在热效应方面。长时间大剂量的辐照人体，会使人体的温度升高，产生高温生理反应，损害人体的组织和器官。所以在使用电磁波进行诊断和治疗时，要对这方面多加注意。总的来说，电磁波对多种疾病有综合治疗的作用，而且过程无痛苦，无后遗症，易于被患者接受。80年代末期，我国的电磁波治疗技术得到较大的发展，已有多种型号的治疗仪器进入市场。并且在许多医院中开展了临床应用与研究，获得了较好的效果，受到了医学界的重视和欢迎。

毫米波在医学应用方面的技术发展和成就是与二十年来各国学者的一系列理论和实验研究相联系的。1967年英国物理学家发表了生物体中的相干震荡理论。1965～1966年前苏联学者提出了“在没有大功率的毫米波天然辐射源和人

造辐射源的条件下，自然界可以将这个纯净的频段用于生物体细胞之间的信息联系”。一些学者提出了谐振理论，1977年前苏联医学专家把低强度毫米波应用于医学临床研究。80年代初，又先后在治疗肿瘤、贫血症、脑神经、化脓性感染、妇科病等方面取得良好的疗效。我国从80年中期也开展了临床应用研究，目前毫米波已在俄国、中国等国家的医疗中得到应用与推广。毫米波的波长在10mm～1mm之间，频率在30GHz～300GHz的范围内。毫米波具有波长短、工作频带宽、与大气成分有选择性的相互作用等优点。波长短可以使器件尺寸缩小，便于集成化，系统内部结构紧凑，有利于在飞机、导弹和卫星上的应用。在通信领域中，毫米波的工作频带宽可以容纳更多的信息，使通信的速度加快。由于毫米波与大气成分有选择的相互作用，在烟雾和战场污染的环境中，毫米波的衰减低。现如今，一些新兴的技术如探测技术和生物医学工程技术等需要更高的技术作支撑，加上微波、红外、激光在军事上和许多应用中遇到了难以克服的障碍与困难。于是随着毫米波关键技术的突破，毫米波应用技术迅速得到发展，并在很多领域中得到应用。

肿瘤是人体某些器官组织细胞，由于内外因素引起细胞遗传信息物质脱氧核糖核酸的改变，而发生的非人体需要的异常分化和增生，可以导致人死亡，危害着人类的生命。人体的免疫、内分泌、神经和新陈代谢影响着肿瘤的发生与发展，肿瘤发生、发展的重要条件是人体正常免疫功能的破坏与抑制。治疗肿瘤的手段主要有手术、放疗、化学药物和免疫等四种方法，有时单一使用，有时混合使用。在手术后一般要采用放疗或化疗，但放疗和化疗都能损伤细胞，在破坏肿瘤细胞的同时也损伤了骨髓细胞，尤其是可使白细胞减少。毫米波对肿瘤的诊断和治疗效果非常明显，可以直接杀死癌细胞，且没有副作用。还可以调节人体的免疫和神经系统，配合放疗和化疗进行治疗。空军总医院放射治疗科的张峰等就毫米波用于治疗肿瘤的可能性和临床疗效进行了深入研究。研究表明，毫米波照射合并放化疗对于综合治疗恶性肿瘤有增效作用，尤其是对浅表恶性肿瘤有很好的疗效。同时，毫米波照射对放疗后热烫伤溃疡有疗效，并能有效控制肿瘤及放疗后继发感染。根据近些年来毫米波照射用于癌症治疗的临床观察和实验研究可得到：毫米波照射可抑制癌细胞合成DNA，使其增殖过程减慢，而对正常细胞无损伤。另外，毫米波对放疗、化疗后免疫力下降和血像变化有改善作用。所以毫米波在生