人脸特征点定及其应用26页PPT
合集下载
人脸识别技术介绍课件
算法参数指标
误识率(FAR：False Accept Rate)
– 表示不同来源的人脸被接受的概率
拒识率(FRR：False Reject Rate)
– 表示来源相同的人脸被拒绝匹配的概率
其它常见参数指标
可接入人像照片规模
实时比对规模
首选识别率/前N选识别率 错误报警率/正确报警率
• 在对不同角度、不同面部表情、发型及头 饰、 • 胡子的蓄留等变化有比较稳定的表现 • 眼镜 • 一般眼镜的配戴与否，与识别的结果形响 有限 以下除外： -全黑的墨镜 -水银反光墨镜 -极粗框的眼镜，将面部挡着
-10-
影响人脸识别的因素：姿势
旋转、侧滚、俯仰20度内， 对识别的准确度影响有限
-11-
拒认率 <0.2 5% 5%
易用性 非常好 好 使用困难
处理速度/人 <1秒 5秒 5-15秒
评价 最好的生物识别技术 较好的生物识别技术 易传染细菌，采样困难，设备 昂贵
瞳孔扫描 声音识别
很低 一般
10% 一般
仪器对准价格昂贵，手工操作 需培训后使用，仪器对准需3-5秒， 复杂，且不适用于隐形眼睛用 操作难度大 手工要5-25秒。 者 一般 3秒 可能被磁带欺骗
别技术，人脸识别具有非侵扰性，无需干扰人们的正常 行为就能较好地达到识别效果。由于采用人脸识别技术 的设备可以随意安放，设备的安放隐蔽性非常好，能远 距离非接触快速锁定目标识别对象，因此人脸识别技术 被国外广泛应用到公众安防系统中，应用规模庞大。
-3-
生物识别技术比较
误认率 人脸识别 指纹识别 掌纹识别 低 很低 低
-2-
人脸识别技术
生物识别技术就是通过计算机与光学、声学、生物 传感器和生物统计学原理等高科技手段密切结合，利用 人体固有的生理特性，（如指纹、声纹、人像、虹膜等）
人脸识别课件
人脸识别课件xx年xx月xx日CATALOGUE目录•人脸识别概述•人脸识别基础知识•人脸识别常用库和框架•人脸识别实际应用•人脸识别难点和挑战•人脸识别未来发展01人脸识别概述定义人脸识别是一种利用图像或视频数据进行人类身份识别的技术。
特点非接触性、非侵扰性、自然性、友好性和防伪能力。
人脸识别定义1人脸识别发展历程2320世纪60年代到80年代末，人脸识别技术开始起步。
起步阶段20世纪90年代到21世纪初，人脸识别技术开始快速发展和应用。
发展阶段21世纪初至今，人脸识别技术在算法、应用和标准化方面取得重大突破。
突破阶段人脸识别应用场景人脸识别技术应用于门禁系统，可以实现安全、方便、快捷的进出控制和管理。
门禁系统金融行业社会安全娱乐产业人脸识别技术可以用于金融行业中的身份认证、客户分群和风险评估等。
人脸识别技术可以用于社会安全领域的监控、追踪、查找和侦破案件等。
人脸识别技术可以用于娱乐产业中的特效制作、人脸替换、人脸合成和动画制作等。
02人脸识别基础知识基于深度学习的图像识别算法利用卷积神经网络（CNN）对图像进行特征提取，通过全连接层进行特征组合，实现图像分类和识别。
基于特征提取的图像识别算法利用传统图像处理技术，提取图像中的颜色、纹理、形状等特征，通过支持向量机（SVM）等分类器进行分类和识别。
图像识别算法利用神经网络对人脸进行特征提取，通过滑动窗口技术在图像中寻找人脸区域，并通过回归任务确定人脸的精确位置。
基于深度学习的人脸检测算法利用图像处理技术，对图像中的像素进行统计分析，得到人脸区域的特征表示，通过分类器进行人脸和非人脸的分类。
基于特征分析的人脸检测算法人脸检测算法基于深度学习的人脸特征提取算法利用卷积神经网络（CNN）对人脸进行特征提取，通过全连接层将特征进行组合和编码，得到人脸的特征向量。
基于传统机器学习的人脸特征提取算法利用图像处理技术，提取人脸的特征表示，如Gabor滤波器、LBP等，通过分类器进行人脸和非人脸的分类。
数字图像处理(人脸识别)精品PPT课件
3.2 Histogram Equalization and Discrete Wavelet Transform
• 直方图均衡化是用来提高图片的对比度减 小不同光线亮度的干扰。
• 离散傅里叶变换（DWT）是快速线性可逆正 交运算。
3.3 2DPCA
• PCA:提取高维事物中的主要成分。 • 2DPCA：Horizontal 2DPCA,Vertical
一、人脸识别及其应用
• 人脸识别，特指利用分析比较人脸视觉特 征信息进行身份鉴别的计算机技术。它是 计算机视觉和模式识别领域理论的一个重 要应用。
一、人脸识别及其应用
• 由于它在安全验证系统、智能人机接口、 视频会议等方面有着巨大的应用前景而成 为当前的一个识别
慧眼人脸识 别考勤机
二、人脸识别的方法
• 1、全局法（global scheme ）
• 2、基于子空间的方法（component-based scheme ）
2.1全局法
• 全局法：一整张脸的一个特征向量作为识 别系统的输入。（a single feature vector of the whole face region is used as the input of the identification system ）
• 对人脸正面图像有比较好的区分能力。但 对人脸图像不是非常端正的图像就不是很 有效。因此区分之前必须做修正。
2.2基于子空间方法
• 它通过训练图像获得最大方差，并通过方 差获得基向量，这个基向量代表了人脸图 像的最主要信息。（ It captures and utilizes maximum variance across the training images to find a basis vector which is the most compact representation of the face ）
人脸识别ppt
• 图像的归一化
对于一个全自动的人脸识别系统，其首要的工作是人脸 图像的分割以及主要器官的定位。另外，由于K-L变换 本质上依赖于图像灰度在空间分布上的相关性，因此还 需要对人脸图像进行一系列的预处理，以达到位置校准 和灰度归一化的目的 假设已根据分割及定位算法，得到了人脸正面图像左右 两眼中心的位置，并分别记为Er和El，则可通过下述步 骤达到图像校准的目的
实例-人脸识别
我们把一幅数字图像看成一个矩阵或一个数组，用B(i,j) 或[bij] 表示，一幅N×N大小的人脸图像按列相连构成一 个N2维矢量
x=( b11 b21…bN1 b12b22…bN2 …b1N b2N…b28。由于人脸 结构的相似性，当把很多这样的人脸图像归一化之后， 这些图像在这一超高维空间中不是随机或散乱分布的， 而是存在某种规律，因此可以通过K-L变换用一个低维 子空间描述人脸图像，同时又能保存所需要的识别信息
完成了旋转、平移和尺度不变性后，需要对校准的图 像做灰度拉伸，以改善图像的对比度，然后采用直方 图修正技术使图像具有统一的均值和方差，一部分消 除光照强度的影响 假设人脸数 据库中，由 20人，每人 10幅人脸图 像
• K-L变换
以归一化后的标准图像做为训练样本集，以该样 本集的总体散布矩阵为协方差矩阵，即
xi为第i个训练样本的图像 向量， μ为训练样本集的 平均图像，M为训练样本 的总数
mx E{(x μ)(x μ) }
T
1 Cx M
M 1 i 0
(xi μ)(xi μ)T
T u1 y1 T u2 y2 T y U ( x m x ) ( x m x ) y uT M M
人脸识别的特征提取概论PPT课件
人脸检测和人脸识别是人脸识别技术两大理论。两者 的研究相对独立。 对于人脸识别理论中特征提取方面的算法研究非常 重要，是人脸识别能否成功的关键。
问题的提出？
1. 特征提取是人脸识别中最基本的问题之 一。 2. 特征提取不但从原始模式信息中提取出 最有利于模式分类的特征，而且极大地 降低模式样本的维数。 3. 特征提取是模式识别的前期工作，处理 的是否得当影响后期的成果，可谓“大 军未动，粮草先行” 所以对于人脸识别，有效的特征提取 是解决问题的关键之一。
人脸识别的特征提取概述
主要内容
1.人脸识别的意义。 1. 特征提取在人脸识别中的重要性。
2. 特征提取的各种方法简单介绍。
人脸识别是人体生物认证技术的一种， 首先我们谈谈人体生物认证技术
人体生物的生物特征包括生理特征和行为 特征两大类。 ⑴人体的生理特征主要包括人脸、指纹、掌 纹、掌形、虹膜、视网膜、静脉、DNA、颅 骨等，这些特征是与生俱来的，是先天形 成的； ⑵而行为特征包括声纹、签名、步态、耳形、 按键节奏、身体气味等，这些特征是由后 天的生活环境和生活习惯决定的。 这些生物特征本身固有的特点决定了其在 生物认证中所起的作用是不同的.
人脸识别系统
人脸识别系统 数据采集 子系统 人脸检测 子系统 人脸识别 子系统 识别结果： He is …!
• 所谓人脸识别系统，是指不需要人为干预，能够自动获取 人脸图像并且辨别出其身份的系统 • 一个人脸识别系统至少要包含三个部分，即数据采集子系 统、人脸检测子系统和人脸识别子系统
人脸检测和人脸识别
(1)人脸检测（Face Detection）
人脸检测（Face Detection）是指在输入图像中确定所有人脸 （如果存在）的位置、大小、位姿的过程。人脸检测是自动人脸 识别系统中的一个关键环节。 (2)人脸识别 人脸识别细分为两类，一类是回答我是谁的问题，即辨认 （Identification），另一类是回答这个人是我吗？即确认 （Verification）。显然，用于Identification模式的识别系统 对算法的运算速度的要求要高于Verification模式的识别系统。
有特点的人脸课件PPT
《有特点的人脸》 课件
我们人类有哪些面部表情呢? 你能模仿出来吗?
五官是怎样表现这些表情的?
平静
愤怒
高兴
悲伤
小组讨论
如何表现人物的 脸部特点 ?
小组讨论：
1、先干什么后干什么 （绘画步骤） 2、绘画时需要注意什 么？
绘画步骤 脸型特征 五官比例
1、绘画步骤
⑴用中锋蘸淡墨 ⑵用侧锋重墨画 ⑶用淡赭石加水 勾出人物头部轮 出人物的头发。 染出肤色。 廓和五官。
的,而不是打发时间用的内容),每次上课时准备好的内容都应该 比实现计划教授的内容多一些,以保证每堂课的内容都是充分的。 2.教师一上课就应该立刻开始教学活动,直到下课学生离开教室 才结束。
3.事先准备一些简短、有趣的教学任务。如果需要在课堂上 布置任务,比如需要耗时三十分钟的短文写作,可以把整体任务 分解成几个更小的部分,并且带领学生一步一步完成每个部分。 记住,这种简短、有趣的任务要比一次需要耗费很长时间的任务 更能吸引学生的注意力。
相对地,假如你现在走进一位低效教师的课堂,你 可能会发现并不是所有的学生都分配了学习任务,总 有那么几个学生坐在椅子上无所事事。他们或许在 打瞌睡,或许在做些违反课堂纪律的事情。
总之,他们不是老老实实地坐在座位上听讲,而是急不可耐地 挨过上课时间，显然,你已经知道,从上课铃到下课铃的整个 课堂时段中,只有那些高效教师才能保持课堂不被琐事中断, 并且保证学生能够集中注意力。在高效教师的课堂上,没有 一分钟被浪费,没有学生无事可做。也正是因为这个原因,高 效的教师很少遇到有关课堂纪律的问题。 那么,高效教师是如何让整个课堂从头到尾一直保持饱满的 状态呢?他们仔细规划课堂上的每一分钟,以保证没有时间 被浪费;他们仔细规划讲课过程,力求简明扼要(因为他们知 道长时间维持学生的注意力是件很不容易的事。)他们为领 先的学生着想,他们也为后进的学生着想。
我们人类有哪些面部表情呢? 你能模仿出来吗?
五官是怎样表现这些表情的?
平静
愤怒
高兴
悲伤
小组讨论
如何表现人物的 脸部特点 ?
小组讨论：
1、先干什么后干什么 （绘画步骤） 2、绘画时需要注意什 么？
绘画步骤 脸型特征 五官比例
1、绘画步骤
⑴用中锋蘸淡墨 ⑵用侧锋重墨画 ⑶用淡赭石加水 勾出人物头部轮 出人物的头发。 染出肤色。 廓和五官。
的,而不是打发时间用的内容),每次上课时准备好的内容都应该 比实现计划教授的内容多一些,以保证每堂课的内容都是充分的。 2.教师一上课就应该立刻开始教学活动,直到下课学生离开教室 才结束。
3.事先准备一些简短、有趣的教学任务。如果需要在课堂上 布置任务,比如需要耗时三十分钟的短文写作,可以把整体任务 分解成几个更小的部分,并且带领学生一步一步完成每个部分。 记住,这种简短、有趣的任务要比一次需要耗费很长时间的任务 更能吸引学生的注意力。
相对地,假如你现在走进一位低效教师的课堂,你 可能会发现并不是所有的学生都分配了学习任务,总 有那么几个学生坐在椅子上无所事事。他们或许在 打瞌睡,或许在做些违反课堂纪律的事情。
总之,他们不是老老实实地坐在座位上听讲,而是急不可耐地 挨过上课时间，显然,你已经知道,从上课铃到下课铃的整个 课堂时段中,只有那些高效教师才能保持课堂不被琐事中断, 并且保证学生能够集中注意力。在高效教师的课堂上,没有 一分钟被浪费,没有学生无事可做。也正是因为这个原因,高 效的教师很少遇到有关课堂纪律的问题。 那么,高效教师是如何让整个课堂从头到尾一直保持饱满的 状态呢?他们仔细规划课堂上的每一分钟,以保证没有时间 被浪费;他们仔细规划讲课过程,力求简明扼要(因为他们知 道长时间维持学生的注意力是件很不容易的事。)他们为领 先的学生着想,他们也为后进的学生着想。
人脸识别与图像处理应用案例培训ppt与实际应用
人脸识别与图像处理应用案例 培训ppt与实际应用
汇报人:可编辑
2023-12-22
目
CONTENCT
录
• 人脸识别与图像处理概述 • 人脸识别技术原理及算法 • 图像处理技术应用案例分析 • 人脸识别与图像处理结合应用案例
分析
目
CONTENCT
录
• 人脸识别与图像处理技术挑战与发 展趋势
• 实际应用中的人脸识别与图像处理 技术优化策略
解决方案探讨
针对以上技术挑战，可以采取一些解决方案，如 使用更强大的计算资源、改进算法、引入深度学 习等。
未来发展趋势预测及前景展望
深度学习驱动的人脸识别技术
多模态融合的人脸识别技术
随着深度学习技术的不断发展，人脸识别 技术将更加准确和高效。
将不同模态的数据融合到人脸识别中，可 以提高识别的准确性和鲁棒性。
通过锐化滤波器对图像进 行卷积，增强图像的边缘 和细节。
图像分割技术应用案例
02
01
03
阈值分割
通过设定一个阈值，区域，对每个区域进行单独处 理。
边缘检测
通过检测图像的边缘，将边缘区域与其他区域进行分 割。
图像识别技术应用案例
人脸识别
文字识别
图像处理技术的应用
图像处理技术广泛应用于医学影像分 析、安防监控、智能交通、工业检测 等领域。
人脸识别与图像处理结合的意义
提高身份认证的准确性和效率
通过人脸识别技术，可以快速准确地识别个人身份 ，提高身份认证的准确性和效率。
拓展应用领域
人脸识别与图像处理的结合，可以拓展应用领域， 如安防监控、智能交通、医学影像分析等。
训练技巧
采用批量梯度下降、动量等优 化算法对模型进行训练，提高 模型的收敛速度和准确性。
汇报人:可编辑
2023-12-22
目
CONTENCT
录
• 人脸识别与图像处理概述 • 人脸识别技术原理及算法 • 图像处理技术应用案例分析 • 人脸识别与图像处理结合应用案例
分析
目
CONTENCT
录
• 人脸识别与图像处理技术挑战与发 展趋势
• 实际应用中的人脸识别与图像处理 技术优化策略
解决方案探讨
针对以上技术挑战，可以采取一些解决方案，如 使用更强大的计算资源、改进算法、引入深度学 习等。
未来发展趋势预测及前景展望
深度学习驱动的人脸识别技术
多模态融合的人脸识别技术
随着深度学习技术的不断发展，人脸识别 技术将更加准确和高效。
将不同模态的数据融合到人脸识别中，可 以提高识别的准确性和鲁棒性。
通过锐化滤波器对图像进 行卷积，增强图像的边缘 和细节。
图像分割技术应用案例
02
01
03
阈值分割
通过设定一个阈值，区域，对每个区域进行单独处 理。
边缘检测
通过检测图像的边缘，将边缘区域与其他区域进行分 割。
图像识别技术应用案例
人脸识别
文字识别
图像处理技术的应用
图像处理技术广泛应用于医学影像分 析、安防监控、智能交通、工业检测 等领域。
人脸识别与图像处理结合的意义
提高身份认证的准确性和效率
通过人脸识别技术，可以快速准确地识别个人身份 ，提高身份认证的准确性和效率。
拓展应用领域
人脸识别与图像处理的结合，可以拓展应用领域， 如安防监控、智能交通、医学影像分析等。
训练技巧
采用批量梯度下降、动量等优 化算法对模型进行训练，提高 模型的收敛速度和准确性。
人脸特征点定位及其应用 26页
AAM改进方法
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
系统运行界面
人物肖像画自动生成系统
系统结果
人物肖像画自动生成系统
系统分析总结
从系统的结果来看，对于大多数人脸图像，都可以得到相 应的肖像图
系统存在的一些问题和待改进的地方：
系统没有对耳朵进行处理
系统对头发的处理并没有考虑头发被分割成若干区域的情况。
谢 谢！
Thank you
1 k0
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
系统运行界面
人物肖像画自动生成系统
系统结果
人物肖像画自动生成系统
系统分析总结
从系统的结果来看，对于大多数人脸图像，都可以得到相 应的肖像图
系统存在的一些问题和待改进的地方：
系统没有对耳朵进行处理
系统对头发的处理并没有考虑头发被分割成若干区域的情况。
谢 谢！
Thank you
1 k0
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
CExMxMT
计算相似度
自适应阈值分割
（二值化）
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
AAM的缺陷
对彩色图像进行特征点定位时无疑忽略了色彩信息的作 用，可以充分利用肤色信息，使搜索过程加速。
一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构
6.939 9.351 6.376 9.004 8.782 4.224 8.684 6.213 5.951
65.6% 56.8% 65.5% 60.6% 59.9% 80.7% 62.5% 71.4% 73.5%
平均改进百分比
67.4％
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
人脸特征点定位及其应用
整体介绍
主要内容：
当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型
的改进方法。 介绍一个肖像画生成系统的设计及实现。
人脸特征点定位的概念
特征点定位系 统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
常用的几种特征点 定位算法
眼睛的双孔结构
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
人脸特征中点对心计定二的位值算5及图*相5其进邻似应行域度用去内噪统－音计使－处算肤用点理色法沈自保，象育进肤就动素平行色是的阈P二在个值B以值9数分9每，化01割一超10个过73肤半◆色数象时素中为心
基于肤色信息的AAM改进方法
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
用基于脸色信息的人眼 定位方法确定人眼
根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口
根据人眼位置确定AAM 模型的初始搜索姿态
使用AAM搜索算法， 得到特征点精确定位
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
性能比较
图 原模型定 改进后模 改进量占原
片
位间 型定位时间 来的百分比
1 22.662
5.221Байду номын сангаас
77.0%
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 总搜索时间比较
2
3
4
原方法
5
6
改进后的方 7 法
8
9
10
20.178 21.621 18.488 22.945 21.924 21.850 23.139 21.747 22.422
基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动
轮廓模型） 基于Active Shape Model（ASM，主动形
状模型） 基于Active Appearance Model（AAM，主
动表观模型）
由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行腐蚀 运算，去掉各区域
之间的细连线
用边缘跟踪算法 跟踪各区域的轮廓
对所有区域的轮廓 将二值图与“掩盖图” 进行种子填充，得 求异或，即可得到
到“掩盖图” 二值图中的所有孔
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
1 k0
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
14.9% 85.1%
粗略定位时间 精细定位时间
有很大的改进空间
基于肤色信息的AAM改进方法
肤色模型
采用YCrCb彩色空间进行分析
Y反映的是图像的明度，故只Cr,Cb分量分 析可以不受图像的亮度影响。
肤色像素在Cr-Cb空间中的分布相对很集中，可以 用Gauss分布来描述
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
调节c可以合成不同的人脸
常用的几种特征点定位方法
AAM搜索过程
对每一个比例、 位置、旋转角度 进行迭代搜索
粗略定位
得到粗 略定位
原图像
由计算公式 可得各特征 点的位置
得到 精细 定位
不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值
精细定位
常用的几种特征点定位方法
AAM搜索时间分析
基于肤色信息的AAM改进方法
高斯分布
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
肤色模型
所考察的像素和肤色的相似度：
象素的矢量 xC,rCbT 与高斯分布中心的距离
P(Cr,Cb)exp12xmTC1xm xCr,CbT，ME(x)
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
AAM改进方法
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
系统结构
肖像画自动生成系统
头发处理
合成
脸部器官处理
开发工具： Visual C++ 6.0，AAM-API
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
脸部器官处理过程
特征点定位 使用84个特征点
计算相似度
自适应阈值分割
（二值化）
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
AAM的缺陷
对彩色图像进行特征点定位时无疑忽略了色彩信息的作 用，可以充分利用肤色信息，使搜索过程加速。
一种基于肤色模型的人眼定位方法 眼睛在二值图像中的双孔结构
6.939 9.351 6.376 9.004 8.782 4.224 8.684 6.213 5.951
65.6% 56.8% 65.5% 60.6% 59.9% 80.7% 62.5% 71.4% 73.5%
平均改进百分比
67.4％
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
人脸特征点定位及其应用
整体介绍
主要内容：
当前常用的特征点定位方法，主要介绍AAM。 提出在人脸特征定位中基于肤色信息的AAM模型
的改进方法。 介绍一个肖像画生成系统的设计及实现。
人脸特征点定位的概念
特征点定位系 统
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
常用的几种特征点 定位算法
眼睛的双孔结构
基于肤色信息的AAM改进方法
AAM改进方法
基于肤色模型的人眼定位方法
人脸特征中点对心计定二的位值算5及图*相5其进邻似应行域度用去内噪统－音计使－处算肤用点理色法沈自保，象育进肤就动素平行色是的阈P二在个值B以值9数分9每，化01割一超10个过73肤半◆色数象时素中为心
基于肤色信息的AAM改进方法
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
用基于脸色信息的人眼 定位方法确定人眼
根据眼睛和脸部区域的关系获得 脸部区域范围，缩小搜索窗口
根据人眼位置确定AAM 模型的初始搜索姿态
使用AAM搜索算法， 得到特征点精确定位
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
性能比较
图 原模型定 改进后模 改进量占原
片
位间 型定位时间 来的百分比
1 22.662
5.221Байду номын сангаас
77.0%
1 0.9 0.8 0.7 0.6 0.5 0.4 0.3 0.2 0.1
0 总搜索时间比较
2
3
4
原方法
5
6
改进后的方 7 法
8
9
10
20.178 21.621 18.488 22.945 21.924 21.850 23.139 21.747 22.422
基于灰度及其变化信息 基于可变形模板 基于神经网络 基于Active Contour Model（Snake，主动
轮廓模型） 基于Active Shape Model（ASM，主动形
状模型） 基于Active Appearance Model（AAM，主
动表观模型）
由于人脸特征复杂性，及图像的多变性，目前仍然没有一个通用的方法
AAM改进方法
基于肤色模型的人眼定位方法
对二值图进行腐蚀 运算，去掉各区域
之间的细连线
用边缘跟踪算法 跟踪各区域的轮廓
对所有区域的轮廓 将二值图与“掩盖图” 进行种子填充，得 求异或，即可得到
到“掩盖图” 二值图中的所有孔
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
1 k0
对每个候选眼对进行模板 匹配，计算平均眼对灰度 与候选眼对所在区域灰度
的相似度
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
AAM改进方法
改进： 确定眼睛位置后，根据五官位置分布的规律性， 可以由此确定人脸的位置及方向，从而为AAM模 型的搜索提供一个较好的初始位置和大小，并且 可以缩小搜索窗口，从而减少AAM的搜索时间
14.9% 85.1%
粗略定位时间 精细定位时间
有很大的改进空间
基于肤色信息的AAM改进方法
肤色模型
采用YCrCb彩色空间进行分析
Y反映的是图像的明度，故只Cr,Cb分量分 析可以不受图像的亮度影响。
肤色像素在Cr-Cb空间中的分布相对很集中，可以 用Gauss分布来描述
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
调节c可以合成不同的人脸
常用的几种特征点定位方法
AAM搜索过程
对每一个比例、 位置、旋转角度 进行迭代搜索
粗略定位
得到粗 略定位
原图像
由计算公式 可得各特征 点的位置
得到 精细 定位
不断调整C，使 合成人脸的灰度 与图像灰度差达 到最小值
精细定位
常用的几种特征点定位方法
AAM搜索时间分析
基于肤色信息的AAM改进方法
高斯分布
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
基于肤色信息的AAM改进方法
肤色模型
所考察的像素和肤色的相似度：
象素的矢量 xC,rCbT 与高斯分布中心的距离
P(Cr,Cb)exp12xmTC1xm xCr,CbT，ME(x)
常用的几种特征点定位方法
基于AAM (Active Appearance Model)模型
AAM模型
形状
x x Q s c Q s 轮廓变化模式矩阵
脸部纹理 g g Q g c Q g 脸部纹理变化模式矩阵
由控制参数矢量c控制形状和纹理的变化，调节c可以得到 不同的形状和脸部纹理，从而合成不同的人脸
AAM改进方法
基于肤色模型的人眼定 位方法
获取获候取选候眼选对眼，，将对候每选个眼两两配对
若符孔合进下行列检条测件若，满则足为以候选眼对：
1.两下包条围件盒则不为相候交选眼：
2.两包1.平围均盒亮中度心小连于线8斜0率不超过阈值
3.两包2.包围围盒盒大大小小不超过 一定范围 阈值D
k0,
系统结构
肖像画自动生成系统
头发处理
合成
脸部器官处理
开发工具： Visual C++ 6.0，AAM-API
人脸特征点定位及其应用 －－ 沈育平 PB99011073◆
人物肖像画自动生成系统
脸部器官处理过程
特征点定位 使用84个特征点