基于皮肤电导的非线性情感特征提取研究_程静

［０］ ９］ ，皮 肤 电 活 动 受 到 与 唤 醒 、情 绪 平 ，汗腺腺体分泌活动增加 ，皮肤电阻水平 发 生 变 化 ［ ． Ｂ ｏ ｕ ｃ ｓ ｅ ｉ ｎ指出 １
下丘脑 、扣带回 、海马 ） 与控制觉醒的网状结构都与 和运动有关的 ３ 个系统的控制 ．控制情绪的边缘结构 （ 皮肤电活动相关 ．
： ／ ． ｃ ｎ ｋ ｉ ． ｘ ｄ ｚ ｋ ． ２ ０ １ ４ ． ０ ６ ． ０ ３ １ Ｄ Ｏ Ｉ １ ０ ． １ ３ ７ １ ８ ｊ
基于皮肤电导的非线性情感特征提取研究信息科学学院 ，重庆 ４ ０ ０ ７ １ ５； ２．西南大学 电子信息工程学院 ，重庆 ４ ０ ０ ７ １ ５ 摘 要 ： 皮肤电信号作为一种重要生理信号 ，已证明其中包含可靠情感信息 ．在实验室诱发情感生理信号过程中 ，采 ，据 此 情 感 重 评 按 键 文 件” 用 ２ 遍情感视频播放机制 ，在第二遍观看视频过程中获 取 了 记 录 被 试 主 观 情 绪 体 验 的 “ 可截取可靠的情感皮肤电信号 ．采用多种非线性分 析 方 法 ，计 算 相 应 的 非 线 性 特 征 ，如 最 大 Ｌ ａ ｕ ｎ ｏ ｖ 指 数 、关 联 ｙ ｐ 维 、近似熵 、递归定量分析和多重去趋势波动分析 等 ．基 于 所 提 取 特 征 ，采 用 多 种 分 类 器 ＫＮＮ， Ｆ ｉ ｓ ｈ ｅ ｒ判 别 ， Ｓ ＶＭ 进行情感识别性能的比较研究 ，结果显示 Ｓ ＶＭ 具有更好 的 分 类 精 度 ．之 后 ，采 用 Ｓ ＶＭ 分 类 器 比 较 传 统 的 统 计 特 征与非线性特征在识别目标情感性能上的差异 ，结果表明非线性特征能获得更好的识别精度 ．研究结果显示 ，基于 非线性特征构建情感识别模型是可行的 ． 关 键 词 ： 情感皮肤电信号 ；情感诱发实验 ；非线性特征提取 ； Ｓ ＶＭ （ ） 中图分类号 ：Ｔ Ｐ ３ ９ １ 文献标志码 ：Ａ 文章编号 ：１ ６ ７ ３ ９ ８ ６ ８ ２ ０ １ ４ ６ ０ １ ８ ６ ０ ９ － － －
“ 情感识别 ” 是情感计算的关键问题之一 ，是建立和谐人机情感交互环境的基础 ．人类的情感状态是内 在心理和生理变化通过外显的行为 、表情以及生理电信号等形式表现出来 的 ．因 此 ，情 感 识 别 就 是 通 过 分 析这些可观测的信号来间接推断出人的情感状态 ．比较于面部表情 、语音和 身 体 姿 态 而 言 ，生 理 信 号 能 够 更加诚实地反应用户在情绪状态下自主神经的工作模式 ，因而基于生理信号的情感识别受到大多研究者的
［１］ 人体的皮肤电信号与情绪有着较为密切的关系 ． 曾用 带 有 不 同 情 感 色 彩 的 字 作 为 刺 Ｄ． Ｗ． Ｄ ｓ ｉ ｎ ｅ ｒ１ ｙ ｇ
激材料 ，比较不同字对 Ｇ Ｓ Ｒ 的影响 ．实验字是从最愉快 、无关中性到最不愉快的字词中选出一部分分别呈 现 ，被试者根据自己的情感体验进行报告 ．结果发现愉快和不愉快的字刺激对应的 Ｇ Ｓ Ｒ 都有所增高 ，而中
２ 情感皮肤电信号的数据采集和预处理
为了采集不同情绪状态的 Ｇ Ｓ Ｒ 信号 ，我们在实验室环境诱发被试的目标情感 ，同时获取相关数据 ，包 括多路生理信号 、主试访谈 、被试的 “ 情感体验量表 ” 等 ．情感生理信号采集的基本流程如图 １ 所示 ．
１ ８ ８ ２ ． １ 情感诱发实验 ２ ． １ ． １ 被 试
］ １－３ 关注 ［ ． ］ ４－５ 大量的研究表明 ，皮肤电中包含可靠的 情 感 信 息 ，是 情 感 反 应 中 常 用 的 测 量 指 标 ［ ．目 前 基 于 皮 肤
电的情感识别研究 ，主要是采集皮肤电 的 时 域 、频 域 的 统 计 特 征 ，在 此 基 础 上 进 行 目 标 情 感 的 分 类 识 别 ． 这些方法忽略了皮肤电作为一种典型的人体生理信号 ，具有非线特性的事实 ，仅仅提取统计特征无疑会忽 略皮肤电信号的非线性特性 ，有可能 降 低 目 标 情 感 的 识 别 效 果 ．为 此 本 文 提 取 了 皮 肤 电 的 ２ ４组非线性特 ， 征 ，并与传统的统计特征在情感识别效果上进行对比 ，基于 Ｆ ｉ ｓ ｈ ｅ ｒ ＫＮＮ 和 Ｓ ＶＭ 等多种分类器 ，建立了基 于非线性情感特征的识别模型 ．论文结构安排如下 ：第一部分 ，理论基础和相关研究综述 ；第二部分 ，介绍 ， 情感皮肤电信号数据采集的实验方案 ；第三部分 ，介绍非线性特征提取方法 ；第四部分 ，基于 Ｆ ｉ ｓ ｈ ｅ ｒ ＫＮＮ 和Ｓ ＶＭ 分类器进行目标情感识别比较研究 ；第五部分 ，基 于 统 计 特 征 和 非 线 性 特 征 在 目 标 情 感 识 别 精 度 上进行比较研究 ；第六部分 ，小结和展望 ．
①
收稿日期 ：２ ０ １ ３ ０ ８ １ ２ － － ） ；中央高校创新团队项目 （ ） 基金项目 ： 教育部科学技术研究重大项目资助 （ ３ １ １ ０ ３ ２ Ｘ Ｄ Ｊ Ｋ ２ ０ １ ３ Ａ ０ ２ ０ ． ，女 ，贵州贵阳人 ，博士研究生 ，副教授 ，主要从事情感计算 、基于生理信号的情感识别的研究 ． 作者简介 ： 程 静 （ １ ９ ７ ７ －）
１ 理论基础和相关研究
１ ． １ 基于生理信号进行情感识别的理论基础 在众多的情绪理论中 ，詹姆士 · 兰格的情绪理论与我们的研究密 切 相 关 ．他 们 的 观 点 是 ：对 外 周 生 理 反应的觉知就是情绪 ．根据他们的理论 ，当情绪刺激发生后 ，首先出现生理反应 ，如心跳加速 、身体 发抖 、
／ ／ 西南大学学报 （ 自然科学版 ） ｔ ｔ ｘ ｂ ｂ ｂ ． ｓ ｗ ｕ ． ｃ ｎ ６卷 ｈ 第 ３ ｐ： ｊ
被试均来自西南大学大一新生 ，平均年龄 ２ ０ 岁 ，男 女比例各占 ５ ０％．在实 验 开 始 之 前 ，被 试 需 要 进 行 艾 森 克人格测试 ，并签 署 知 情 同 意 书 ．只 有 健 康 状 况 满 足 要 求的被试才能进行后续实验 ． ２ ． １ ． ２ 情感诱发素材 本实验采用电影 视 频 剪 辑 作 为 情 感 诱 发 素 材 ，诱 发 被试的高兴 、悲伤 和 恐 惧 ３ 种 目 标 情 感 ．一 个 独 立 的 实 验只诱发一种目标情 感 ，而 相 应 的 视 频 素 材 则 需 要 播 放 ２ 遍 ，其间以风景和轻音乐进行间隔 ．被试第一遍观看视 频 ，要求被试仔 细 体 验 视 频 中 所 包 含 的 情 感 ，第 二 遍 观 看视频 ，被试需 要 对 自 身 体 验 到 的 情 感 进 行 评 价 ．图 ２ 显示了情感诱发视频剪辑的编排方式 ． ２ ． １ ． ３ 多路数据的同步采集 采用 Ｂ ｉ ｏ ａ ｃ ＭＰ １ ５ ０，在视频播放的同时 ，同步记 录 ｐ 、皮 肤 电 信 被试的多路生理 信 号 ，包 括 心 电 信 号 （ Ｅ Ｃ Ｇ） 、脉 搏 率 （ ） 、血 氧 饱 和 度 （ 号（ Ｇ Ｓ Ｒ） Ｐ ｕ ｌ ｓ ｅ Ｒ ａ ｔ ｅ Ｏ ｘ ｅ ｎ ｙ ｇ ） 其 中 皮 肤 电 将 通 过 食 指 和 中 指 电 Ｓ ａ ｔ ｕ ｒ ａ ｔ ｉ ｏ ｎ ｏ ｆ Ｂ ｌ ｏ ｏ ｄ．
［２］ 用讲鬼怪故事 、戏剧等方式引起被试者的情绪变化 ，发现被试者的情感体验强度 性词最低 ． Ｅ ． Ｐ ａ ｔ ｔ ｅ ｒ ｓ ｏ ｎ１
） 和Ｇ Ｓ Ｒ 之间有明显的正相关 （ Ｒ ＝０ ． ５ ５～０ ． ８ ５ ．正因如此 ，皮肤电常被作为评价情绪唤起水平的指标 ，已 广泛应用于测谎 、情感识别等领域中 ． １ ． ３ 生理信号非线性特征计算的相关研究 当前大多数基于生理信号的情感识别研究 ，都是提取生理信号时域或频域的统计特征 ，再行相应的模 式识别 ．这些研究大都忽略了生理信号具有非线性特性的事实 ，将非线性方法应用于情感生理信号的研究 少之又少 ．而事实上 ，人体作为一个复杂非线性 系 统 的 结 论 ，早 已 在 生 物 医 学 工 程 、神 经 科 学 等 领 域 得 到
［３］ 证实和广泛应用 ． 首次将非线性动力学和混沌理论应用在脑电信号的分析上 ，并 １ ９ ８ ５年， Ｂ ａ ｂ ｌ ｏ ａ ｎ ｔ ｚ等 １ ｙ
采用 Ｗ 得出人类睡眠的脑电信号是混沌信号这一结论 ．文献 ［ １ ４］ ｏ ｌ ｆ方 法 计 算 了 心 率 变 异 和 脉 搏 变 化 率 这 ， 两路生理信号的最大 Ｌ ａ ｕ ｎ ｏ ｖ 指数 结果显示最大 Ｌ ａ ｕ ｎ ｏ ｖ 指数对小数据量具有鲁棒性和可靠性 ，能够 ｙ ｐ ｙ ｐ ］ 计算心电信号的 Ｌ 作为心脏病的诊断指标 ．文献 ［ １ ５ ａ ｕ ｎ ｏ ｖ 指数谱 ，并采用主成分聚类方法对 Ｌ ａ ｕ ｎ ｏ ｖ ｙ ｐ ｙ ｐ 指数谱进行分析 ，结果显示 Ｌ ａ ｕ ｎ ｏ ｖ 指数谱比单一的 Ｌ ａ ｕ ｎ ｏ ｖ 指数更能体现心脏系统整体的特性 ，可以 ｙ ｐ ｙ ｐ 有效地预测心脏病的发生 ．文献 ［ 对不同精神状态的被试进行了 Ｅ １ ６］ Ｅ Ｇ 信号的采集 ，并提取了多个非 线 性特征 ，如关联维 、最大 Ｌ ａ ｕ ｎ ｏ ｖ 指数 、Ｈ ｕ ｒ ｓ ｔ指数以及近似熵等 ，结果显示认知活动中被试的关联维将 ｙ ｐ 显著提高 ，而在声音或视频刺激的环境下 ，关联 维 数 将 降 低 ，大 脑 中 同 步 信 息 加 工 活 动 减 少 ，大 脑 更 趋 于 ］ 放松 ．文献 ［ 研究了随着年龄增长生理信号复杂性的变化 ，该文采用复杂性分析方法 ，对 ４ １ ７ ４ 个被试的两 、条 件 熵 （ 组（ 年老组和青年组 ） 心率数据进行了分 析 ，采 用 的 计 算 指 标 有 申 农 熵 （ 和归一化复杂度 Ｓ Ｅ） Ｃ Ｅ） ） 指标 （ Ｎ Ｃ Ｉ ．结果显示 ，两组的 Ｓ Ｅ 分布模式相似 ，年老组的 Ｃ Ｅ和 Ｎ Ｃ Ｉ呈下降趋势 ，年老组表现了更多的 ］ ，对人体行走的步幅间隔的标度指数进行了研究 ，发 现 采用去趋势波动分析 （ 自相似模式 ．文献 ［ １ ８ Ｄ Ｆ Ａ） 采用傅里叶变换后的去波动步幅间隔具有长程相 关 性 ．文 献 ［ 研究了关于神经元振荡的 Ｅ １ ９］ Ｅ Ｇ 信号的长 程时间相关性 ，通过进行 Ｄ Ｆ Ａ 分析发现 ， α振 荡 和 β振 荡 长 程 相 关 性 在 枕 叶 和 顶 叶 区 域 具 有 最 大 尺 度 ， α 振荡的长程相关性强于 β 振荡 ；两种振荡频率下 ，男性长程相关强于女性 ，该特性不受年龄影响 ． 综合以上研究可以看到 ，非线性方法在生理信号领域的研究 ，已有 大 量 的 成 果 可 供 应 用 ．但 是 这 些 研 究大多是基于健康状态和病理状态进行的 ，鲜有对情感状态下生理信号的 非 线 性 分 析 ．因 此 ，我 们 借 鉴 生 物医学工程等领域的非线性方法 ，提取皮肤电信号的多种非线性特征 ，构建情感识别模型 ．