情感语义图像检索技术研究
基于语义的中药图像检索技术的研究
表 １ 语 义 图像 分 类 结 果
到中药 图像 的类 别从 而 知道 了该 中药 图像 所显 示
的 中药 内容 ， 即此 幅图像 的语 义 ， 样 就可 以推断 这 这 幅 图像 的语义 内容 ． 如 ： 例 通过 对一 幅 中药 图 像 分析 ， 就可 以统计 出此 药 物 的所 属类 别 ， 特点 其 是 以什 么为 主． 中医药 的数 字化提 供基础 ． 为
｛ 收 稿 日期 ：０ １ ＿７ ２ １ ４ｏ
作者简介： 翟广字（ ９ ８） 男 ， 】７ 一 ， 山东 淄博人 ， 讲师 ， 硕士生
第 ３期
翟 广 宇 等 ： 于 语义 的 中药 图像 检 索 技 术 的研 究 基
・ ３・ ４
物的一片 叶子 ， 些 中药 图像 中需 要 对 中药 的特 有
ｉ ：１ － Ｅ ＝１ Ｊ
函数 Ｈ用于计 算帧 中像素点 的色调 值 ．
经过 预处 理 阶 段 提 取 出的 完 整 图像 ， 以在 可
判 决 函数 为 ：
）＝ｓ ［ ｉＫ ｘ ） ｂ】 （ ） ｇ ∑ｏ （ ， ＋ 。． １ ｎ ｌ ｙ ０
Ｓ Ｍ最 初 是 为 ２类 分 类 问题设 计 的 ， 以需 Ｖ 所
高级 语义 层 对 中 药种 类 信 息 进 行 规 约 ． 同 的 中 不
药种 类具有不 同的外形 特 征 、 色特 征 、 置 特征 颜 位 等语 义特 征差 异 ． 采用 领 域 知 识 规 则 介 入 分 类 特
要 的 ｋ ｋ一１ ／ 分类 器 ， 中 ｋ为 类别 数． （ ） ２个 其 每一 个 Ｓ Ｍ 分类 器 以元 分类 器 形式 存 在 ， 练 时将 所 Ｖ 训 有 的其 它类别 作为 反例去训 练支持 向量机 ＿ ． ４ Ｊ
基于内容的图像检索技术综述
矩阵 分析法 、马 尔可夫分 析法 、多 Ｒ鹰 向回 ９ １ＭＲＳＡ Ｒ 模型以及 遗传算法 等。 － Ｔ ｍｕ ａ等从人类感知心理 学的角度提 出 ａ ｒ （Ｉ）基 于颜 色特 征 的检 索 纹理的 ６种视觉特性 ：粗纹度、对比 度、 颜色特 征是 图像最 直观而 叫 硅的特 征，一 啦采 用直方 图来描述 。颜 色直 方 方向性 线性 度 ，规则 度和粗糙 度。 该 纹理特 征表示 具有 实际 的视觉意 义 ，可 圈是 表示 图像 中颜 色 ＂巾 的 一种 方法 以 为 图像检 索提 供更 好的 用 户交 互性 。 它的横轴 表示 颜 色等缎 ．纵轴表 示扯 某 同时 ，南于 纹理 很少 能提 供 语义 信息 ， 个颤色等级 上具有该颜 色的溆素在 整幅 描述 比较 困难 。因此通 常作 为检索过 程 图像 中所 占的比侧 ，直方 图颜 邑空 间巾 的 辅助 手 殴或 者和其 他特 征 结合 使 用 的每一个刻度表示了颜色空 间中的一种颜 冉 对纹理的榆索都采用示例查询（ ｅｙ 殳 ｑｕ ｒ 色 。采用直 方图 计算圈像 问的 十 似性 比 日 Ｂ ｘ ｍＩ ） ｙ Ｅ ａ Ｊ 方式。用户给 出示例的垒部 ｌ ｅ 较简 单 ，但 它不能 反映 图像中 对象的 空 或部 甜区域 特 征 ，从而 找到 类 似图 像 间特 征 直方 图交叉的丰 似性 度量最 早 目 是 由 Ｓ ｉ 和 Ｂａｌｄ 于 １ ９ 年 提 出 的 ， ｗａｎ ｌ ａ ９１ 另外 为 丁缩 小纹理 的查找范 围 ，还可 所有的基于直方图的｛ 似性度量都是基于 以考察纹 理的 颜 色特 征， 以便把检 索空 目 间缩 小刊 某个 颜色范 围。 选种 概念 的 ，改进的 度量 包括 直 方圈的 （ ４）基于图像 的语 义特征的 检索 累加 测量 ，以 致在 直方圈的 相似性 度盛 现行的商用系统通常采用关系型数据 时加八窀 间位置信息和基于区域的颜 邑查 库 ，这些 系统 巾图 像的属性 包括 图像来 询。颜 色的检索 一般 应用于 色彩较 为丰 源 拍摄时 间和地 点、蝶 介类 型，分辨 富 的 自然 圈最的检 索中 。 率 、输 八设 备、压缩 方式 以及与 图片相 （ ｝ 基 于 形 状 特 征 的 检 索 ！ 和颜 色 纹 理相 比 形状特 征 显得 关的注 释信息 ，注 释信息 对于 用户来说 是非 常 自然 的描述 ，这些特 征 都属于 图 更 为直观 ．ｆ 且便 于 交互描 述 。 同时 ． 像的 语 义特征 。 般 的 图 豫 ，很 少 是 单颜 色 或 单纹 理 目前图像检索的 主要障碍是难以描述 的 ，昕以 用颜 色或纹 理进 行描 述时 ．往 斟像 的语 义信息 ，在此 背景 Ｆ提出 了一 往需 要甜匠域 ，这就 必然 要求颜 色或纹 种根据相关图像的语义和图像之间的语丑 理特 征与 形状 特征相 结合 。所 以形状特 关 系．反映 Ｉ的 图像语 义的方 法。 围像 ｇ ｌ 征庄 图像 检索过程 中显得十分 必要 之间的语 义关 系通过语 义链表 示， 多种 采用 眩特征进行检索时 ，Ｊ 通过勾 ｆ ＝ ｊ 类 型的语 殳链构 成基于语 义链 的图像 网 勒圈像的形状 或轮 廓．从圈缴库中检索出 二 形状粪似的图像；基 ］此特征的检索方法 络 。基 ］语 义链 的推理 规则主要 用干辅 二 助 智能 图像检索 ，基 于语义的 图像检 索 有两种：１分割 图像经过边缘提取后 ， ） 得到 方法 和传统方 法相比具 有以下特点 ： 目标图像的轮廓线．针对这种轮廓线进行 １】检索 结果 不是孤立 的图像列 表． 的形状特 捡素。２ 直接针对图形寻找适 ） 而 是基于语 义的相 关图像或 图像碎片的聚 当的矢量特征 用于检索算法 但处理这种 合 ｛ 结构化枪索更为复杂． 需做 更多的预处理 。 ２ ）用ｐ可以根据 语义链确定的路径 【 ３ １基干 纹理特征的检索 湖 览图 像 ，并进 行推 理 。 纹理是 所有事 物表 面固有 的 一种特 现阶段 ，基千语义的 Ｗｅ ｂ图像检索 性 ，也是 图像检索 中一 个重要 而 叉难以 方法已经在情启 网格和知识网格 平台得到 ， 描述 的特 性。 图像可 以看成是 同纹理 实现 ，正 交的语义空 间进 一步提 高 ｒ翻 区域的组 合 ．纹 理通 常定 义为 图像 的 某 像检 索的效果 和智能 性。 种局部性 质 ，或是对 局部 域 中像素之 间关 系的一种 度量 。纹理 特征可 阳来 甜 图像中的空间信息进行 一定程度的定量描 下转 摹 １ ６ 页 ２ 述。纹 理统计特 征分 析方 法主要有 共生 图像帻索 。
Internet中图像检索技术的研究
１图像检索技术 的两个 阶段
一
以提高 检索 的效率 。图像的 ３相关反馈提高检索效果 两个 方面 的问题 ： 一是这种 方法 需要较 多的人 建立相应 的索 引 ， 虽然低 层特征和 高层的语 义特征相结 合 ， 工参与 ， 而且随 着图像 数 目的增加 ， 这种方法很 特征 分为 两种 ： 种是 图像 的低 层特征 ， 图 一 如 不过检 难实现 第二个问题在于 图像所包含的信息量庞 像的颜 色 、 纹理 及其形状 等 。 另外一类特征 则 在 一定程度 上提高 了图像 检索的效 果 ， 索 系统的性 能还是不 太令人满意 ， 主要原因 其 大 ， 同的人对于同一张图像的理解也不相 同， 是 图像的 语义特 征 。 不 对 于 图像 的低层特 征 ， 主要采用 的是 图像 有以 下几 个方面 ： 这就 导致对 图像 的标注 没有一 个统 一的标 准 ， （） 目前一些 流行的搜索 引擎来看 ， 户 １从 用 因而检索 的结果 不能很好地符合 用户的需求。 的颜色 、纹理 及其形状 等特征 。其中 ， 色特 颜 ～３个关 键字 ， 这 而 基于 内容 的 检索 不同 干基 于关 键字 的 检 征和 图像的 大小、方 向无关 ， 且对 图像 的背 提交 的查询 的平均 长度 为 ２ 因此颜 色特征被 广泛应用干 图 种短查询难 以完全 表达用 户的需求 ， 导致检索 索， 它不需要过 多的人工参与 ， 而利用 图像 自身 景颜 色不敏感 ， 像检索 。 颜色特 征 中包 括颜色 直方 图、 颜色相 结果 与 用 户的 需 求差 异较 大 。 的特征（ 如颜色 、纹理、形状等 ） 来进行检索 ， 具 颜色矩 等 。 纹理特 征代表 了物体 的视觉 （） ２ 在数据 库 中存 储的索 引都是根 据收集 有较 强的客 观性 。但 是 ， 由于这些特 征并不 代 关 图、 这些文字 表 图像真正 的语义信 息 ， 基于 内容的检索结 果 模式 ， 它包含 了物体表 面的组织 结构以及 与周 到的 图像 的各种相 关文字来建 立的 ， 与用 户所使用的词 往往 不令 人满意。 因此 目前大 多数 系统还是基 围环境 之间 的关 系 。常用 的方 法有 相关矩 阵 是从作者 的角度来描 述的 ， 于关键字 的检索 ， ｌ Ｖ ｓ 、 ａ ｏ 、 ｉ ｏ 法 ， 糙 度 、对 比度 等纹理 表示 方法 ， 如Ａ ｔ ｉ ａ Ｙ ｈ ｏ Ｄ ｔ 等。 ａ ｔ ｔ 粗 以及小 之 间 存在 一 定 的 差 异 。 为此 ， 本文提 出 了一种 在 Ｉ ｔｒ ｅ 上进行 波 变换等 。形 状特征 则包括 两种 ， 种是基干 ｎｅｎｔ 一 （） ３由于 一张 图像 中存在很多信息 ， 而且不 这 图像检索 的新 方法 ， 它把 基于关键字 的检索 和 边界 的形状特征 ， 另外 一种则 是基于 区域 的形 同的用 户对同一张 图像的 认识差异也很 大 ， 不 基于内容 的检索相结 合 ， 并引入 了用户的相 关 状 特征 。最 成功 的表 示方 法有 傅利 叶变 换和 就使得 即使是相 同的查询 ， 同用户希望得 到 反馈 来优 化检 索结 果 。在 下文 中将介 绍如 何 不 变矩 等 。这些 低 层的特 征将 通过 各种 方法 的 结 果 差 异也 很 大 。 （） ４ 由于低 层特征 并不 反映 图像真正 的语 在 Ｉｔ ｎｔ ｎｅ ｅ 中收集 图像 、 ｒ 建立索 引以及进行 检 抽 取 出来 ， 并形 成一组 特征 向量 ， 建立 相关 索 索 。并将 介绍如 何结 合用 户的交互 ， 用相 关 利 反馈来提 高检索 的结果 。 义 信息 ， 此 当用 户提 交一 张 图像 作 为查询 因 系统 很难找 到 用户真 正想要 寻找 的 图像 。 由于低 层的特 征 并不 直接 代表 图像 的 语 时 ， 义 信息 ， 因此 我们还 将抽 取 图像 的 语义特 征 。 这些 问题导 致 自动 的 图像检 索效 果不 能 许 我 们采 用在 网 页中 与图像 相关 的文 字信 息来 令 人满 意 。 因此 ， 多 系统 都 引入 了人 的 交 引并存储 到数 据库 中。
图像检索研究进展
。
图像检索是多媒体信息检索的一个重要组 成部分 ， 同时
本描述是一种定性 的描述 ， 描述 能力有 限。图像 中则往往 含
有 大 量 需 要 定 量 描述 的信 息 ， 且 许 多 图 像 的 特 征 难 以用 文 而 本描述表达。同时， 本 描述还 具有一 定 的主观性 ， 文 由于 图 像 内容 的丰 富性 以及 不 同 人 理 解 和 兴 趣 的差 异 ， 致 内容 描 导 述 具 有 很 大 的 主 观 性 ， 此 ， 于 文 本 的 图像 检 索 有 时 会 产 因 基 生歧义 。
维普资讯
第 ８卷 第 ２期 ２０ ０ ８年 ６月
南 京 工 业 职 业 技 术 学 院 学 报
Ｊｕｎｌ ｆ ａｊ ｇＩｓ ｔ ｅｏ ｄ ｓｙＴ ｃｎｌｇ ｏ ｒａ ｏ Ｎ ｎ ｎ ｔｕ ｆ ｎ ｕｔ ｅｈ ｏ ｙ ｉ ｎ ｉｔ Ｉ ｒ ｏ
进展 。
（ ）文本描述难 以实现基 于 图像 视觉特 征 的相 似性检 ２
索 。基于文本 的图像检索方 法， 本质上就是 计算检索请求条
件与媒体文本描述之间的相似度 ， 这就涉及 到 目前尚未解决 的 自然语言理解 问题 ， 尽管 目前实现的 系统 中主要采用 同义 词词典来使 问题得 到简化 ， 但是 ， 同时 也使检 索的表 达能力
２ ２ 基 于 内容 的 图像 检 索 ．
由于图像数据规模不断膨胀 ， 为了克服基于文本 的图像
检 索方 法 的 局 限 性 ， 出 了 基 于 内 容 的 图 像 检 索 技 术 （ ｏ— 提 Ｃｎ ｔｎ ＢｓｄＩ ａｅＲ ｔｅａ， ＢＲ ， 种 技 术 融 合 了图 像 理 解 ｅｔ ａｅ ｍ ｇ ｅｒｖｌＣ Ｉ ） 这 ｉ 技 术 ， 而 可 以有 效 提 高 检索 效 果 。 从
基于网页的图像检索技术研究
科技信息2008年第26期SCIENCE&TECHNO LO GY INFORMATION关于图像检索的研究可以追溯到20世纪70年代,当时主要是基于文本的图像检索技术(T ex t-based Imag e Retriev al,简称T BIR),利用文本描述的方式表示图像的特征,这时的图像检索实际是文本检索.到90年代以后,出现了基于内容的图像检索(Co ntent-based Image Retriev al,简称CBIR)。
但实践证明,TB IR和CBIR这2种技术远不能满足人们对图像检索的要求。
为了使图像检索系统更加接近人对图像的理解,研究者们又提出了基于语义的图像检索(Semantic-based Image Retrieval),试图从语义层次解决图像检索问题.下面分别对这3种技术进行阐述。
1.基于文本的图像检索1.1早期的T BIR基于文本的图像检索沿用了传统文本检索技术,是一种基于关键词的匹配查找过程。
这种方法简单易行,用DBM S就可以实现,但存在2个缺点:一是需要手工对图像进行注释,工作量相当大;二是手工标注不可避免地会带来主观性和不精确性。
1.2In temet环境下的TB IR在Internet环境下,人工对网上的海量图像数据进行注释是不现实的。
随着信息检索技术的不断成熟,网页信息自动采集和标引作为搜索引擎的重要组成部分,得到了深入的研究,并广泛应用于文本搜索引擎中。
自动采集和标引技术同样可以应用于图像搜索引擎。
目前,Internet上许多搜索引擎在提供文本检索的同时,也提供图像检索服务,如Goo gle,Yaho o和百度等,它们采用的都是TBIR技术。
1.3小结T BIR技术能够用文本来表达图像的语义信息,符合人们的检索习惯,实现简单,可以充分利用已有的成熟的文本检索技术和搜索引擎技术,但也存在许多缺点,首先,以图像所在的网页为依据,对图像进行自动标注,这种标注往往是很不准确的。
基于盲取证的医学图像检索及语义表达研究综述
Ｅ ｍａｌ ｅ ｕ ＠Ｃ Ｃ ． ｅ ．ｎ — ｉ ｄ ｆ Ｃ Ｃｎ ｔ ： ｃ ｈｔ ： ｗ ． ｎ ｓｎ ｔ ｎ ｔ ／ ｗｗ ｄ ｚ ． ｅ ． ｐ／ ｃ Ｔ ｈ ８ — ５ 一 ６ ０ ６ ５ ９９ ４ ｅ＋６ ５ｌ５９９３ ６Ｏ６
Ｃ ｍｐ ｔｒ ｎ ｗｅ ｇ ａ ｄＴｃｎ ｌ ｙ电脑知识与技术 ｏ ｕｅ Ｋ ｏ ｌｄ ｅ ｎ ｅ ｈｏｏ ｇ
得切 入 的 几 个 问题 点 。
关键 词 ： 盲取证 ； 医学图像检 索； 语义表 达
中图分类号： Ｐ ０ 文献标识码： 文章编号 ：０ ９ ３ ４ （０２２ — ４ ０ ０ Ｔ ３９ Ａ １０ — ０ ４２ １ ）２ ５ ５ — ４
Ｒｅ ｅ ｒ ｈ ｏ ｅ ｉａ ｍａ ｅＲｅ ｒｅ ａ ｎ ｅ ｎ ｔ ｐ ｅ ｓｏ ｓ ｄ ｏ ｉ ｄ Ｆ ｒ ｎ ｉｓ Ａ ｖ ｅ ｓ ａ ｃ ｎＭ ｄｃ ｌ Ｉ ｇ ｔ ｉｖ ｌ ｄ Ｓ ｍａ ｉ Ｅｘ ｒ ｓｉ ｎ Ｂａ ｅ ｎ Ｂｌ ｏ ｅ ｓｃ ｏ ｗｏ ＧＤ， ｏ ｔ ｈｎ ｉｖ ｒ ｔ ｆ ｅ ｈ ｏｏ ｙ Ｇｕ ｎ ｚ ｏ １ ６ ２ Ｃ ｎ ； ．ｃ ｏ ｌ ｆ ｍｐ ｔ ｃｅ ｃ ， ａ ｇ ｌ Ｓ ｕｈ Ｃ ｉ ａ Ｕｎ ｅ ｉ ｏ ｃ ｎ ｌｇ ， ａ ｇｈ ｕ５ ０ ４ ， ｈ ａ ３ ｈ ｏ ｏ ｓ ｙ Ｔ ｉ Ｓ Ｃｏ ｕｅ Ｓ ｉ ｅ Ｃ ｍｅ ｅＭｅ ｒ ｎ ｉ － ｌｎＵｎｖ ｒ ｔ， ｉ ｓｕ ｇ ， Ａ １ ２ ３ ＵＳ ） ｏ ｉｅ ｉ Ｐ ｔｂ ｒｈ Ｐ ５ １ ， Ａ ｓｙ ｔ
Ｖｏ ． ， ． ２ Ａｕ ｕ ｔ ０１ ． １８ Ｎｏ２ ， ｇ ｓ ２ ２
基于盲取证的医学图像检索及语义表达研 究综述
张 丽， 余， 丽 刘昌
计算机图像处理中的图像检索与图像分类算法
计算机图像处理中的图像检索与图像分类算法计算机图像处理是计算机科学领域中的一个重要分支，主要涉及到对图像进行获取、处理、分析和理解等方面的工作。
在这个过程中，图像检索和图像分类算法是两个关键的研究方向。
本文将介绍计算机图像处理中的图像检索与图像分类算法的原理和应用。
一、图像检索算法图像检索算法旨在根据用户输入的查询信息，从一个大规模的图像数据库中找到与查询图像相似的图像。
图像检索算法主要分为两种类型：基于内容的图像检索和基于上下文的图像检索。
1. 基于内容的图像检索基于内容的图像检索算法是利用图像中的视觉特征进行相似性匹配。
常见的视觉特征包括颜色、纹理、形状等。
其中，颜色直方图是一种常用的描述颜色特征的方法。
通过计算图像的颜色直方图，并与数据库中的图像逐一比较，可以得到相似度最高的图像。
2. 基于上下文的图像检索基于上下文的图像检索算法是通过图像中的语义信息进行相似性匹配。
它利用图像的语义标签或者图像的文本描述进行检索。
例如，给定一张含有"夏天风景"的图像作为查询图像，算法将从数据库中检索出与夏天风景相关的图像。
二、图像分类算法图像分类算法是将图像归类到不同的类别中，常见的算法包括支持向量机(SVM)、卷积神经网络(CNN)等。
1. 支持向量机(SVM)支持向量机是一种常用的机器学习算法，可以用于图像分类。
它通过将图像映射到高维空间中，构造一个最优的超平面，从而实现不同类别图像的分离。
2. 卷积神经网络(CNN)卷积神经网络是一种深度学习算法，目前在图像分类领域取得了巨大的成功。
它通过多层卷积、池化和全连接等操作，在学习过程中自动学习图像的特征，并将图像分类到不同的类别中。
三、算法应用图像检索与图像分类算法在许多领域中都有广泛的应用。
1. 视频监控在视频监控领域，图像检索算法可以帮助快速检索并定位目标人物或物体。
通过将待检索图像与监控视频中的图像进行比对，可以准确地找到所需的信息。
图像检索课件演示文稿(共71张PPT)
• 规整度 • 光滑度
2.纹理特征匹配
1）基本原理：
• 粗糙度反映纹理的尺寸
2.纹理特征匹配
1）基本原理：
• 对比度反映纹理的清晰度
2.纹理特征匹配
1)基本原理：
• 方向反映实体是否有规则的方向性。
包含多个纹理区域的图象
纹理是以像 素的邻域灰 度空间分布 为特征；
是图像强 度局部变 化的重复 模式
基于结构特征的纹理分析 Content-Based Image Retrieval
举例：用颜色特征模板进行检索
语包义含特 多征个：纹场理景区到、域事的件图9、象0情年感等代以后，出现了对图像的内容语义，如图像 的颜色、纹理、布局等进行分析和检索的图像检索 技术，即基于内容的图像检索。
综合利用颜色、纹理、形状特征，逻辑特征和客观属性等，实 现图像检索
3个瓶有透明液体
3 基于内容的图像检索
• 传统的图像检索方法
– 标引文字的检索的局限性是：
图片的标引文字主要靠人工输入。 • 对大数据量的场合（如Web资源、数字图书馆等）应用困
难
标引文字无法精确完整的刻画图片内容 • 文字描述一维线性的媒体，而图片是二维非线性的媒体
• 生成或利用元数据的过程实质是在两种差异很大的媒体间 的翻译过程，有很大的随意性和信息损失
一些典型的纹理图象
2.纹理特征匹配
2)匹配方法： • 基于统计特征的纹理分析——共生矩阵，心理学特征等 • 基于信号处理的纹理分析——小波变换，Gabor滤波器
等
• 基于结构特征的纹理分析
• 基于模型的纹理分析——Markov随机场模型等
• 2)匹配步骤：
• 从上述纹理分析的方法中得到一组描述纹理的特 征量；
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
２００６．１８计算机工程与应用
１引言
情感计算是一门新颖的而且富有挑战性的研究课题［１］，是
涉及到哲学、心理学、美学、人类学等的交叉学科。目前在情感计算理论和应用方面的研究已经浮出水面，而将情感计算运用在图像检索的初步研究中，国内外已发表过一些论文，主要集中在人的面部表情识别、机器人的情感行为和可穿戴式计算应用等研究领域。基于内容图像检索的研究正进行的如火如荼［４］。虽然这两方面的研究起步都比较晚，特别是情感计算，但也有了一些可喜的成果。人类的情感从心理学角度上主要指人的心理反应。西方有的学者把情感分为基本的六种：羡慕、爱、恨、欲望、愉快和悲哀。而国内一直流行着“七情六欲”之说，《礼记－礼运》说：“喜、怒、哀、惧、爱、恶、欲七者弗学而能。”即所谓的七情。有研究显示，不同图像可以唤起人类不同的情感。对图像进行情感分类有助于建立和谐人机环境［７］和情感计算领域的研究。在现实世界中的情感活动离不开周围的环境，而现实中的环境可以被认为是由一幅幅的图像组成的，所以对图像的情感研究是非常必要的。而且在实际应用中图像的情感研究也有着相当广阔的前景，可以运用于艺术、装潢、机器人和游戏开发等领域。本文对图像进行情感分类，实现图像的情感语义检索。用户可以使用多范例图来进行检索情感相似图或使用文本描述的方式来进行检索。为了增加特征到语义的映射和图像匹配的效率，利用多范例图进行检索是一种行之有效的方法。在多范例图中，我们把要查询的相似图划分到相关组中，需要过滤掉的图像则放到相反组。本文分为三部分，首先介绍了情感语义检索系统总体结构，主要分为特征向量的提取、表示，低阶可视化特征向高阶语义特征的映射，以及情感空间和用户接口的介绍；其次主要分析图像的情感语义，详细阐述情感语义模型的结构和功能；最后对由２５００幅数字图像组成的数据集仿真实验，分析了实验结果，并且提出今后的研究方向。２系统总体结构设计图像检索系统主要研究的内容是基于数字图像处理基础上的视觉特征提取、多维索引以及检索系统设计等［７］，本文也不
例外，检索系统的总体结构如图１，主要分为三个部分，其中关键技术为图像的特征抽取、表示，图像低阶可视化特征向高阶语义特征的映射阶段以及情感模型的建立。下面作详细的介绍。
作者简介：李海芳（１９６４－），女，副教授，硕士生导师，在读博士，研究方向为：信号与信息处理，数据挖掘。焦丽鹏（１９８１－），男，硕士研究生，主要研究方向为图像检索、智能信息处理。
情感语义图像检索技术研究李海芳焦丽鹏陈俊杰王莉贺静（太原理工大学计算机与软件学院，太原０３００２４）Ｅ－ｍａｉｌ：ｓｘｌｈｆ１２３＠１６３．ｃｏｍ
摘要图像中所蕴涵的丰富语义仅用若干低级物理特征是不能进行完整描述的，而且在语义映射时也会有信息丢失，因而产成“语义鸿沟”是在所难免的。将多特征融合，建立情感语义模型，分析情感的概念解析功能对提高智能信息检索的精度和效率是非常必要的。论文讨论了图像的颜色、纹理等特征的提取与表示，低阶图像可视化特征到高阶图像语义特征的映射过程，图像的情感语义分类，建立了情感语义模型，实现对基于情感语义图像的检索。对由２５００幅数字图像组成的数据集进行了实验，并对实验结果进行分析，部分结果是令人满意的，而且提高了基于内容图像检索的精度。
关键词语义鸿沟基于内容的图像检索情感计算情感语义特征提取文章编号１００２－８３３１－（２００６）１８－００８２－０４文献标识码Ａ中图分类号ＴＰ３９１
ＲｅｓｅａｒｃｈｏｆＡｆｆｅｃｔｉｖｅＳｅｍａｎｔｉｃｓＲｅｔｒｉｅｖａｌＢａｓｅｄｏｎＣｏｎｔｅｎｔＬｉＨａｉｆａｎｇＪｉａｏＬｉｐｅｎｇＣｈｅｎＪｕｎｊｉｅＷａｎｇＬｉＨｅＪｉｎｇ（ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒａｎｄＳｏｆｔｗａｒｅ，ＴａｉｙｕａｎＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｇｙ，Ｔａｉｙｕａｎ０３００２４）Ａｂｓｔｒａｃｔ：Ｔｈｅａｂｕｎｄａｎｔｓｅｍａｎｔｉｃｃｏｎｔａｉｎｅｄｉｎｔｈｅｉｍａｇｅｓｃａｎｎｏｔｂｅｅｎｄｅｓｃｒｉｂｅｄｃｏｍｐｌｅｔｅｌｙｏｎｌｙｕｓｉｎｇｓｏｍｅｌｏｗ－ｌｅｖｅｌｐｈｙｓｉｃａｌｆｅａｔｕｒｅｓ，ａｎｄｓｏｍｅｉｎｆｏｒｍａｔｉｏｎｗｉｌｌｂｅｌｏｓｔｉｎｔｈｅｓｅｍａｎｔｉｃｍａｐｐｉｎｇ，ｓｏｉｔｉｓｕｎａｖｏｉｄａｂｌｅｔｏｐｒｏｄｕｃｅｔｈｅ“ｓｅｍａｎｔｉｃｇａｐ”．Ｉｔｉｓｎｅｃｅｓｓａｒｙｔｏｉｍｐｒｏｖｅｔｈｅｐｒｅｃｉｓｉｏｎａｎｄｅｆｆｉｃｉｅｎｃｙｏｆｔｈｅｉｎｔｅｌｌｅｃｔｉｖｅｉｎｆｏｒｍａｔｉｏｎｒｅｔｒｉｅｖａｌｂｙｓｙｎｃｒｅｔｉｚｉｎｇｍｕｌｔｉ－ｆｅａｔｕｒｅｓ，ｅｓｔａｂｌｉｓｈｉｎｇｔｈｅａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｍｏｄｅｌａｎｄａｎａｌｙｚｉｎｇｔｈｅｉｄｅａ－ａｎａｌｙｓｉｓｆｕｎｃｔｉｏｎｏｆｅｍｏｔｉｏｎ．Ｆｅａｔｕｒｅｓｅｘｔｒａｃｔｉｎｇａｎｄｅｘｐｒｅｓｓｉｎｇｏｆｉｍａｇｅ’ｓｃｏｌｏｒ，ｔｅｘｔｕｒｅ，ｅｔｃ．，ｍａｐｐｉｎｇｐｒｏｃｅｓｓｆｒｏｍｔｈｅｌｏｗ－ｌｅｖｅｌｉｍａｇｅｖｉｓｕａｌｆｅａｔｕｒｅｓｔｏｔｈｅｈｉｇｈ－ｌｅｖｅｌｉｍａｇｅｓｅｍａｎｔｉｃｆｅａｔｕｒｅｓ，ａｎｄｔｈｅｅｍｏｔｉｏｎｓｅｍａｎｔｉｃｃｌａｓｓｉｆｉｃａｔｉｏｎｏｆｔｈｅｉｍａｇｅｓａｒｅｄｉｓｃｕｓｓｅｄ，
ｅｍｏｔｉｏｎｓｅｍａｎｔｉｃｍｏｄｅｌｉｓｅｓｔａｂｌｉｓｈｅｄ，ｔｈｅｒｅｔｒｉｅｖｉｎｇｂａｓｅｄｏｎａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｉｍａｇｅｓｉｓａｃｈｉｅｖｅｄｉｎｔｈｉｓｐａｐｅｒ．Ｔｈｅｄａｔａｓｅｔｃｏｍｐｏｓｅｄｏｆ２５００ｄｉｇｉｔａｌｉｍａｇｅｓｉｓｅｘｐｅｒｉｍｅｎｔｅｄｗｉｔｈ，ａｎｄｔｈｅｅｘｐｅｒｉｍｅｎｔｒｅｓｕｌｔｓｈａｖｅｂｅｅｎａｎａｌｙｚｅｄ，ｓｏｍｅｏｆｗｈｉｃｈａｒｅｓａｔｉｓｆｉｅｄ，ａｎｄｔｈｅｐｒｅｃｉｓｉｏｎｂａｓｅｄｏｎｃｏｎｔｅｎｔｉｍａｇｅｒｅｔｒｉｅｖｉｎｇｈａｓｂｅｅｎｉｍｐｒｏｖｅｄ．
Ｋｅｙｗｏｒｄｓ：ｓｅｍａｎｔｉｃｇａｐ，ＣＢＩＲ，ａｆｆｅｃｔｉｖｅｃｏｍｐｕｔｉｎｇ，ａｆｆｅｃｔｉｖｅｓｅｍａｎｔｉｃｓ，ｆｅａｔｕｒｅａｂｓｔｒａｃｔｉｏｎ
８２计算机工程与应用２００６．１８
特征比较特征提取情感分类器
情感空间标记库
图像库
映射
特征向量相关反馈查询引擎图１情感语义检索系统的总体结构
０
１ＳａｔｕｒａｔｉｏｎＶａｌｕｅ
０
１
Ｈｕｅ
图２颜色空间锥形模型图
高阶层中阶层低阶层图３特征映射机制
２．１基于内容的图像检索
基于文本的图像检索技术已经不能满足今后的需求［４］，一是
因为手工注释对于海量图像数据显得力不从心，二是由于图像本身所含丰富的语义信息单靠手工注释是难以胜任的。目前的图像检索系统基本上是以基于内容的图像可视化特征提取为根基，并在此基础上进行各种信息检索，基于内容的图像检索技术始于９０年代早期［４］。它直接利用了图像本身的特征，且避免了人工注释的主观性、片面性，简化了对图像注释这一繁琐庞大的工程［７］。基于内容的图像检索技术主要是提取图像的可视化特征比较其相似性，一般通过色彩、纹理、形状等特征进行索引。就图像特征的作用域来说，ＣＢＩＲ（ｃｏｎｔｅｎｔ－ｂａｓｅｄｉｍａｇｅｒｅｔｒｉｅｖａｌ）系统可划分为：基于全局特征的检索和基于区域特征及其空间关系的检索［１６］。由于本文基于情感语义的检索的复杂性和难实现
性，既要用全局特征又要用到区域特征，本文运用全局特征和区域特征相结合的方法来对图像进行匹配（参见后面对特征的树状表示形式），即可实现这种效果。２．２特征向量
基于内容的图像检索的工作主要来源于对图像的可视化特征的提取和表示。在实际的应用中，并不是所有的特征都是我们所关心的，Ｉｔｔｅｎ［８］指出艺术图像中颜色的使用与表达的语
义之间存在一定的关系，同时他还发现不同的颜色组合导致诸如和谐、不和谐、平静和兴奋等效果；比如橙色代表暖色，当前很多家庭把橙色作为主色调来装潢自己的家庭，这样会使得人们有被橙色的阳光所环抱的感觉。本文主要使用颜色、纹理、边缘作为图像的特征进行抽取。在颜色特征提取中我们使用ＨＳＶ（Ｈｕｅ，Ｓａｔｕｒａｔｉｏｎ，Ｖａｌｕｅ）
色彩空间，如图２。它不仅能贴近人对图像的色彩理解［１２］
，而且
在匹配颜色和判断一种颜色是否相似于另一种颜色时，ＨＳＶ颜色空间被视为明智的选择［９］。对每个色调（Ｈ），饱和度（Ｓ），强度（Ｖ）计算其一阶矩（如公式（１））、二阶矩（公式（２））和三阶矩（公式（３））来表示颜色特征，这样一共可以提取九个颜色特征：
Ｅｉ＝１ＮＮｊ＝１!Ｐｉｊ（１）
!ｉ＝１ＮＮｊ＝１!（Ｐｉｊ－Ｅｉ）２"#１２（２
）
Ｓｉ＝１ＮＮｊ＝１!（Ｐｉｊ－Ｅｉ）３"$１３（３）
式中ｉ∈｛Ｈ，Ｓ，Ｖ｝；Ｎ为像素点数，Ｐｉｊ表示在ｊ点的ｉ值，如果ｉ＝Ｓ即为其饱和度数值。对于纹理特征我们使用基于小波变换的纹理特征［１０，１１］。纹理特征使用与ＩｍａｇｅＧｒｏｕｐｅｒ［６］中一样的标准差来表示。这些特征将从图像中提取并在元数据库中建立索引。一幅图像中可提取出１０个纹理特征。边缘特征使用ＩｍａｇｅＧｒｏｕｐｅｒ中的注水算
法，共提取１８个特征。２．３低阶可视化特征到高阶语义特征的映射
缩小低阶特征（ｌｏｗ－ｌｅｖｅｌｆｅａｔｕｒｅｓ）到语义特征映射时产生的“语义鸿沟”（ｓｅｍａｎｔｉｃｇａｐ）［４］，也就是尽量减少映射过程中的
信息流失和获得较多的用户信息。为了减少它们之间的差距，研究者需对其进行彻底的分析，但目前研究表明尚无完全解决之法。把机器学习运用到系统中是比较常见的方法，例如一些文献中使用“相关反馈”、“短期学习”、“长期学习”［１３］。本文提出
建立双层映射机制并利用“相关反馈”技术，其中映射机制使用单路串联模式，从低层到中间层的映射，和中间层到高层的映射。如图３。
图像给人的情感感觉不仅仅取决于颜色纹理等低阶可视化特征，一些高阶图像中的对象也可给人以不同的情感反应，比如图片中的小狗可能会使人有一种温馨的感觉，鲜花可能会使人心情舒畅，而且同样的一种对象可能产生不同的情感效果，比如水是生命之源，当人们看到水时表现出很大的亲和力，
但当看到洪水时会产生恐惧感。这是跟一般图像语义检索研究有着不同的地方，所以在情感语义分类时还得注意高阶语义特
征和低阶可视化特征之间的结合，但实现起来比较困难。２．４情感空间（Ｅｍｏｔｉｏｎａｌｓｐａｃｅ）
对于情感的分类众说纷纭，中国古代就有七情六欲之说，国外心理学家对情感类型也有很多不同的定义。基本从三方面讨论：一是把情感反应归结为一个独立的过程；二是情绪被认为是刺激和反应之间的中间变量；三是用直接行为主义理论来解释。
情感有很大的主观性，不同的图像或图像中的不同颜色、纹理、轮廓等会给人不同的感受，而不同的人对同一幅图像也