图像语义特征的提取与分析
相关主题
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
上海交通大学 硕士学位论文 图像语义特征的提取与分析 姓名：张好 申请学位级别：硕士 专业：信号与信息处理 指导教师：李生红 20061201
摘
要
图像语义特征的提取与分析
摘源自文库
要
随着网络和多媒体技术的发展，出现了众多的图像数据库，且图像数据库的图像数 量也在急剧地增加。用户越来越迫切地需要对大型图像数据库进行检索。基于内容的图 像检索技术 （CBIR） 得到了蓬勃发展， 但是传统的 CBIR 系统没有考虑图像的语义信息。 另一方面， 由于特征维数高， 运算复杂度高， 从提高检索精度或分类正确率的角度而言， 都不可能将所有提取的特征都能用于检索或分类。因此，对图像语义特征进行分析和选 择成为这一领域最前沿的研究热点之一。 基于分类器的分类错误率和类内类间距离测度 是常用的图像特征分析和选择的方法。 但是基于分类错误率的方法在实际运用中运算复 杂，且特征分析的结论依赖所选择的分类器的种类，而用距离准则分析图像特征的方法 没有考虑各类的概率分布，不能确切表明各类交叠的情况。 鉴于此，本文提出从信息论的互信息概念出发，详细深入地分析多种语义类别的图 像特征间的互补或冗余关系以及特征的鉴别力，确定特征的选择和拒绝条件。该方法理 论基础强，从特征含类别的信息量的多少来分析特征的鉴别力，表达了图像特征与类别 之间的内在联系，并且不依赖于分类器，与类别的分布情况也无关，推广性和实用性都 较强。 本文首先介绍了基于内容的图像检索技术的发展现状、 系统构架以及关键技术基础。 针对传统 CBIR 技术的不足，介绍了基于语义的图像分类技术。详细阐述了图像语义特 征的提取方法。 在提取多种图像语义特征的基础上，提出采用互信息的方法分别研究单一的语义特 征和多种特征组合的鉴别力， 并分析特征之间的互补或冗余关系， 从而进行特征的选择。 基于分类器分类错误率和欧氏类内类间距离的实验结果均反映了使用互信息进行特征 分析和选择的这种新方法的正确性和有效性。 研究确定的针对风景/人物类别的最佳特征 是 HSV 颜色直方图+Luv 颜色聚合矢量+Tamura 纹理特征的组合特征， 针对室内/室外类 别的最佳特征是改进的 Lab 颜色矩+Luv 颜色聚合矢量的组合特征，针对建筑物/风景类 别的最佳特征是边界方向聚合矢量。 将这一分析结果应用到一种分等级的图像数据库的
抽 象 语 义 图 复杂程度 像 语 义 特 征 语 义
对 象 语 义
图 1-1 图像语义层次模型 Fig.1-1 Model of Image Semantic Level
第 1 页
第一章 绪论
第一层次是特征语义层。通过图像的底层视觉特征如颜色、纹理及形状等及其组合 来提取相关语义描述；第二层是对象语义层。通过识别和推理找出图像中的具体目标对 象及其相互之间的关系，然后给出语义表达；第三层是抽象语义层。通过图像包含的对 象、场景的含义和目标进行高层推理，得到相关的语义描述。这个层次的语义主要涉及 图像的场景语义、行为语义和情感语义。 目前计算机视觉和模式识别技术还不能达到对目标进行高效识别的水准，导致了描 述对象层语义和抽象层语义比较困难， 因此现在对于图像语义特征的研究集中在语义特 征模型的第一层，即特征语义层。简单语义特征的提取与分析是利用复杂语义信息的基 础。选取合适的语义特征对图像数据库进行合理的语义分类，会有利于提高图像检索的 准确率。特征分析通过分析特征间的内在联系和对类别的识别能力，有利于选择出鉴别 力高的图像语义特征，从而提高语义分类的正确性。因而图像语义特征的分析对于整个 语义分类是至关重要的。 综上所述，由于目前大型图像数据库的广泛存在，对于图像数据库检索或分类是一 个重要课题，多年来已经取得了很大发展。但是因为图像的复杂度，使图像检索仍是热 门课题，并尚有很多关键技术点没有解决，其中关于图像语义特征的研究成为这一领域 最前沿的研究热点之一。
ABSTRACT
With the development of network and multimedia technologies, more and more image databases have been come forth, moreover, the size of these image databases has become larger than before. More users want to retrieve images they need from the huge image database. Based on this background, a technology, named Content-Based Image Retrieval (CBIR), has been fast and well developed. However, on the one hand, the traditional CBIR systems don’t consider the semantic information of images. On the other hand, we can’t use all the features due to the high dimension and complex computation. So, analysis and selection of semantic image features is necessary, after feature extraction in order to choose the high-discriminative features, which will be useful to improve the retrieval accuracy. This thesis does the research on the extraction and analysis of semantic image features and proposes a new method to analyze the discriminative skills of features using Mutual Information, providing basis on semantic image feature selection. This method has a solid theory foundation and analyzes features
学位论文作者签名：张好
日期：
2007 年 1 月 16 日
上海交通大学 学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密□，在 本学位论文属于 不保密□√。 （请在以上方框内打“√” ） 年解密后适用本授权书。
学位论文作者签名：张好
指导教师签名：李生红
日期：2007 年 1 月 16 日
日期：2007 年 1 月 16 日
第一章 绪论
第一章 绪论
1.1 研究意义
2005 年 1 月 19 日，中国互联网络信息中心（CNNIC）在北京发布“第十五次中国互 联网络发展状况统计报告”。报告[1]显示，随着网络速度的提高和上网人数的快速增 长，互联网已经走进千家万户。与此同时，网络带宽的显著提高和多媒体技术的迅速发 展，使得互联网上图像所占的比重越来越大。数码相机的普及也使得人们接触到更多的 电子图片，越来越多的行业在使用大量的图像数据。如何从大量的图像数据中获得自己 感兴趣的信息，并对其进行合理的组织和利用，是一个非常有挑战性的问题，因此，图 像检索技术的研究有重要的意义。 图像检索或分类技术的关键在于提取最具表现力的图像特征。如果选择鉴别力高的 图像语义特征用于分类，则会产生比较好的分类结果。而在检索之前先对图像数据库进 行合理的分类，将会大大提高 CBIR 系统的检索效率。因此对图像语义特征的研究是十 分有必要的。按照图像语义的复杂程度，可以分为三个层次，在文献[2]中有对该语义层 次模型的详细阐述，如图 1-1所示：
第 III 页
ABSTRACT
according to the feature’s information. It is also independent on the types of classifiers and distribution of labels. Therefore, this method based on Mutual Information has a strong popularity and practicability. Firstly, this thesis introduces current research trends, CBIR system architectures and key technical knowledge. The primary semantic image classification technologies and extraction methods of image features are also mentioned. Then, we extract features including color, texture and edge for landscape/human, indoor/outdoor, building/landscape classification problems. And intensive analysis of the discriminative skills about features based on MI values is given with the experimental results on large image databases. Furthermore, we select the most-discriminating features into a set. Then we do the experiment using classifier error and distance measurement to validate the feasibility of the new method using mutual information. The new method we proposed overcomes the defects of other methods. The application of the most-discriminating features based on our conclusion used to classify a kind of hierarchical image database indicates the importance and influence of the extraction and analysis of semantic image features, the accuracy of which reached 82.17%.
第 I 页
摘
要
简单语义分类，其分类正确率达到 82.17%，这进一步说明了用互信息对图像语义特征 进行分析和选择的重要意义和作用。
关键词：特征分析，互信息，语义特征，图像特征
第 II 页
ABSTRACT
Extraction and Analysis of Semantic Image Features
Keywords: feature analysis, mutual information, semantic feature, image feature
第 IV 页
上海交通大学 学位论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。
摘
要
图像语义特征的提取与分析
摘源自文库
要
随着网络和多媒体技术的发展，出现了众多的图像数据库，且图像数据库的图像数 量也在急剧地增加。用户越来越迫切地需要对大型图像数据库进行检索。基于内容的图 像检索技术 （CBIR） 得到了蓬勃发展， 但是传统的 CBIR 系统没有考虑图像的语义信息。 另一方面， 由于特征维数高， 运算复杂度高， 从提高检索精度或分类正确率的角度而言， 都不可能将所有提取的特征都能用于检索或分类。因此，对图像语义特征进行分析和选 择成为这一领域最前沿的研究热点之一。 基于分类器的分类错误率和类内类间距离测度 是常用的图像特征分析和选择的方法。 但是基于分类错误率的方法在实际运用中运算复 杂，且特征分析的结论依赖所选择的分类器的种类，而用距离准则分析图像特征的方法 没有考虑各类的概率分布，不能确切表明各类交叠的情况。 鉴于此，本文提出从信息论的互信息概念出发，详细深入地分析多种语义类别的图 像特征间的互补或冗余关系以及特征的鉴别力，确定特征的选择和拒绝条件。该方法理 论基础强，从特征含类别的信息量的多少来分析特征的鉴别力，表达了图像特征与类别 之间的内在联系，并且不依赖于分类器，与类别的分布情况也无关，推广性和实用性都 较强。 本文首先介绍了基于内容的图像检索技术的发展现状、 系统构架以及关键技术基础。 针对传统 CBIR 技术的不足，介绍了基于语义的图像分类技术。详细阐述了图像语义特 征的提取方法。 在提取多种图像语义特征的基础上，提出采用互信息的方法分别研究单一的语义特 征和多种特征组合的鉴别力， 并分析特征之间的互补或冗余关系， 从而进行特征的选择。 基于分类器分类错误率和欧氏类内类间距离的实验结果均反映了使用互信息进行特征 分析和选择的这种新方法的正确性和有效性。 研究确定的针对风景/人物类别的最佳特征 是 HSV 颜色直方图+Luv 颜色聚合矢量+Tamura 纹理特征的组合特征， 针对室内/室外类 别的最佳特征是改进的 Lab 颜色矩+Luv 颜色聚合矢量的组合特征，针对建筑物/风景类 别的最佳特征是边界方向聚合矢量。 将这一分析结果应用到一种分等级的图像数据库的
抽 象 语 义 图 复杂程度 像 语 义 特 征 语 义
对 象 语 义
图 1-1 图像语义层次模型 Fig.1-1 Model of Image Semantic Level
第 1 页
第一章 绪论
第一层次是特征语义层。通过图像的底层视觉特征如颜色、纹理及形状等及其组合 来提取相关语义描述；第二层是对象语义层。通过识别和推理找出图像中的具体目标对 象及其相互之间的关系，然后给出语义表达；第三层是抽象语义层。通过图像包含的对 象、场景的含义和目标进行高层推理，得到相关的语义描述。这个层次的语义主要涉及 图像的场景语义、行为语义和情感语义。 目前计算机视觉和模式识别技术还不能达到对目标进行高效识别的水准，导致了描 述对象层语义和抽象层语义比较困难， 因此现在对于图像语义特征的研究集中在语义特 征模型的第一层，即特征语义层。简单语义特征的提取与分析是利用复杂语义信息的基 础。选取合适的语义特征对图像数据库进行合理的语义分类，会有利于提高图像检索的 准确率。特征分析通过分析特征间的内在联系和对类别的识别能力，有利于选择出鉴别 力高的图像语义特征，从而提高语义分类的正确性。因而图像语义特征的分析对于整个 语义分类是至关重要的。 综上所述，由于目前大型图像数据库的广泛存在，对于图像数据库检索或分类是一 个重要课题，多年来已经取得了很大发展。但是因为图像的复杂度，使图像检索仍是热 门课题，并尚有很多关键技术点没有解决，其中关于图像语义特征的研究成为这一领域 最前沿的研究热点之一。
ABSTRACT
With the development of network and multimedia technologies, more and more image databases have been come forth, moreover, the size of these image databases has become larger than before. More users want to retrieve images they need from the huge image database. Based on this background, a technology, named Content-Based Image Retrieval (CBIR), has been fast and well developed. However, on the one hand, the traditional CBIR systems don’t consider the semantic information of images. On the other hand, we can’t use all the features due to the high dimension and complex computation. So, analysis and selection of semantic image features is necessary, after feature extraction in order to choose the high-discriminative features, which will be useful to improve the retrieval accuracy. This thesis does the research on the extraction and analysis of semantic image features and proposes a new method to analyze the discriminative skills of features using Mutual Information, providing basis on semantic image feature selection. This method has a solid theory foundation and analyzes features
学位论文作者签名：张好
日期：
2007 年 1 月 16 日
上海交通大学 学位论文版权使用授权书
本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意 学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文 被查阅和借阅。本人授权上海交通大学可以将本学位论文的全部或部分内 容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存 和汇编本学位论文。 保密□，在 本学位论文属于 不保密□√。 （请在以上方框内打“√” ） 年解密后适用本授权书。
学位论文作者签名：张好
指导教师签名：李生红
日期：2007 年 1 月 16 日
日期：2007 年 1 月 16 日
第一章 绪论
第一章 绪论
1.1 研究意义
2005 年 1 月 19 日，中国互联网络信息中心（CNNIC）在北京发布“第十五次中国互 联网络发展状况统计报告”。报告[1]显示，随着网络速度的提高和上网人数的快速增 长，互联网已经走进千家万户。与此同时，网络带宽的显著提高和多媒体技术的迅速发 展，使得互联网上图像所占的比重越来越大。数码相机的普及也使得人们接触到更多的 电子图片，越来越多的行业在使用大量的图像数据。如何从大量的图像数据中获得自己 感兴趣的信息，并对其进行合理的组织和利用，是一个非常有挑战性的问题，因此，图 像检索技术的研究有重要的意义。 图像检索或分类技术的关键在于提取最具表现力的图像特征。如果选择鉴别力高的 图像语义特征用于分类，则会产生比较好的分类结果。而在检索之前先对图像数据库进 行合理的分类，将会大大提高 CBIR 系统的检索效率。因此对图像语义特征的研究是十 分有必要的。按照图像语义的复杂程度，可以分为三个层次，在文献[2]中有对该语义层 次模型的详细阐述，如图 1-1所示：
第 III 页
ABSTRACT
according to the feature’s information. It is also independent on the types of classifiers and distribution of labels. Therefore, this method based on Mutual Information has a strong popularity and practicability. Firstly, this thesis introduces current research trends, CBIR system architectures and key technical knowledge. The primary semantic image classification technologies and extraction methods of image features are also mentioned. Then, we extract features including color, texture and edge for landscape/human, indoor/outdoor, building/landscape classification problems. And intensive analysis of the discriminative skills about features based on MI values is given with the experimental results on large image databases. Furthermore, we select the most-discriminating features into a set. Then we do the experiment using classifier error and distance measurement to validate the feasibility of the new method using mutual information. The new method we proposed overcomes the defects of other methods. The application of the most-discriminating features based on our conclusion used to classify a kind of hierarchical image database indicates the importance and influence of the extraction and analysis of semantic image features, the accuracy of which reached 82.17%.
第 I 页
摘
要
简单语义分类，其分类正确率达到 82.17%，这进一步说明了用互信息对图像语义特征 进行分析和选择的重要意义和作用。
关键词：特征分析，互信息，语义特征，图像特征
第 II 页
ABSTRACT
Extraction and Analysis of Semantic Image Features
Keywords: feature analysis, mutual information, semantic feature, image feature
第 IV 页
上海交通大学 学位论文原创性声明
本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进 行研究工作所取得的成果。除文中已经注明引用的内容外，本论文不包含 任何其他个人或集体已经发表或撰写过的作品成果。对本文的研究做出重 要贡献的个人和集体，均已在文中以明确方式标明。本人完全意识到本声 明的法律结果由本人承担。