移动互联网跨媒体信息检索技术

移动互联网跨媒体信息检索技术摘要：互联网技术和社交网络的发展给人们的生活带来了新颖、广泛的数据和信息获取方式。

这类信息具有广泛的数据内联性、用户相关性和模态多样性，呈现出典型的跨媒体数据特征。

准确理解用户意图实现对跨媒体数据的精确检索是实现高效利用和管理互联网资源的基础。

对该领域涉及的信息标注、语义推理和地理本体表现与理解等方法进行了介绍，对比现有的跨媒体检索系统讨论了该领域目前存在的问题和未来的发展趋势。

关键词：跨媒体；信息检索；移动互联网；语义推理；地理本体中国分类号：tn911.7 文献标识码：a文章编号：10053824（2013）010001050 引言近年来，随着互联网和信息技术的飞速发展，智能终端设备得到不断普及并给人们的日常生活带来了极大的便利。

人们在随时、随地采集信息并以文本、音频、视频、图像以及其他形式为载体进行记录和分享的同时，一方面带来了多媒体信息的迅速膨胀，如何在海量的信息中实现跨越时间、空间和载体类型的信息检索显得越来越重要；另一方面，由于多媒体数据本身具有底层视听觉特征异构、高层语义丰富的特点，对其实现有效管理和智能利用十分困难。

跨媒体是在多媒体的基础上，利用各种媒体的形式和特征，对相同或者相关的信息用不同的媒体表达形式进行处理，由此产生存储、检索和交换等活动。

跨媒体检索（crossmedia retrieval， cmr）即是在跨媒体环境下，用户提交一种媒体对象作为查询示例，既可以检索出相同类型的相似对象，还能够返回不同类型的其他媒体对象的新型检索方式[1]。

早在1976年，麦格克效应[2]就揭示了人脑对外界信息的认知需要跨越和综合不同的感官信息，呈现出跨媒体的特性，而传统的基于关键字的检索和基于内容的多媒体检索由于其自身的局限性均不能满足人类跨媒体认知的需要，跨媒体检索技术应运而生。

1）基于文本的检索。

目前，常见的检索方法一般都是基于关键字的全文检索，检索的准确度很大程度上依赖人工标注的详细与否，且不同人对相同图像、音频和视频等非文本信息的认知不同，造成了描述语言的不充分或不准确，因此利用简单文本进行搜索的结果并不理想。

2）基于内容的检索。

基于多媒体内容的检索弥补了传统基于文本检索的不足，通过数据挖掘和机器学习的方法聚合不同类型数据蕴含的信息，以提供高层次的知识服务。

随着移动智能终端设备的广泛应用和普及，大量的视频、音频、文本以及各种传感数据构成了目前移动互联网领域中信息共享的主体内容。

移动化带来的改变是信息的激增，人们正在借助移动智能终端上的各种传感器——时间、位置、麦克风、摄像头、温度传感和nfc（近场通讯）采集信息并重新绘制这个世界。

然而，信息的爆炸式增长给知识的获取带来了极大的难度，也因此造成了知识的相对匮乏。

在此过程中，用户对信息的采集和分享与传统方式有着显著的不同：首先，信息的采集带有显著的时间特征和空间特征；其次，在数据分享过程中携带了用户偏好信息；最后，完整分享这些数据对网络带宽和数据存储服务提出了巨大的挑战。

目前，人们从移动互联网领域获得知识的渠道主要还依赖于信息搜索，一种是以百度和谷歌为代表的传统文本搜索的服务，另一种是以苹果的siri为代表的新型跨媒体（声音和文本）移动搜索体验。

1 跨媒体技术发展现状目前，为了实现同时对多种媒体类型的信息检索，国内外学者的研究工作主要集中在以下几个领域：1）基于“词袋”模型建立多媒体对象知识库此类方法大多通过对多媒体对象的语义信息进行人工标注得到先验知识，结合“词袋”模型等为海量多媒体信息建立知识库，从而借助知识库的桥梁作用实现跨媒体检索。

显然，此种方法很大程度上还是一种变相的基于关键字的检索，需要人工标注大量的关键字训练样本集，虽然它在一定程度上避开了特征向量异构和语义鸿沟的问题，但是人工标注耗时耗力且缺乏统一性与客观性，多媒体对象的语义信息往往不能够得到恰当描述，因而检索的准确性往往不尽如人意。

2）基于文档链接关系或web链接关系建立多媒体对象之间的语义关系。

此类方法通过分析多媒体文档之间的链接关系或者web网页中的链接跳转关系建立多媒体对象之间的语义关系网（跨媒体关联图、交叉参照图模型等）从而实现多媒体对象之间的相互检索。

该方法有效地避免了媒体对象之间的语义鸿沟，但是对链接关系的依赖性太强，不具有一般性。

3）建立辅助空间解决特征向量异构问题。

此类方法为解决不同类型媒体对象之间特征向量异构的问题，在计算特征向量和相似性的度量时，一些方法是基于数据集中所有数据间的距离度量的，但是在实际跨媒体数据集中：一方面，计算和存储所有对象间的距离尺度是不现实的；另一方面，距离度量不能有效解决现实生活中的问题。

因此，一些学者提出采用典型相关性分析（cca）、主成分分析（pca）、独立成分分析（ica）等技术对特征向量进行降维处理，使得异构的特征向量在一个辅助空间中具有可比性，从而进行多媒体对象之间的相似性度量。

此种方法往往在对特征向量进行降维处理的过程中产生“维度灾难”。

4）基于机器学习、神经网络等方法获取多媒体对象间的语义关系。

此类方法主要是通过机器学习或神经网络领域的融合分析、流形学习、线性迭代与映射、概率模型、支持向量机、监督分类、非监督分类等方式对异构数据之间的关联关系进行挖掘，进而实现不同模态多媒体数据之间的相互检索。

总的说来，该类方法检索效果不错，但往往计算量比较大，实现过程比较复杂。

5）索引。

此类方法一般是通过对多媒体数据进行一定预处理得到相互之间的相似关系，进而根据相似关系为海量多媒体对象建立索引，以提高检索时的效率。

这是一种辅助型的方法，更多的是关注如何有效地减少检索所需要的时间，提高跨媒体检索的效率，对多媒体对象之间的相似度度量未关注。

6）基于ontology的检索。

此类方法是建立在基于内容检索的基础上，用ontology存储多媒体对象语义信息的新型检索模式。

检索过程中结合多媒体对象的底层特征与ontology表达的语义信息进行跨媒体检索。

该方法对多媒体对象的语义信息及空间关系表达与处理具有强大的优势，同时，ontology模型能使检索系统更加智能化与人性化。

然而，现有的跨媒体信息检索技术的研究对象主要是已采集好的各种媒体数据，较少考虑多用户分享中的数据冗余、网络带宽约束等移动互联网环境下面临的新问题和挑战。

2 用户标注和地理本体在跨媒体中的应用移动终端能够帮助人们以各种方式记录现实世界，同时也造成了数据的异构性、语义的异质性以及存储、传输这些数据对网络和硬件的挑战。

随着智能终端处理能力的不断加强，目前已可以实现在智能终端上对采集的图像和影音数据进行编辑和特征提取。

采用本地提取特征再进行网络分享的方法将大大降低网络带宽的使用。

另一方面，由于不同用户在对相同内容进行记录时可以选择不同的媒体类型作为载体，上传并分享这些内容特别是影音图像资源会占用较多的服务器存储空间。

因此，提取资源中的语义信息并通过简单推理进行信息聚合，能够较好地降低移动互联网环境下信息分享的数据冗余问题。

本体论作为语义模型的新方法，主要用于知识的共享、交互和重用方面，它具有良好的概念层次结构和逻辑推理。

通过对领域知识的理解、描述和推理，能够更好地实现信息共享和重用的目的。

当运用到信息检索领域时，具有以下4个优点[3]：（1）本体关于领域知识的共同理解和描述可以使得现代网络中的信息组织形式从传统的基于语法逐步转向基于语义；（2）本体对于概念及其之间关系的精确描述可以极大地提高信息检索时的查全率和查准率；（3）采用形式化的描述方式使其能被计算机所理解以及更好地满足海量网络信息组织的需要；（4）本体能够很好地支持逻辑推理，使得信息检索系统更加智能化和人性化。

地理本体是将本体论引入到地理信息科学中，它除了具有本体所具有的优点外，在处理对象空间位置及空间关系方面具有无法取代的独特优势。

随着以web2.0技术为代表的社交网络的发展，用户的需求从简单的、被动的信息获取逐步升级为主动参与到信息管理、信息交互的过程中。

用户期待一种不需要精确的预定义的集成框架甚至不需要原始信息的本地副本，实现多维、海量信息的快速、低代价的获取。

用户标注方法在特征提取和语义分析过程中借助人的认知过程，提取源数据中的知识，对信息检索的准确率提升有着至关重要的作用。

而地理本体，作为一种半自动化的语义推理模型，可以有效降低不同用户标注带来的差异性，同时更准确地描述移动互联网环境下信息的时间和空间特征。

采用这2种方法相结合建立本地特征索引副本，能够有效降低数据传输对网络带宽的需求和存放数据对存储空间的需要。

2.1 用户标注受限于移动终端的大小、网络通信能力有限，不适宜采用传统的方式对采集的图像、视频等多媒体数据进行完整上传和统一计算。

实现在本地的特征提取和用户标注，可以大大减少网络通信，节省用户分享的代价。

opencv作为传统的视频、图像处理工具，目前已被广泛应用在ios和android为代表的移动终端上，并能获得较好的特征提取速度和分析结果。

另外，随着摄像头、麦克风、nfc 等传感器的发展，基于手机的增强现实技术也取得了长足的进步，为用户的信息标注提供了新的手段和方法。

采用用户标注和特征提取等方法[4]，结合移动终端对现实世界的时间、位置感知，提交较少的描述信息或特征信息，降低了信息和内容分享的门槛。

如图1所示，采用增强现实和用户标注[10]技术后，用户仅需上传简单的标注、位置信息和提取的语义、图像内容特征即可实现内容的分享。

对查询用户来说，需要检索的信息仍然是充分的。

图1 增强现实和用户标注技术在移动终端的应用2.2 地理本体地理信息科学中的本体论研究是高度跨学科的交叉研究，与地理信息的认知、表达、互操作，尺度和不确定性密切相关，其最重要的一点是研究空间信息的语义理论。

基于地理本体的语义检索[5][6]是通过本体构建概念层次空间实现的检索，它利用本体明确建立了研究对象的概念、属性、空间位置等各种关系，并且可以通过逻辑推理发掘隐含在概念之间的不明确、非直接的信息，从而可以实现语义的智能信息检索。

在跨终端、跨媒体环境中，地理本体模型提供了一个统一的语义管理平台。

在移动互联网环境下，地理本体模型构建完成后，可以基于多种格式标准进行发布，用户本地采集的数据通过用户标注、特征提取等方式按照层次、概念和推理结果向现有的本体模型中进行映射，构建新的结点和数据内容。

这样，用户采集的多媒体数据可以分布式地存放在各自的终端上，通过更新本体模型建立快速、有效的索引，提供统一的跨媒体、跨终端的服务标准，有效降低分享和检索带来的网络资源消耗和源数据的冗余存放。

为了帮助本体开发人员和领域专家对领域知识进行建模，斯坦福大学主导开发了一个基于java的开源本体编辑工具protégé[13]。