跨媒体分析与检索 - 首页-中国计算机学会信息网

根据媒体之间存在的各种联系，从一种媒体跨越到 互信息之间也存在广泛与深层的交叉关联。
另一种媒体。
这些交叉关联使得互联网数据呈现跨媒体特
尤为重要的是，互联网信息存在着广泛且错综 性，即互联网上的网页文字、多媒体数据和用户交 复杂的四种交叉关联[1]：（1）互联网网页之间的 互信息之间存在着或强或弱的内容跨越和语义关联
音调
语音 跨
语义
视频目录 对象 场景
媒
体
实现被检索资源的综合、归纳和过滤 以及有助于个性化搜索。
人脑认知的跨媒体特性
语义联系
语义联系
语义
语义联系
视频 图形
语义
现代认知科学的相关研究表明， 人对外界的感知呈现出跨媒体特性[4]， 即人对外界事物的了解，是通过视
图像
视觉特征 人脸 事件
文本
人名 地名 动词 主题 段落
其次，跨媒体检索要支持同构多媒体数据在语 义上的跨越。所谓同构多媒体数据，即指相同类型 的多媒体数据，如两幅图像互为同构多媒体数据。 由于不同概念之间有着复杂的关联，相应地，虽然 同构多媒体数据表达方式一致，但 是它们所蕴含的
语义联系却错综复杂。如何挖掘同构多媒体数据之 间的语义关联信息是跨媒体研究的又一重要内容。 以不同的文本数据对象为例，它们虽然表达形式一 致，但是所蕴含的语义关联却有可能是相反、相 近、相同或者其它。跨媒体研究就是要根据同构多 媒体数据在特征空间内错综复杂的分布找到它们之 间的潜在的语义关联，从而完成语义的跨越。比如 仅仅在文本的特征空间，“稻谷”和“午饭”这两 个文本对象所描述的内容属于不同概念，而在语义 层面，二者却有明显的关联。跨媒体研究则要根据 全体文本对象在特征空间的分布，挖掘出同构多媒 体数据之间这种固有的语义关联，从而方便对这些 多媒体数据的检索和利用。
不但可以丰富计算机的服务，更是计算机功能的一 标注训练数据集上学习得到所标注对象与文本数据
种延伸。
的共生模型，进而计算语义关键字在未标注数据中
出现的概率，先后出现了Co-occurrence、Translation
从多媒体检索到跨媒体检索
和ALIP等方法。与语义标注中所处理对象是相对闭 合集合不同，图像语义标注的研究重点转向了互联
频、3D模型和动画等多媒体资源出现了如下新特 息之间的交叉关联：基于社会化计算Web2.0的应
点（如图1）：（1）多种类型媒体数据混合并存； 用产生了用户提供的大量标注、评价和日志等隐性
（2）媒体数据组织结构复杂；（3）不同类型媒体 和显性交互信息，这些交互信息存在复杂关联；
数据从不同侧面表达同一语义；（4）检索中需要 （4）互联网网页、不同类型多媒体数据和用户交
从图像和音频等媒体数据中提取出来的视觉和 听觉等特征量纲不同，存在异构性。要实现“跨 媒体检索”，需要解决如何度量异构特征相似性 问题。
最近，一些研究通过典型相关性分析（Canonical Correlation Analysis，CCA）挖掘异构数据在特征 上潜在的统计关系，从而生成包含了不同类型数 据的同构子空间实现异构数据相似性度量，并在 特征降维后能最大程度地保持原始异构数据的相 关性。
大量不同类型的媒体信息可被便捷利用；计算机网 反馈机制。相关反馈技术分为基于机器学习、反馈
络技术和数据库技术的发展，则可使人们更加方便 定制、用户驱动、基于概率模型和基于图像区域等
地传输和管理这些多媒体资源；人工智能技术的进 几类。基于机器学习的相关反馈是研究热点，是为
步，则为跨媒体智能化提供了坚实技术保障。近年 了解决用户在相关反馈过程中标注为“正样本”和
术的发展 ，除了视觉和听觉信息外，未来计算机 然存在“语义鸿沟”。
的输入输出可以扩展到触觉、味觉等更多感知类
互联网上多媒体数据存在大量伴随文本以及用
型，届时计算机跨媒体系统含义将更加丰富。由于 户标注信息，从中提取能反映多媒体数据语义的精
符合人类感知和思维系统的工作过程，跨媒体研究 确标注单词成为近年来研究热点。基本思路是从已
首先，跨媒体检索要支持检索过程中在数据 类型上的跨越。这里所谓异构多媒体数据，即指不 同类型的多媒体数据，如图像与音频数据就互为异 构多媒体数据。如给定一副图像、一则文本和一段 音频数据，虽然它们对信息的表现形式各异，底层 特征也不同。但是，异构多媒体数据却可以在语义 层面统一起来：如老虎的图像、老虎习性的描述性 文字和老虎吼叫的音频数据虽然表达形式各异，却 在语义层面共同表达了老虎这一概念。传统的单一 媒体相关技术忽略了异构多媒体数据在语义上的共 性，因此不能有效处理异构多媒体数据共存的复杂 多媒体数据，也无法有效跨越语义鸿沟。作为单一 媒体技术在理论和功能上的延伸，跨媒体技术将异 构多媒体数据统一理解分析；图像、文本、音频、 视频等异构多媒体数据在语义层面的共性得以彰显 利用，这不但更符合人类的思维方式，而且也便于 对异构多媒体数据的统一管理，以方便用户对其使 用与信息的传递。
音频 动画
觉、听觉、触觉、味觉等多种感觉器 官获得并形成认识的。后续研究表 明，人脑生理组织结构决定了其对外 界事物的认知过程是通过对多种感知 信息进行融合理解后完成的，同时提
图1 海量资源中心跨媒体数据表现形式
供听觉和视觉信息的大脑会产生更明
23
专题
第 7 卷 第 2 期 2011 年 2 月
为了解决早期基于文本的多媒体检索费时费 网大规模图像标注、标注不一致以及标注扩展等问
力、主观差异性大的问题，20世纪90年代提出了基 题：研究认为互联网本身就是良好的图像标注训练
于内容的多媒体检索方法，其基本思路是通过视 集，可结合关键词检索和图像样例检索，对检索结
觉、听觉或者几何特征以及例子来计算被检索对象 果的伴随文本进行主题聚类，最终得到图像标注单 和用户查询之间的相似度[2, 7]。可以说，基于内容的 词。另外，与对整幅图像进行文本标注不同，实现
也有一些观点认为，许多类型数据的分布并 不是线性的，而是非线性的流形结构。基于这个理 论，国内外研究者提出了多种流形学习的方法[6]。同 时，多媒体数据中局部特征提取也成为众多学者关 注热点问题。受自然语言理解中通过“词袋”（Bag of Words）表示文档的启发，“视觉单词（visual words）”以及“视觉文法（Visual Grammar）”被 提出来表达图像和视频数据。该方法一般对图像和 视频等提取SFIT（Scale-invariant feature transform） 局部特征，将其量化或聚类后的结果作为视觉单 词，以反映离散数据点之间存在的关联。随着计算 机视觉领域中图像分割技术取得的较大进展，对图 像中的对象进行识别，构建视觉单词和视觉文法， 实现图像解译也成为一类主流研究，出现了能较好 实现对象、场景和图像之间复杂关系建模的随机文 法以及强于数据推理的条件随机场方法。
数据
……
用户
关联
社会网络
个性化
……
检索行为 查询 点击 浏览 标注 评价
道。另一方面，计算机软硬件相关技 术的发展是跨媒体研究的基础，又 图2 网络资源、用户和检索行为之间的关联示意图
直接促成了跨媒体研究进一步深入：各种多媒体数
在检索过程中为了克服“语义鸿沟”，在底层
据采集设备、交互设备、海量存储设备出现，使得 特征空间和高层语义空间之间建立映射关系和相关
传统的单一类型搜索引擎利用互联网文档所包 含的文本信息和链接属性来检索相关网页，通过多 媒体视听觉底层特征和样例，以及相关反馈技术实 现基于内容的多媒体检索。这些方法忽略了媒体之 间存在的关联特性，难以实现不同类型媒体数据的 统一检索。为了满足人们对这些多媒体数据检索的 需求，需要研究一种新的检索方法，使可以检索到 相似主题、不同类型的多媒体对象。例如提交一幅 小鸟的图像，除了可检索到各种相似的鸟类图像， 还可以检索到鸟儿动听的叫声。这种新的检索方式 能够处理和查询不同类型的多媒体数据，极大地扩 展了人们获取多媒体信息的途径和范围。这类“跨 媒体检索”手段需要达到如下要求 ： [10]
最后，跨媒体检索也要支持异构多媒体数据 在语义上的跨越。对异构多媒体数据在语义上的跨 越，目的是找到异构多媒体数据之间错综复杂的语 义关联，这是对前面所述两项研究的综合。比如老 虎的叫声和灰狼的图像，它们既不是同一类多媒体 数据（二者类型分别属于 音频和图像），表达的语 义也不相同（二者语义分别属于老虎和灰狼）。但 是考虑到老虎和灰狼同属食肉动物，这两个多媒体 数据之间又有一定的语义关联。这种异构多媒体数 据的语义关联挖掘，传统的单媒体研究并没有涉 及。因此这一研究内容是跨媒体研究对传统单一媒 体研究的进一步延伸和拓展。
多媒体检索的内容在提出时指的是“底层特征（如 图像和 视频中对象、人物和地名等实体信息标注也
视觉或听觉等特征）”或“检索样例”，而非语义 是极有意义的研究方向，如美国卡耐基梅隆大学的
内容。
人脸标注“Name It”研究[5]。应该承认，由于“一
24
第 7 卷 第 2 期 2011 年 2 月
幅画胜过千言字”，实现多媒体数据所蕴含丰富语 义的精确标注，仍然面临巨大挑战。
为了反映跨媒体数据中存在的交叉关联等复杂 关系，矩阵、张量和图等形式下数据结构被使用[8]，
由于其能描述复杂对象各组成部分之间的拓扑结 构，并能阐明关于表示的假设，使得计算效率被 有效提高而成为研究热点，如何实现矩阵、张量和 图等复杂结构处理是实现跨媒体理解要解决的关键 问题。
第 7 卷 第 2 期 2011 年 2 月
跨媒体分析与检索
关键词：跨媒体 搜索引擎 语义标注 海量信息
吴 飞 杨 易 庄越挺 浙江大学
引言
图像、音频和视频等不同类型多媒体数据以及其包 含前景/背景、音乐/语音和镜头/关键帧等结构化对
互联网中所包含的网页文字、图像、音频、视 象之间的交叉关联；（3）用户检索过程中交互信
交叉关联：网页之内或者网页之间所包含的链接、 （如图2）。