一种基于内容相关性的跨媒体检索方法_张鸿

第31卷　第5期2008年5月

计 算 机 学 报

CH IN ESE JOU RNA L OF COM PUTE RS

Vo l .31N o .5

M ay 2008

收稿日期:2006-06-16;最终修改稿收到日期:2007-12-27.本课题得到国家自然科学基金(60525108,60533090)、国家科技支撑计划课题(2006BAH 02A13-4)、国家“八六三”高技术研究发展计划(2006AA010107)、高等学校科技创新工程重大项目培育资金项目、长江学者和创新团队发展计划(IRT0652)资助.张　鸿,女,1979年生,博士,讲师,主要研究方向为多媒体分析与检索、机器学习.E -mail :z hang -h ong z ju @yahoo .com .cn .吴　飞(通信作者),男,1973年生,博士,副教授,主要研究方向为多媒体分析与检索、统计学习理论.庄越挺,男,1965年生,博士,教授,主要研究领域为多媒体数据库、人工智能、基于内容的多媒体检索、视频动画等.陈建勋,男,1957年生,博士,教授,主要研究领域为基于Web 的多媒体检索和计算机图形学等

一种基于内容相关性的跨媒体检索方法

张　鸿

1),2)

　吴　飞2)　庄越挺2)　陈建勋

1)

1)(武汉科技大学计算机科学与技术学院　武汉　430081)

2)(浙江大学人工智能研究所　杭州　310027)

摘　要　针对传统基于内容的多媒体检索对单一模态的限制,提出一种新的跨媒体检索方法.分析了不同模态的内容特征之间在统计意义上的典型相关性,并通过子空间映射解决了特征向量的异构性问题,同时结合相关反馈

中的先验知识,修正不同模态多媒体数据集在子空间中的拓扑结构,实现跨媒体相关性的准确度量.实验以图像和音频数据为例验证了基于相关性学习的跨媒体检索方法的有效性.关键词　跨媒体检索;异构性;典型相关性;子空间映射;相关反馈中图法分类号T P 391

Cross -Media Retrieval Method Based on Content Correlations

ZH ANG Ho ng

1),2)

　W U Fei 2)　ZH UANG Yue -Ting 2)　CH EN Jian -Xun

1)

1)

(C o llege o f C omp uter S cience &Technolog y ,Wuhan Univer sity o f Science &Technolog y ,Wuhan 430081)

2)(Institute

o f Ar tif icia l Intellig ence ,Zhej iang Univer sity ,Han gz hou 310027)

A bstract M ost traditional co ntent -based multimedia retrieval metho ds are designed fo r multime -dia data o f single m odality .Such me thods include image re trieval ,audio retriev al ,video retriev -al ,etc .This pape r propo ses a novel cross -media retriev al approach ,w hich can proce ss multime -dia data of different m odalities and m easure cro ss -media similarity ,such as image -audio similari -ty .First statistical m ethod is used to learn canonical co rrelations betw een low -level feature space s of different mo dalities .Then ,sub -space mapping is designed to build an isomo rphic subspace and solv e the hete rogeneity pro blem betw een different lo w -level feature vecto rs .This subspace con -tains m edia objects of different modalities ,and each media object is represented w ith iso morphic vector .Since canonical correlatio ns am ong m ultimedia objects a re furthest preserved during the mapping process ,cross -media similarity can be estima ted with defined distance metric .Fur ther -m ore ,relevance feedback pro vided by users is utilized to learn prior know ledg e and refine multi -m edia topology in the subspace .In this w ay cro ss -media similarity is mo re consistent w ith human perceptio n with the inco rpo ration of user interaction .Bo th im ag e and audio data are selected fo r e xperiments and co mparisons .Given the same visual and auditory features the new approach out -perfo rms ICA ,PCA and PLS methods bo th in precision and recall performance .Overall cro ss -media retriev al results betw een images and audios are ve ry encouraging .

Keywords cro ss -media retrieval ;heterogeneity ;canonical co rrelation ;subspace mapping ;rele -v ance feedback