进展报告范文

400000624X—2006CB303100/02 公开

国家重点基础研究计划（973计划）

技术进展报告

可视媒体智能处理的理论与方法

研究进展

撰写人：刘永进、胡事民

清华大学

2009年10月

辑要页

目次

引言 (1)

1 研究进展概述 (1)

1.1可视媒体的认知特征研究 (1)

1.2可视媒体的计算理论与方法研究 (2)

1.3可视媒体的表示、分析与利用研究 (2)

1.4基于内容的可视媒体安全研究 (2)

1.5可视媒体的交互与融合处理研究 (2)

1.6可视媒体的高效计算与系统研究 (3)

2研究工作的主要进展 (3)

2.1人的视觉加工的认知机理 (3)

2.2人类视觉认知的神经机理 (4)

2.3可视媒体计算的基础理论研究 (4)

2.4可视媒体人体运动分析中视觉信息的表示与融合 (4)

2.5可视媒体的概念索引与语义组织表示 (5)

2.6可视媒体的信息挖掘与知识发现 (5)

2.7基于内容的可视媒体安全 (6)

2.8可视媒体的交互与融合处理 (6)

2.9可视媒体的高效计算与系统 (7)

3重要阶段性成果或突破 (8)

3.1空间表征特性的研究 (8)

3.2人脸认知 (10)

3.3黎曼流形上的学习理论 (11)

3.4 XML数据查询处理的语义缓存研究 (12)

3.5 基于星型结构的近似图编辑距离计算 (12)

3.6 基于视觉注意力模型的数字图像拼接篡改检测 (13)

3.7 二维可视媒体的融合 (14)

3.8 可视媒体的高效计算方法 (15)

4结论与建议 (15)

参考文献 (17)

插图清单

图1 实验中一个被试的眼动轨迹 (9)

图2 学习图形 (9)

图3 测试图形 (9)

图4 空间Stroop任务实验范式 (10)

图5 人脸学习测试程序示意图 (10)

图6 姿态和表情的不同迁移效应 (11)

图7基于序列的频繁XML查询模式的增量挖掘算法ESPRIT (12)

图8 检测系统结构 (13)

图9 对拼接图像的检测结果 (14)

图10Sketch2Photo效果 (15)

附表清单

表1 Cmid性能对比 (14)

引言

本报告从三个层次（基础理论层面、核心技术层面和验证平台层面）论述了在可视媒体的认知特征，可视媒体的计算理论与方法，可视媒体的表示、分析与利用，基于内容的可视媒体安全，可视媒体的交互与融合处理，视媒体的高效计算与系统等6个方面的研究进展：可视媒体的认知特征研究方面，研究了人类视知觉特性与神经机理，为可视媒体的智能处理提供理论依据。取得的具体进展包括研究了物体识别与参照系的关系、人们在视觉学习中自动组织和提取规则信息并理解视觉信息的特性；研究了视知觉阈限，研究了认知负荷研究和表情和面孔研究；开展了人视觉工作记忆的生理机理和神经网络模型的应用研究。

可视媒体的计算理论与方法研究方面，研究了可视媒体计算的基础理论和新方法，具体包括：研究径向基函数插值与拟插值理论、计算共形理论、基于认知机理的人工神经网络模型、可视媒体应用中的机器学习以及在图像、视频、几何数据的计算新方法。

可视媒体的表示、分析与利用研究方面，重点探索可视媒体的表示与组织的方法，可视媒体的信息抽取，以及海量可视媒体信息的挖掘和搜索，并建立可视媒体的按需服务机制。具体取得了研究进展包括：可视媒体三维运动分析与理解；基于语义缓存的可视媒体搜索的组织与结构；基于混合高斯模型的层次马尔科夫随机场模型；可视媒体语义层模式聚类与自动标注；视频原子事件序列中的高频关联模式挖掘及分类方法研究，序列蒙特卡罗算法研究；结合网络编码的对等网络流媒体传输系统扩展与性能优化。

基于内容的可视媒体安全研究方面，针对可视媒体内容安全的几个基本问题和方法进行研究，具体取得的研究进展包括：可视媒体加密的安全性度量方法，分析加密后可视媒体信息的视觉保密性；可视媒体内容加密的技术框架；分析可视媒体加密的网络适应性；面向可分级编码的基于内容的加密方法；信息加密和信息隐藏的结合机制；抗几何攻击的图像水印、抗几何攻击的三维几何模型水印、数字水印的安全性；合成图像的盲辨识；鲁棒图像Hash 算法。

可视媒体的交互与融合处理研究方面。研究了可视媒体的交互与融合处理技术，具体取得的研究进展包括：三维动态可视媒体的构建；三维静态可视媒体构建；二维静态可视媒体（图像）融合；三维动态可视媒体（视频）融合；基于草图和文本的视频语义分析与标注；基于草图界面的交互式视频构建与浏览。

可视媒体的高效计算与系统研究方面，取得的具体研究进展包括：在图像、视频、几何数据的生成与编辑等方面研究可视媒体高效计算方法，注重媒体处理的速度和智能化程度，初步构建了可视媒体高效计算系统与应用验证平台，并进一步加强和完善模拟仿真和决策支持应用平台、面向内容产业的数字媒体应用平台的功能。

1 研究进展概述

1.1 可视媒体的认知特征研究

研究视觉工作记忆特性和三维场景记忆和识别，进一步验证了我们提出的以环境为中心的参照系空间记忆理论；研究人类视觉学习的自动组织原则，考察视觉系统如何提取规则信息，揭示了自动获取视觉信息规则的认知机制；研究视觉系统对视觉信息的敏感性和水印感知阈限，引入了图像质量主观评价的新方法-信号检测论法（SDT）；开展针对拥挤效应的认知负荷研究，揭示了人在不同知觉负荷条件下的认知机理；研究人脸语义表达的关键认知属性，建立基于维度分析法的语义属性度量模型，构建语义属性与图像参数的关联模型，实现了具有丰富语义表现力的脸像生成；研究了人类视觉记忆的生理机理，动物实验结果表明了利用药物提高大鼠脑内MgT浓度，其大脑中与学习与记忆紧密相关的区域的突触密度和可塑

性显著增加。

1.2 可视媒体的计算理论与方法研究

讨论了全在线分类学习的误差分析，获得了比前人的工作更好的理论误差结果；给出了利用MQ拟插值对高阶导数的逼近公式比通常也是仅知的差分思想更为精确及稳定。利用对偶方法对核学习的Lp误差估计问题进行了研究，得到了最佳的误差估计；利用拟插值求解非线性偏微分方程获得了非常好的效果；提出了对传统的离散Ricci流的扩展方法，极大地丰富了现有的计算共形理论；从理论上论证了一类具有周期激活函数的人工神经网络模型具有更强的图像存储以及联想记忆的能力; 在人体检测研究中，我们将图像底层特征，如边缘特征，通过机器学习方法，寻找特定类物体的共生关联特征，有机地组织起来，构建高效的检测算法，取得了较好的性能。

1.3 可视媒体的表示、分析与利用研究

提出了基于多源视觉字特征融合的三维人体运动估计算法，构建了融合多目信息的区分式框架，并对视觉信息的质量和数量以及算法对人体运动估计的影响进行了理论分析和量化评估；提出了一种基于L∞范数和二阶锥规化的双目变形体运动分析方法，在不需要引入任何时间约束和平滑约束的情况下，将问题表述为二阶锥规化问题以得到有效的全局最优解；研究了基于显著局部特征的视觉物体表示与分类方法；在无结构数据、半结构化数据和结构化数据等方面全面开展了关键字检索技术的研究，并且利用图结构统一解决了异构数据的关键字检索问题；完成了结构化P2P网络中，不确定数据的TOP-k查询处理算法的研究，包括路由策略，查询处理算法和提高查询处理效率的优化剪枝规则等；研究了视频镜头的聚类技术，提出了一种对视频镜头的半监督聚类算法(SSCA)；研究了基于软目标的图像高斯混合模型判别学习方法，用于通过对训练数据的学习，获得具有最佳分类能力的模式分类器。研究内容包括基于软目标的贝叶斯分类器判别学习准则、基于判别学习的高斯混合模型选择方法和面向判别学习的智能优化算法；提出了对等网络中基于节点协作的资源交换与负载均衡策略，提高了系统资源的利用率和客户端的总体观看质量。

1.4 基于内容的可视媒体安全研究

在可视媒体内容安全传输方面：提出了基于关键特征的可视媒体加密的安全性度量方法；提出了满足实际网络传输环境和不同应用需求的可视媒体加密与安全传输方案，特别是无线通信环境下的安全传输算法和大规模环境下的密钥管理方法；提出了基于长周期混沌序列的可视媒体加密；在可视媒体数字水印和信息隐藏方面：提出了针对国际著名隐藏算法的隐写分析方法；提出了多种有实用价值的图像隐写方法；提出了鲁棒的图像/三维几何模型水印算法；在可视媒体取证方面：取得了鲁棒图像Hash算法的安全性方面的一些有重要意义的结论；提出了利用视觉生理和视觉心理结论的篡改合成图像的辨识方法；提出了基于JPEG

误差分析的JPEG拼接造假图像的检测方法。

1.5 可视媒体的交互与融合处理研究

提出一种基于颜色约束的无标识运动捕捉方法，利用颜色信息的约束提高了运动捕捉的鲁棒性，并通过实验证明了引入颜色信息的必要性和有效性；对高精度准密集点云重构算法、

相机自定标算法做了较深入的研究。提出了一种宽基线高精度准密集点的生成算法；提出了一个基于互联网的图像合成系统Sketch2Photo，可以将用户输入的带文字标签的手绘草图转换成一张具有真实感的合成图像；提出了一种可以保持alpha matte序列时间连续性的、不需要trimap作为输入的自动式video matting算法；提出了面向视频内容描述的语义草图(semantic sketch) 的概念，丰富了视频摘要的语义内容和表现形式；针对传统的单一线性浏览方式，提供了多种可定制的视频浏览方式，满足用户不同的交互意图。

1.6 可视媒体的高效计算与系统研究

将一些几何处理的方法和思想融入到图像与视频的编辑中，以提高算法的速度和智能化程度；提出了一种基于层次结构树的高效视频编辑传播方法；提出了一种高效的BTF编辑方法；提出了一种新的基于图像处理的重光照技术；研究了利用共形几何理论的可视媒体处理算法，通过离散微分属性可以更好地表示和编辑图形图像；提出了一种全自动、保拓扑的梯度网格矢量图生成方法；提出了一种利用重心坐标基于体网格梯度场的三维变形方法，通过保持微分梯度信息使变形具有保持几何特征的功能；通过把几何处理中常用的共形能量引入到图像处理领域，提出了一种基于共形能量的内容敏感图像缩放方法；通过定义不同的模型精度感知因子，提出了基于感知因子的三维动画模型自适应简化方法；根据局部几何相似性对边缘、纹理特征的保持性等特征，提出了能够保持图像边缘的放大方法，揭示了局部相似性模型与当前流行的各种模型的本质联系；在可视媒体的高效计算方法研究的基础上，我们初步构建了可视媒体高效计算系统与应用验证平台，以展示项目的研究成果；在面向内容产业的数字媒体应用方面，我们建立了数字家庭运营支撑平台，目前此平台已被华为、宏天的产品采用。同时依托中国电子工业标准化技术协会数字家庭互动应用标准工作委员会，搭建了标准与SDF可视化设计平台。依托中国数字家庭产业联盟，已在番禺、云浮、茂名、江西等地展开了试点工作。

2 研究工作的主要进展

2.1 人的视觉加工的认知机理

抽取可视媒体的关键信息（物体、人脸与空间信息），研究人加工这些可视媒体关键信息的认知特点和机理。

首先，在空间认知方面，本课题首次用眼动追踪的方法研究空间记忆的特性，在同一个研究中既考察空间记忆的编码阶段，也考察空间记忆的提取阶段，从而发现场景结构对空间记忆编码和提取过程的影响（Mou, Liu, & McNamara, 2009）。对物体形状认知的研究，发现了场景内在参照系的影响（Li, Mou, & McNamara, in press）。这两项研究都进一步验证了我们以往提出的场景内在参照系理论。采用双任务范式的另一研究发现，第二任务（多物体追踪）只影响与空间信息有关的视觉工作记忆，表明视觉记忆与视觉注意只竞争与空间有关的资源（Zhang, Xuan, & Fu, in press）。此外，关于空间Stroop效应的两项研究发现，空间Stroop效应受物体注意而不是空间注意的调制（Luo, Lupiez, Funes, & Fu, in press），但消失线索和出现线索都影响空间编码（Luo, Lupiez, Fu & Weng，in press）。

其次，在人脸的学习和记忆方面，本课题发现多姿态的人脸学习能够帮助新表情人脸的识别，但多表情的人脸学习并不能帮助新姿态人脸的识别（Chen & Liu，2009）。采用多面孔追踪任务展开的系列研究发现，人会对人脸进行自动加工，且这种与追踪任务无关的人脸加工会损害对面孔进行追踪的绩效，而在有意识别人脸的条件下对面孔追踪绩效的损害更严重（Ren, Chen, Liu, & Fu, 2009）。面孔不仅表达身份信息，还表达情绪信息。本课题最

近对情绪和认知的关系做了详细的总结，认为两者更多地是以交互的关系影响人的心理和行为（Liu, Fu, & Fu, in press）。

2.2 人类视觉认知的神经机理

采用内隐序列学习范式进行心理学实验研究，发现有规则的序列空间位置信息会被人们有意识和无意识地编码，而且人们对于无意识知识能有一定程度的控制，但这种控制可能是无意识的（Fu, Dienes, & Fu, in press）。另一项ERP研究发现，违反规则的字符串比符合规则的字符串在额区诱发了更大的N2成分；有意识的归因条件比无意识归因条件诱发了更大的P300成分。这表明学习所获得的知识根据意识参与程度的不同，在大脑皮层会有不同的表达（这项研究已成文投稿）。

第一课题通过动物实验发现，利用药物提高大鼠体内MgT浓度，其大脑中与学习与记忆紧密相关的区域（如海马区、前额叶皮层）的突触密度和可塑性显著增加，神经网络动态范围增大，处理信号的能力（信噪比）增强。重要的是，大脑海马区突触密度与其学习记忆能力呈正相关，证明了增强突触的密度确实能够增强视觉学习与记忆能力。

2.3 可视媒体计算的基础理论研究

在黎曼流形上的学习理论中，系统的研究了在线分类和多核算法。跟以往正则化参数固定的半在线算法有不同，课题组提出了一类更符合实际操作的全在线分类算法。同时课题组提出了通过估计由正则化参数变化而产生的漂移误差，来分析该算法的使用性能。

在可视媒体非线性数据近似方面，在Sobolev空间内，提出了一类基于径向基函数的可视媒体数据近似理论。在散乱数据点插值理论方面，提出了一类具有线性再生和保单调性质的MQ函数插值理论。

在共形计算理论中，对传统的离散Ricci流进行扩展为包含基于反逆距离（Inversive Distance）Circle Packing度量的表示，从而放宽了传统方法对Circle Packing度量中圆交角为锐角的限制，因此对于三角剖分质量较差的网格，可以精确地表达原网格的欧式度量，进而得到共形性非常好的参数化结果。此外，扩展的Ricci能量的凸性保证了优化的稳定性，并可以用牛顿法进行快速求解。

在设计曲面上旋转对称方向场时，将N路旋转对称方向场构造的问题转化为设计黎曼度量，使得度量的整体对称性与方向场的局部对称性相一致。这一方法还推广到对曲面进行规则网格重剖。该方向场设计方法可以应用于钢笔素描、网格重剖等。

2.4 可视媒体人体运动分析中视觉信息的表示与融合

可视媒体中充斥着大量以人体运动为中心主题的视觉信息，如何表达和利用这些视觉信息是人体运动分析研究中的一项重要内容。我们主要进行了以下几方面的研究：（1）由于三维人体运动分析依赖于对图像的精细表达，这样才能较好地捕捉不同图像间人体三维动作姿态的细微差别，为此，我们提出了一种新的基于视觉字的图像表达方法，利用图像角点经常出现在人体动作区分度较强的区域上的特性，把带有坐标信息的角点作为描述图像特征的基本单元，进而在海量数据上建立人体运动的视觉码本。这样的表达在单目人体姿态估计上获得了较好的效果。

（2）即使借助诸多先验知识的约束，仅有单目信息对三维运动分析还是不够的，为此我们在区分式框架下引入了多目信息，通过融合这些信息得到更为精准的姿态重建效果。在

融合过程中，需要解决的重要问题是以目的数目表征的视觉信息的数量与以目的不同组合表征的视觉信息的质量对最终的人体姿态估计的影响，我们首次对这些影响作了定量分析并对重建算法和图像特征进行了理论分析。

（3）借鉴生物视觉研究中视觉特征的层次化特性，我们在HMAX的基础上加入了两种表达局部特征的信息，即以基于图像块的SIFT特征和C1特征分别捕捉形状和纹理视觉信息，并通过度量尺度的学习融合两类局部特征进而形成对图像信息的全局表达，这种方法在物体识别上取到较好的效果。

2.5 可视媒体的概念索引与语义组织表示

提出了基于合作的类特定和全局视觉词典表示的图像分类方法。将每一类对应的局部特征用高斯混合模型建模，其中的每个成分对应于一个类特定的视觉单词。在所有类特定视觉单词构成的集合上执行k-means聚类，从而得到全局视觉词典。利用所生成的类特定和全局视觉词典之间的合作关系，定义图像表示方法，实现分类。该图像表示方法的特点在于每一类对应的图像特征矢量是变化的，有利于获得更高的判别能力。所提出的图像表示和分类方法已被应用于物体识别和图像检索问题，在常用数据库PASCAL VOC 2006, Caltech-101和Corel-5K数据库上的比较实验表明了该方法的有效性。

提出了基于视觉单词统计建模的软直方图图像表示方法，应用于物体识别。利用高斯混合模型建模视觉单词外观变化的统计特性，根据给定局部特征时视觉单词对应的后验概率来定义图像的软直方图表示。该方法在常用数据库Caltech-4上表示出良好的性能。

2.6 可视媒体的信息挖掘与知识发现

作为图像处理和计算机视觉领域的基础研究方向，可视媒体复原算法中很多问题至今都没有圆满的解决，甚至还悬而未决。如何更好的利用先验知识与优化算法克服复原问题新的瓶颈，是我们研究的重点。本年度研究了盲卷积的难点以及当前盲卷积算法的主要瓶颈，提出了基于局部最优解的多尺度盲卷积算法和基于混合高斯—领域专家模型的盲卷积算法，分别从两个不同角度克服了盲卷积算法的瓶颈。研究了反卷积算法中的两个难点问题，即抑制波纹效应和平滑噪声，针对两个难点分别提出了多尺度梯度约束的反卷积算法和基于最大后验概率的反卷积算法，取得了很好的效果。

在基于上下文约束的视觉事件识别研究方面，通过对视觉元事件进行表示和识别，将视频内容从高维特征空间映射到低维度视频元事件标签序列。在该标签序列上，结合频繁模式挖掘技术提出合成事件模式挖掘框架，并根据元事件的耦合强度将视频模式进行强度分类，保证了动态环境下序列模式拓扑结构的有效性和最优化。考虑到元事件与组合事件之间的二元性，本文提出扩展序列蒙特卡罗框架，实现了分层事件联合识别。本方法通过分析建立在动态像素基础上的视觉元事件的相互关系，建立了描述视觉事件的上下文关系的学习模型，籍此提出了上下文信息挖掘与视觉事件语义理解的统一框架，在去除视频内容语义二义性方面取得了较大进展。

在基于上下文约束的异常事件检测与可视化研究中，根据人们对异常事件的定义和理解，我们将视觉事件的异常分为两类：表象异常事件与上下文异常事件。在扩展序列蒙特卡罗框架中，依据上下文信息对未来时刻的事件进行预测（即期望），当未来时刻事件发生后采用K-L散度度量后验概率分布与期望分布之间的背离程度，对所发生事件的异常程度进行评估。在该方法中，表象异常事件同样会导致异常上下文，因此两类异常事件被统一到一个框架中进行检测。我们通过理论分析及实验验证证明了该异常判断准则的科学性。同时，在上下文

信息的辅助下引入异常上下文，拓宽了现有异常事件检测的研究范畴。

通过动态地扩展Trie树，使系统在动态的环境下始终保持一个近似完整的deBruijn

结构。其次采用iDistance降维方法把高维空间的数据进行聚类，再降维到一维坐标空间，因为度量空间中没有坐标信息，因此降维不会引入假阳性结果。通过提出的deBruijn哈希空间保序映射算法，把数据映射到deBruijn结构上。通过分析deBruijn拓扑特性，提出了基于每个deBruijn结点的路由树，该路由树保存数据的顺序与保序映射算法是一致的，因此通过路由树能够很快地定位到查询数据。在次基础之上，我们完成了基于内容的关键字查询处理算法和基于内容的多媒体查询处理算法的研究工作。

2.7基于内容的可视媒体安全

针对可视媒体海量、实时、高安全性的加密需求，借鉴混沌密码学和图像加密技术的成果，提出可视媒体混沌序列加密研究，着重解决有限精度下混沌序列退化问题和不保证服务质量的动态网络环境下混沌系统的同步问题，为可视媒体加密做到“一次一密”提供必要的研究基础和可能性。同时本研究已将部分研究成果应用于图像加密，实时视频加密，遥感影像加密等加密算法中。

深入考察了随机性测度，发现了它的不足，并指出了改进的方向。提出了一个测度来衡量图像Hash的脆弱性，并称该测度为期望分别度(Expected Discriminability)。期望分别度主要是计算两两不同图像之间Hash值的平均距离。基于期望分别度，从理论上分析了采用格雷编码的图像Hash算法的脆弱性。理论分析表明，图像Hash的脆弱性主要取决于图像Hash的量化方案。并且，我们还分析出了期望分别度的一个上界，即期望分别度的值不大于1/2。上述理论分析均得到了实验上的验证。

改进了Itti等（Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. PAMI 20(11) (1998) 1254–1259）提出的Itti-Koch自底向上的注意力模型并将其应用于篡改边界的发现。区别于原有模型，引入边缘锐度作为自上而下的任务相关信息来引导注意力模型。实验表明对于简单拼接图像（无后处理），从少数（5-6个）几个注视点（fixation）提取的特征就可以获得较高的分类性能。同时，注视点的个数和检测的局部图像块的尺寸是影响注意力模型命中率的两个重要因素。我们算法的优点还包括：（1）基于统计滤波定义的边缘锐度度量获得了更好的区分度和鲁棒性。（2）多层树状分类器使得分类器易于训练并获得了更高的定位精度。

2.8可视媒体的交互与融合处理

针对现有的马尔可夫随机场最大后验概率和活动轮廓方法所存在的问题(无法处理动态背景，阴影问题，未用到运动物体表面平滑和边缘平滑的先验知识)，提出了一种基于活动轮廓的运动目标分割算法。我们把运动目标分割问题看成是能量最小化问题，在能量函数中引入自适应混合高斯背景模型能量项，阴影消除项，曲线正则项。采用水平集进行曲线演化的时候，我们又引入了曲线演化边缘停止项，这使得我们的算法取得了较好的效果。

特征点匹配在一些计算机视觉和模式识别任务中非常关键，而特征点描述是特征点匹配的一个重要方面。相比其它局部特征点描述符，SIFT描述符在特异性和鲁棒性方面有更好的性能。但是SIFT描述符中未涵盖特征点的颜色和全局信息，而在特征描述和匹配任务中这些信息具有很强的区分性。于是使用SIFT描述符进行特征匹配时，许多特征点可能失配。我们提出了一种基于SIFT的特征点描述符框架，通过将颜色和全局信息合成到SIFT描述符中，改进了SIFT描述符。具体而言，该框架由SIFT描述符、三个颜色不变性分量和全局分

量构成。我们使用对数极坐标直方图分别构建了这三个颜色不变性分量和全局分量。此外，我们使用了特征点的椭圆邻域而不是圆邻域来构建框架的各个分量，从而使得框架对仿射变换具有不变性。

提出了一个基于互联网的图像合成系统Sketch2Photo，可以将用户输入的带文字标签的手绘草图转换成一张具有真实感的合成图像。我们用基于草图轮廓和内容一致性的方法将互联网搜索的海量图像数据过滤，正确率达到近80%。同时通过总结alpha融合和Poisson 融合各自优势，我们提出了一种新的基于混合边界条件的图像合成算法，得到了更好的合成效果。

研究了基于互联网的图像合成系统Sketch2Photo，可以将用户输入的带文字标签的手绘草图转换成一张具有真实感的合成图像。我们提出了互联网图像过滤和基于混合边界条件的图像合成算法，以及一个图像合成质量的评判标准，以此为依据选择一组互联网图像进行合成。论文“Sketch2Photo: Internet Image Montage”在ACM SIGGRAPH ASIA 2009的网站上公布后，在国际上引起强烈反响，被美国、英国、德国等国外新闻网站广泛报道。该成果给出了利用互联网上的信息，进行图像搜索和过滤、图像合成的新技术，有重要的应用价值。

2.9可视媒体的高效计算与系统

我们将一些几何处理的方法和思想融入到图像与视频的编辑、融合处理中，以提高算法的速度和智能自动化程度：

（1）基于层次结构树的高效视频编辑传播方法：编辑传播是图像、材质、视频编辑中的重要问题。它的主要原则是让颜色相似、距离相近的像素点获得类似的编辑。在基于编辑传播的编辑方法当中，用户只需给出粗略的几笔编辑，然后，依据编辑传播的原则，用户的初始编辑就会自动传播到整个数据集中。编辑传播具备较好的智能性，然而由于编辑传播的过程中需要构建大型相似矩阵，使得可处理的数据量级收到较大限制。例如，现有的编辑传播算法AppProp只能处理包含最多4百万像素点的图像。如果使用AppProp方法处理如下图中的视频(该视频共有400帧)，AppProp方法总共需要33G的内存，而如果采用out-of-core 的存储，在普通的PC机上，需要大约4个小时才能够完成编辑操作。为了能够编辑更大的图像与视频数据，在这个工作中，我们基于“表观相似、距离相近的像素点会收到相近的编辑参数”的假设，并根据不同像素点在表观空间和位置空间的距离，提出采用层次结构来组织所有的像素点。通过在树的角点上进行传播，而替代直接在像素点上的传播，从而极大的提高了编辑的速度。在较大视频数据上，提出的方法的处理速度可比前人方法约提高两个数量级，极大的增强了编辑传播方法的实用性。

（2）高效的BTF编辑方法：物体表观的建模与绘制一直是图形学中的重要课题。双向纹理函数(BTF，Bidirectional Texture Functions)是1999年Dana等人提出的一种物体表观模型，可以表现自遮挡、阴影、反射、次表面散射等多种光照效果。同时，BTF是一个基于图像的表达，可以看作是同一物体表面在不同光线方向、不同视点方向下的图像集合。然而，由于BTF数据量大，且不同视点方向的BTF图像存在隐式的对应关系，BTF的编辑一直以来是个难题。为了解决这一难题，我们提出了一种基于编辑传播的BTF编辑方法。我们提出使用视点无关特征，并结合编辑传播的思路，用以保证BTF数据的一致性。视点无关特征是从各个视点方向的图像中恢复得到，但同时又与视点方向相独立，包括法向、漫反射率等。用户可以随意编辑BTF数据中任一视点下的任一图像，然后，根据视点无关特征，自动的将用户编辑传播到BTF数据的所有图像中。这样，不同视点下的不同像素点如对应于细微结构上的同一几何点，那么他们将会拥有相同的视点无关特征，进而BTF数据编辑后的一致性得

以保证。由于我们的方法不需要显式地恢复几何，所以该方法能够处理各种复杂几何的BTF，包括非高度场BTF。

（3）全自动、保拓扑的梯度网格矢量图生成：梯度网格是商用软件中广泛使用的一种矢量图像表示，其内在结构是一个规则的网格表示，并且在每个网格顶点存储了颜色和梯度信息。梯度网格可以表示紧致且光滑变化的图像数据，尤其是对单个物体的整体描述。本文针对梯度网格图像生成在多个关键技术上取得了突破。首先，我们的方法可以对任意拓扑结构的图像生成梯度网格，即梯度网格所描述的物体可以含有任意多的孔洞。这对于表现由光照或内在结构形成的复杂形体具有极大的优势。其次，我们的方法融合了图像流形、参数化、曲面拟合的思想，是一个完全自动的过程。此前的梯度网格生成算法需要用户交互来引导网格结构的生成，并且需要将含有多个孔洞的物体分解成多个与圆盘同拓扑的区域，而我们的新方法由于无需用户干预，在算法效率上提高了10倍。最后，结合图像分割方法，我们的梯度网格生成算法还可以对整幅图像进行矢量化，并且可以通过控制拟合误差在梯度网格图像质量和存储量之间进行平衡。

以可视媒体的高效计算方法研究为基础，我们初步构建了可视媒体高效计算系统，为本项目各课题的研究成果提供验证平台，也同时为基于可视媒体智能处理的模拟仿真和决策支持应用平台和面向内容产业的数字媒体应用平台提供技术和功能支持。

（1）在平台构建方面，我们的系统采用插件化机制，核心模块紧凑，支持二次开发，大部分算法模块采用插件实现；同时，分离常用的算法形成基本算法库，采用C接口，可单独使用，极大方便科研单位的使用。

（2）在平台的功能方面，我们实现了可视媒体高效计算系统的基本框架，集成对数字几何模型、图像和视频的构建和编辑等各种处理算法，目前的主要功能包括：几何数据的获取与建模功能；三维模型的几何处理功能；三维模型的检索、传输与绘制功能；视频素材库构建与组织管理功能；虚拟场景对象编辑功能；虚拟场景快速缩放功能。

3 重要阶段性成果或突破

3.1 空间表征特性的研究

我们在空间认知领域，首次用眼动的方法同时考察空间记忆的编码阶段和提取阶段的特性，从而发现场景结构对空间记忆编码和提取过程的影响。以往的研究主要利用相对位置判断任务证明场景结构影响空间表征，这些结果发现对于具有明显结构的场景，空间记忆表现出依赖于场景结构方向表征的特性。但这些实验都是从提取过程入手来考察空间记忆的特性。在本实验中，利用眼动追踪技术记录人在编码阶段的眼动轨迹（如图1）。考察场景的结构方向是否影响眼动轨迹（编码阶段），以及是否影响提取过程。结果发现学习过程的眼动结果与学习过程之后完成的相对位置判断结果一致，即人表征了相对于场景结构方向的物体之间的关系。

我们研究证明了图形再认过程的视点依赖性和内在参照系依赖性。在物体识别(包括图形)领域一直存在着对它们的再认过程是否依赖于观察视点这一争论。本研究试图用场景表征和识别过程的内在参照系理论解释图形再认过程，即认为图形表征是相对于内在参照系的表征，在再认过程中首先需要确认内在参照系的方向，然后将测试时呈现的内在参照系方向与表征中的方向对正，我们预测图形再认过程会同时发现内在参照系的效应和视点依赖效应。学习的图形如图2所示，测试的图形为分别沿内在参照系方向裂开和观察视线方向裂开，并且测试图形从观察视点方向和30°的新异方向呈现（如图3）。实验结果发现了图形再认过程的视点依赖效应和内在参照系效应。该研究为物体识别领域提供了新的理论框架。

图1实验中一个被试的眼动轨迹

图2 学习图形

图3 测试图形

我们还首次证明了注意对空间编码的影响源于客体注意。一个空间Stroop任务的例子是一个指向左或右的箭头随机出现在中央注视点的左边或右边（图4）。实验任务是辨别箭头的方向并忽视其位置，结果发现箭头指向与其位置对应时（如，指向左的箭头出现在注视点的左边）比它们不对应时（如，指向左的箭头出现在注视点的右边）反应较快，正确率更高。由于反应绩效系统地受到目标位置的影响，空间Stroop效应被认为是空间编码形成的一个直接的指标。较早期的研究表明，同线索与目标出现在不同位置相比，线索与目标出现

在同一位置会降低空间Stroop效应。但是以往的研究中所用的线索不仅提示目标出现的位置也对目标所在客体进行提示。很多的证据表明这两种不同的提示分别对应于两种不同的注意成分，即基于位置和基于客体的注意。我们的研究考察了这两种不同的注意成分对空间编码的影响，发现当目标和线索出现在同一客体中时，空间Stroop效应不存在差异，即同位置与同客体条件下无显著差异；同时发现线索与目标出现在不同客体中的空间Stroop效应要显著大于他们在同客体中所产生的空间Stroop效应。由此我们得出结论，注意对空间编码的影响源于其中的客体注意成分。

图4 空间Stroop任务实验范式

图5 人脸学习测试程序示意图

3.2 人脸认知

我们首次研究了人脸认知图像不变性的表征获得过程中姿态和表情信息的整合特性，发现了姿态和表情在这种整合迁移中的不对称作用，揭示了人类人脸匹配中基于图像相似性的特点。在此项工作中，采用学习迁移的概念和实验范式（图5）来研究姿态和表情变异下的人脸学习是否有助于新的图像变异条件下的人脸识别。结果（图6）发现，多个不同姿态下的人脸学习能够帮助新表情下人脸的识别，但多个不同表情下的人脸训练并不能帮助新姿态下人脸的识别。我们从基于图像相似性的角度讨论了不同图像变换与人脸学习的关系，并在专门的文章里研究了计算机视觉领域中人工人脸识别系统基于图像相似性的识别与人类基于图像相似性的人脸匹配行为之间的关系。

图6 姿态和表情的不同迁移效应

关于多人脸追踪的研究也取得重要进展。以往研究表明，多物体追踪过程中身份加工绩效很差(Pylyshyn, 2004)。我们采用相似的实验范式，探讨多人脸追踪过程中人脸的身份加工与追踪之间的关系。实验一证明了人类在动态过程中的人脸学习以及追踪过程中人脸身份的时空绑定能力；实验二发现正立人脸的追踪绩效显著低于倒立或完全相同的正立人脸的追踪绩效，表明正立人脸激活了某种程度的强制性身份加工，从而与追踪过程竞争注意资源；实验三发现只有作为追踪目标的人脸身份得到加工；实验四表明追踪过程中切换人脸的身份会损害追踪绩效，说明追踪中身份的加工是强制性的；实验五发现注意在身份加工和追踪过程之间的分配权衡关系。这些结果反映了追踪中人脸身份加工的注意偏向，与多物体追踪不同。

3.3 黎曼流形上的学习理论

机器学习是研究如何利用已有的经验数据设计一些算法使计算机具有学习功能。本课题主要分析了两类算法—在线分类算法和多核算法。特别地，给出的分析适用于流形学习(即所给的数据或所研究的函数关系分布在一个低维流形上)，欧氏空间的情形只是其中的一个特例。

首先，研究了一类更符合实际操作的全在线分类算法。它是一种可以表达为再生核希尔伯特空间中泛函极小化问题的在线算法。该算法的一个重要特征是正则化参数随着时间的变化而变化。我们先用一个新方法来估计由正则化参数变化而产生的漂移误差，然后在再生核希尔伯特空间中估计样本误差的强收敛阶。最后，对应于几个特殊的损失函数，结合关于额外分类误差和额外泛化误差的比较定理以及关于正则化误差的衰减性假设得到该算法对应的额外误差估计。特别地，给出了对应于q-范数的支持向量损失函数(q≥1)的全在线支持向量机的收敛阶。

从2000年开始，流形学习逐步成了学习理论中的一个热门话题。它的核心思想是假设数据及函数关系分布在一个嵌入到n维欧氏空间的d维子流形上，一般地，d比n小很多。但已有文献的大多数研究是实验性的，即通过大量数据的算法应用说明流形结构对算法的影响。一般是用数值结果说明实际数据及所学函数关系中有很强的流形结构，这些结构可以大

大提高算法的收敛性和降低算法复杂性。但到现在为止，只有较少的文章有较严格的数学分

析。因此如何在数学上严格证明流形结构对学习算法的本质影响成了一个公认的，困难而又意义重大的研究课题。

给出了定义在连通紧致C∞黎曼流形上高斯函数的逼近和学习能力。当被逼函数属于

Lip(s)时，方差为σ的高斯函数卷积被逼函数有O(σs)的一致逼近阶；而当被逼函数属于Sobolev空间H2p(X)时，方差为σ的高斯函数卷积被逼函数在Lp(X)意义下有O(σ2)的收敛阶。其中，紧黎曼流形中的一致凸邻域在得到相应逼近阶过程中起着十分关键的作用。另外，通过比较逼近阶，说明了单核算法和多核算法的本质区别。分析说明黎曼流形的维数对多核高斯学习算法的本质影响，有着重大的理论及应用前景。

3.4 XML数据查询处理的语义缓存研究

XML已经成为万维网上数据表示和数据交换的标准，在网络上得到了广泛应用与普及，其中XML数据的查询处理是当前国内外学术界和工业界共同关注的热点问题。传统的关系数据库系统利用缓存来提高查询处理速度，本课题主要研究如何利用缓存技术来提高XML数据的查询处理速度。

我们的主要研究思路是可以缓存一部分XML查询和相应的查询结果，接下来用这些缓存的结果来回答后续的XML查询。由于XML查询是树型结构，因此XML数据的缓存技术就要更加复杂。通过挖掘频繁的XML查询，利用频繁的XML查询和相应的结果来回答后续的XML

查询是提高查询处理速度的途径之一。

传统的挖掘XML频繁查询的方法都是通过直接挖掘频繁树的方法来得到频繁的XML查询，由于验证树之间的包含关系非常耗时，因此传统的算法效率较低。本课题研究人员把XML

查询转换为序列结构，通过挖掘频繁的序列来得到频繁的XML查询，从而提高挖掘的效率。课题研究人员的主要贡献是提出了高效的索引和增量式的算法来提高挖掘速度（图7）。此外，课题组还提出了缓存替换策略和查询重写等技术来提高缓存的效果，提高缓存的命中率。

图7基于序列的频繁XML查询模式的增量挖掘算法ESPRIT

3.5 基于星型结构的近似图编辑距离计算

图编辑距离是度量两个图之间相似性的重要手段之一，在诸如模式识别、计算机视觉、图数据的聚类和分类等众多领域有着广泛应用，近年来成为模式识别、数据挖掘和数据库等

领域的一个重要研究问题。然而非常不幸的是图编辑距离的计算是一个NP-Hard问题，计算复杂度极高。

针对这一问题，我们提出了一种基于星型结构的近似图编辑距离计算算法，并可以用于图数据库的图检索（如图像检索）。在大量的真实数据和人工生成数据上的实验结果表明算法具有很高的可伸缩性以及所设计策略的有效性。

本项工作在以下几个方面取得了突破：（1）提出了3种新颖的方法以用于在多项式时间内计算两个图之间编辑距离的上界（upper bound）和下界（lower bound）；（2）应用所提出的图编辑距离上、下界的计算方法进而设计了APPFULL和APPSUB两个算法，以完成对图数据库的图检索功能。

3.6基于视觉注意力模型的数字图像拼接篡改检测

数字图像拼接是最常见的一种篡改形式，其通过一幅图像中的物体剪贴到另一幅图像中形成新的幅伪造图片。检测这种篡改的关键之一是如何区分自然边界和拼接形成的异常边界以及如何在图像中发现这种局部的细微区别。

这项研究着重将人类能够有效发现篡改的视觉机制引入到篡改图像的发现中。视觉心理告诉我们，人眼能够较好的发现一些细微的异常之处是由于生物视觉系统中存在一种视觉注意力机制。依据此原理，我们改进了Itti等（Itti, L., Koch, C., Niebur, E.: A model of saliency-based visual attention for rapid scene analysis. IEEE Trans. PAMI 20(11) (1998) 1254–1259）提出的Itti-Koch自底向上的注意力模型并将其应用于篡改边界的发现。区别于原有模型，我们引入边缘锐度作为自上而下的任务相关信息来引导注意力模型（图8）。

图8 检测系统结构

实验表明（图9）对于简单拼接图像（无后处理），从少数（5-6个）几个注视点（fixation）提取的特征就可以获得较高的分类性能。同时，注视点的个数和检测的局部图像块的尺寸是影响注意力模型命中率的两个重要因素。我们算法的优点还包括：（1）基于统计滤波定义

的边缘锐度度量获得了更好的区分度和鲁棒性。（2）多层树状分类器使得分类器易于训练并获得了更高的定位精度。

图9 对拼接图像的检测结果

提出算法与已发表算法的性能对比，结果（表一）表明我们的检测率和假阳性都明显优于对比算法。

表1Cmid性能对比

3.7二维可视媒体的融合

提出了一个基于互联网的图像合成系统Sketch2Photo，可以将用户输入的带文字标签的手绘草图转换成一张具有真实感的合成图像。我们用基于草图轮廓和内容一致性的方法将互联网搜索的海量图像数据过滤，正确率达到近80%。同时通过总结alpha融合和Poisson 融合各自优势，我们提出了一种新的基于混合边界条件的图像合成算法，得到了更好的合成效果（图10）。

研究了基于互联网的图像合成系统Sketch2Photo，可以将用户输入的带文字标签的手绘草图转换成一张具有真实感的合成图像。我们提出了互联网图像过滤和基于混合边界条件的图像合成算法，以及一个图像合成质量的评判标准，以此为依据选择一组互联网图像进行合成。论文“Sketch2Photo: Internet Image Montage”在ACM SIGGRAPH ASIA 2009的网站上公布后，在国际上引起强烈反响，被美国、英国、德国等国外新闻网站广泛报道。该成果给出了利用互联网上的信息，进行图像搜索和过滤、图像合成的新技术，有重要的应用价值。

图10Sketch2Photo效果

3.8 可视媒体的高效计算方法

研究了全自动、保拓扑的梯度网格矢量图生成方法，在多个关键技术上取得了突破。首先，我们的方法可以对任意拓扑结构的图像生成梯度网格，即梯度网格所描述的物体可以含有任意多的孔洞。这对于表现由光照或内在结构形成的复杂形体具有极大的优势。其次，我们的方法融合了图像流形、参数化、曲面拟合的思想，是一个完全自动的过程。此前的梯度网格生成算法需要用户交互来引导网格结构的生成，并且需要将含有多个孔洞的物体分解成多个与圆盘同拓扑的区域，而我们的新方法由于无需用户干预，在算法效率上提高了10倍。最后，结合图像分割方法，我们的梯度网格生成算法还可以对整幅图像进行矢量化，并且可以通过控制拟合误差在梯度网格图像质量和存储量之间进行平衡。

提出了基于层次结构树的高效视频编辑传播方法。为了能够编辑更大的图像与视频数据，在这个工作中，我们基于“表观相似、距离相近的像素点会收到相近的编辑参数”的假设，并根据不同像素点在表观空间和位置空间的距离，提出采用层次结构来组织所有的像素点。通过在树的角点上进行传播，而替代直接在像素点上的传播，从而极大的提高了编辑的速度。在较大视频数据上，提出的方法的处理速度可比前人方法约提高两个数量级，极大的增强了编辑传播方法的实用性。

提出了一种基于编辑传播的BTF编辑方法。我们提出使用视点无关特征，并结合编辑传播的思路，用以保证BTF数据的一致性。视点无关特征是从各个视点方向的图像中恢复得到，但同时又与视点方向相独立，包括法向、漫反射率等。用户可以随意编辑BTF数据中任一视点下的任一图像，然后，根据视点无关特征，自动的将用户编辑传播到BTF数据的所有图像中。由于我们的方法不需要显式地恢复几何，所以该方法能够处理各种复杂几何的BTF，包括非高度场BTF。

4 结论与建议

项目的六个课题均按要求完成了2009年的科研任务。与前两年相比，各个课题间研究成果的结合程度明显提高，第一课题的认知和第二课题的数学理论已经在后续课题中开始发挥指导作用。下一年中，项目将进一步扩大课题间的交流，完善和提高第一、二课题的成果在后续课题中的应用能力，同时也要求后续课题在实践中将实际产生的技术问题反馈到第一、二课题，从而在认知和数学基础上凝练科学问题，为项目的顺利结题和滚动建议提供有力支持。

第一课题在项目五年计划任务书中提出研究神经系统网络模型，并在此基础上，通过对神经系统结构的研究和运算方法的量化，设计某种专门抑制冗余信息的基本元件和计算模式。在近两年的研究中，项目组在这个方向上取得了良好进展。第一课题在Journal of

Neuroscience和Journal of Neurophysiology上分别发表论文，对神经生物线路的计算元件的生物学特性进行了数学化描述，给出了神经网络与非生物系统信息存储结构之间的差异性。基于第一课题在神经生物学方面的研究发现，第二课题在本年度的IEEE Transaction on Neural Networks上发表论文，从数学理论上论证了一类具有周期激活函数的人工神经网络模型具有更强的图像存储以及联想记忆的能力。研究工作还表明这类人工神经网路模型在一定的参数条件下具有更大的正的拓扑熵的复杂动力学性质，为设计出具有更大记忆功能的计算机存储方式提供了理论依据。由于在这个方向上的良好进展，项目组依据项目中期调整方案的聚焦各课题研究成果，在典型应用示范系统上进行集成的要求，项目组在今后工作将不再进行“研究完整的生物神经组织（脑片）的生物学计算特性”和“探索神经系统三进制工作原理、并据此设计某种专门抑制冗余信息的基本元件和计算模式”的研究，而改为进行将已有研究成果在可视媒体智能处理中的应用研究。同时，第一课题中关于认知特性的计算模型和几何特征到视觉特征的映射模型，因为研究内容过于分散且在国际前沿研究中已经过时，项目组今后将不再进行研究，改为项目中期调整方案中建议的相关研究。

在系统集成和体现国家重大需求方面，第六课题已经开始汇总整体项目形成的核心技术和理论方法。下一年将聚焦在构建大规模三维模型库和配套编辑软件，以及在视频镜头快速分割、自动标注、虚实结合的合成等方面形成完善的系统和验证平台。