基于内容的视频检索
基于内容的视频检索技术在多媒体广告监测系统中的应用
替 代人 工进 行 多种 媒体 的广 告 监测 监管 ， 工作 人员 将
从 繁琐 的重 复性 工 作 中解脱 出来 ， 大大 降低 了工 作人
员 的工作 量 ； 同时在 电视 广告 的监测 中采 用基 于 内容 的视频 检索 技术 ， 比采 用音 频 检索 技术 具 有更 高 的 相
检索 速度 、 准度 和识 别率 。 精
如 ＱＩ Ｂ Ｃ等 著 名 的 图 像 检 索 系 统 ， 以 及 Ｖｄｏ ｉｅＱ、
Ｖ ｓａ ｅｋ等视 频 检索 系统 ， 持 以 不 同 的底 层 特征 ｉ ｌｅ ｕＳ 支
（ 色 、 状 、 理等 ） 草 图 、 颜 形 纹 、 图片 或视 频 片段 来 进 行 图 片和视 频查 询服 务 。
足 广 告 监 测 系统 对 识别 率 、精 准 度 和检 索 速 度 的要
基 于 内容 的视 频 检 索 需 要 构第 ２ ） ９期 ５
有 线 电视 技 术
尾 位置 与实 际广 告 的差距 。 检索 出 的广告 的长 度与 实
户群 ， 成为 主要 的广 告 发布媒 体 。 悉 ， 也 据 电视 广告 经
２ 基 于 内容 的 视频 检 索 技 术 简 介
基 于 内容 的 视 频 检 索 问（ ｏｔｎ— ａｅ ｉｅ Ｃ ｎｅｔ Ｂ ｓｄ Ｖ ｄ ｏ
Ｒ ｔｅ ａ， Ｂ Ｒ） ｅｒ ｖｌＣ Ｖ ，是 指根 据 视 频 的 内容 和 上 下 文 关 ｉ 系 ， 没有 人 工 参 与 的情 况 下 ， 在 自动提 取 并 描 述 视频 的特 征 和 内容 ， 现对 视 频检 索 。Ｃ Ｖ 自身 的技术 实 ＢＲ
有 线 电视 技 术
电视节目制作与播出
—
一
＿
基于内容视频信息检索系统的分析研究
特征的提取 ， 形成描述镜头 的特征索引 ； 依据镜头组织 和 特征索 引 ， 采用视频 聚类等方法研究镜头之 间的关 系 ， 把
内容相 近的镜头组合起来 ， 逐步缩小检索范 围 ， 直至查询 到所需 的视频数据 ， 按照用户要求返 回给用户 。 中镜头 其 检测技 术 、 镜头 聚类 技术 、 视频 库组织 和索 引技术 、 基于
【 ｂｔａｔ Ｔ ｉ ｐｐ ｒｇｖｓａｂ ｅ ｎｒ ｕｔ ｎ ｔ ｍ ｉ ｔ ｈ ｏ ｇ ｓａ ｄ ｐ ｎｉｌｓｏ ｏ ｔ ｔｂ ｓｄ ｖｄ ｏｒｔｅａ ｓｓ ｍ． ｒ Ａ ｓ ｃ】 ｈｓ ａ ｅ ｉ ｒ ｆｉｔ ｄ ｃｉ ｏ ａ ｅ ｎ ｌ ｉ ｎ ｒ ｃｐ ｆｃｎｅ — ａｅ ｉｅ ｅｒ ｖｌ ｙｔ ｆ － ｒ ｅ ｉ ｏ ｏ ｎ ｃ ｏｅ ｉ ｅ ｎ ｉ ｅ ｕ
ｔｅ ｎ ｌｚｓ ｓｖ ｒ ｙ ｉａ ｙｔｍｓ ｏ ｉｅ ｎｏｍａｉｎ ｒｔ ｅａ ｓｓｅ ｈ ｒ ａ ａｙ ｅ ｅ ｅａ ｔｐｃ ｌｓｓｅ ｆｖｄ ｏ ｉｆ ｒ ｔ ｅｒ ｖ ｌ ｙｔｍ，ｐ ｉｔ ｕ ｈ ｒｂｅ ｎ ｈ ｒｌｖ ｎ ｏｕｉｎ ａ ｄ ｌ ｏ ｉ ｏｎｓ ｔｔｅ ｐｏ ｌｍｓ ａ ｄ ｔｅ ｅｅ ａ ｔｓｌｔ ｓ ｎ ｏ ｏ
些系统能综合利用媒体 的若 干特征 ，但往往局 限于媒体 特征 的外部组合 ，还没有深 入研究 各类媒体特征 的内在 相关性 ， 更没有考虑 多媒体对 象的高层语义 特征 。
２ 基 于 内容 视 频信 息检 索 系统 实 例分 析
２１ Ｃｕ Ｖｉ ｅ ． ｅ ｄｏ
Ｉ Ｍ 的 Ｃ ｅ ｉｅｔ由视 频检 索 和浏 览 系统 、 Ｂ ｕ ＶｄｏＪ ２ 多媒体 信息 自动索 引系统组 成 ， 其结构如 图 ｌ 所示 ， 目标 是解 其 决大规模视频数据库 的生成 、索引和使用等具有挑 战性
基于内容的视频检索
基于内容的视频检索技术1、什么是基于内容的视频检索技术视频检索技术区别于传统的基于关键字检索的主要特点体现在，它是以图像处理、模式识别、计算机视觉、图像理解等领域的知识为基础，借鉴认知科学、人工智能、数据库管理及人机交互、信息检索等技术领域的知识与数据表示方法，通过引入新的媒体数据表示、数据模型，以及有效的检索算法和友好的人机界面，实现基于内容的视频检索功能。
视频检索技术相对于传统的基于文本的检索方法有两个突出特点：突破了传统的基于表达式检索的局限性，直接对视频的内容进行分析，完全由计算机自动实现提取特征和语义的过程，避免了人工描述的主观性，利用这些内容建立特征索引，实现基于内容的检索；采用相似性匹配的方法进行查询。
2、需要使用哪些技术一、视频镜头检测技术。
由于视频内容丰富，不易建立索引，可以将其从大到小划分为视频、场景、镜头及关键帧4个层次，其中，镜头是视频检索的基本单位，是摄像机一次操作所拍摄的图像序列。
对视频建立索引，首先要将视频分割为镜头。
镜头检测即找到镜头与镜头之间的切换，并找到切换前后的差异。
镜头切换包括渐变和突变，针对不同的情况需使用不同的检测技术。
二、关键帧提取技术。
检测出镜头之后，要进行镜头关键帧的提取。
镜头关键帧是反映镜头主要内容的一帧或几帧图像，因而需要它描述准确且存储数据量尽量小，计算不宜太复杂。
3、基于内容的视频检索技术的现状基于内容的视频检索系统大致分为索引、查询和检索3个模块。
索引模块运用镜头检测、关键帧提取、视频聚类、特征提取等技术对视频信息进行预处理，从而建立视频特征索引，以此作为视频检索的基础和依据；查询模块主要负责实现人机交互，并能通过用户的反馈信息对检索逐步求精；检索模块主要实现视频特征索引与用户提交的查询条件的相似度计算、特征匹配，并根据相关度排序后提交用户查询结果。
用户行为的知识是提高检索系统性能的一个渠道，包括用户熟知的主题、用户提出的确切问题和用户的行为。
基于内容的视频检索技术
２关键技术 ． 镜头分割视频流 中的镜头 ，是 由时间连续的视频祯
结合起来 ，以描述 视频节 目中有语 义意义 的事件 或活 动。这个工作称为镜头聚类。 （ ） 于分割的方法 。从一般 的角度来看 ，镜头 １ 基 聚类也可看作一个视频分 割问题 、与镜 头的时域分割不 同，这里不是也不能完全按 时间轴进行 切割 ，因为镜头 聚类 中镜头并不一定在播放 时间上连续 。可 以凭借助突 变或渐变检测将视频分成一 系列镜头 ，再根据 内容的相 关性结合镜头形成 聚类 。 （ 下转９ 页 ） ６
随着多媒体技术的发展和信息高速公路的出现 ，数 字视频的存储和传输技术都取得了重大 的进展 。视频检
索就是要从大量的视频数据 中找到所需 的视频 片断 。传
统 的视频检索只能通过快进和快退 顺序的方 法人工查 找 ，因而是一件非常繁琐耗时的工作 ，这显然已无法满 足多媒体数据库的要求 。用户往往希望只要给出例子或 特征描述 ，系统就能 自动地找到所需 的视频片断点 ，即
基站 １ 间的距 离 ；ｄ２ 之 ０ 是基站０ 与基站２ 间的距 离 ；ｄ 之 。 是车载终端与基站０ 之间的距离 ；ｄ是车载终端与基站 １ ｌ 之 间的距离 ；ｄ是车 载终端 与基站２ 间的距 离 。根据 ２ 之
效集成各种物流要素 的物流信息平台 ，可以为物流服务 供应商 、货物制造商和货 主提供统一高效 的沟通界面 ，
二 、内容
１视频数据 ．
１１ 频 数 据 的 结 构 ． 视
图像方式则采用基于运动 向量的参数模型 ，利用图像技
术获取运动 向量 ，从而建立模 型。 （ ）局部运动 向量 ２ 检测。视频 中的局部运动指场景中的 目标运动 ，它可看
描述视频（ 包括描述 它的元数据 ） 可从 以下３ 方面 个
基于内容的视频检索与关键技术简述
基于内容的视频检索与关键技术简述作者：马晨晨周政龙门来源：《新学术论丛》2013年第04期1.引言随着多媒体技术的发展和信息高速公路的出现，数字视频的存储和传输技术都取得了重大的进展。
如何能在海量的视频中找到需要的资料，是视频检索要解决的问题。
传统的视频检索只能通过快进和快退等顺序的方法人工查找，因而是一件非常繁琐耗时的工作，这显然已无法满足多媒体数据库的要求。
用户往往希望只要给出例子或特征描述，系统就能自动地找到所需的视频片断点，即实现基于内容的视频检索。
2.基于内容的视频检索基于内容的视频检索（Content Based Video Retrieval， CBVR）指根据视频的内容及上下文关系，对大规模视频数据库中的视频数据进行检索。
主要特点：直接从视频数据中提取信息线索，它是一种近似匹配，在没人工参与的情况下自动提取并描述视频的特征和内容。
它融合了图像理解、模式识别、计算机视觉等技术。
基于内容的视频检索的过程是先将视频流通过镜头边界检测分割为镜头，并在镜头内选关键帧，再提取镜头的运动特征和关键帧中的视觉特征，作为一种检索机制存入视频数据库，最后根据用户提交的查询按一定特征进行视频检索，将检索结果按相似性程度交给用户，用户可优化查询结果，系统会依用户意见灵活优化检索结果。
特征的提取和检索算法的优劣决定了系统的效率和性能。
3.关键技术视频包含着丰富的内容。
一般对视频采用分层的表达方式表示视频。
一个视频可以表示为场景、镜头、帧几个层次。
帧是视频最基本组成单元，镜头边界检测是视频层次化的基础。
3.1镜头边界检测实现基于内容的视频检索首先要将视频数据自动地分割为镜头，称为镜头边界检测或场景转换检测。
镜头的切换有突变和渐变，突变表现为在相邻两帧之间发生的突变性的镜头转换。
（1）基于像素的镜头检测方法利用视频两帧对应像素之差的绝对值之和作为帧间差，当大于某个阈值m时，则认为有镜头的切换。
缺点是对噪声和物体运动敏感，易造成误识别。
基于内容的视频检索技术研究
对 内 容 的描 述 不 是 一 种 准 确 的 描 述 ，因 此 ， Ｂ Ｒ采 用 相 似 性 匹 ＣＶ 配 的方 法 逐 步 求 精 ， 以获 得 查 询 结果 ， 即不 断 减 小 查 询 结 果 的 范 围 ， 直
３ 基 于边 缘 的 方 法 ） 由 于在 镜 头 切 变 时新 旧边 缘 应 在 不 同 的 位置 ， 以 可先 提 取 两 幅 所
３１ ．． 光 流 检 测 法 ２ 张 宏 江 等人 还 提 出 了光 流 检测 法 ． 方 法 的 原 理 是 镜 头 切换 时 无 该 我们 知道 传 统 的 视频 检 索 技 术 主 要包 括 镜 头 检 测 、 键 帧 提 取 或 关 而镜 头运 动 应 适 合 某 种特 定 的光 流 类 型 。 它 能 将 渐 变切 换 与 镜 镜头集类 、 征库的建立以及匹配算法等 ， 特 主要 提 取 视 频 特 征 传 统 的 光 流 ， 但 方 法 是先 对 视 频 完 全解 码 ， 分 割 镜 头并 提 取 关 键 帧 ， 后 提 取 特 征 ， 头 的运 动 区分 开 来 ． 计 算 复杂 且 在 光 照 变 化 很 大情 况 下 检 测失 败 再 最 ．． 这 样 就会 产 生计 算 量 比 较 大 ， 响 视 频 检 索 效 率 ， 对 特 征 的描 述 也 ３１３ 基 于 模 型 的 方 法 影 而
便 将 直 ２时 图。 频 可 以先 分 为 场 景 ， 景 可 以分 为 镜 头 ， 是 视 频最 基 本 组 成 单 问时 ， 认 为 潜 在 渐 变 开 始 ， 差 值 开 始 累加 ， 到 累 加 和 大 于 ｄ 视 场 帧 当帧 间差 小 于 ｄ １时认 为 渐 变 结 束 。 这种 方 法 对 渐 变 检测 元 。 将视 频 分 为 场 景 的处 理 叫做 场 景 检测 ， 场 景 分 为 镜 头 的 操 作 叫 认 为 有 渐 变 ， 将 有 较 好 的 效果 ． 对 镜 头 的 缓慢 运 动仍 可 能 会 造 成误 识 别 。 但 镜 头 分 割 ， 头 分 割 是 视频 层 次 化 的 基 础 。 镜 Ｙ ｏＢ Ｌ提 出 了一种 滑 动窗 口检 测 法 。先 以待 检 的 帧 作为 中心 开 ｅ
基于内容的视频检索技术
将扮演 主要 角色 、 发挥 重要 的桥梁作 用 。
１ 技 术 难 点 及 主 要 问题 ． ２
由 于 视 频 具 有 非 结 构 化 的 特 点 ． 就 要 求 在 基 于 这 内 容 的 检 索 系 统 的 设 计 过 程 中 首 先 要 解 决 视 频 的 结 构 化 问 题 合 理 的 结 构 化 表 示 将 有 助 于 后 续 的 特 征 和 内 容 分 析 及 用 户 检 索 ．其 中 较 为 成 功 的 是 镜 头 分 割 在 镜 头 检 测 的 基 础 上 ．就 可 以 实 现 基 于 镜 头 的 浏 览
维普资讯
图形图像
／
基 于 内容 的视 频检 索技术
蔡 肯 ． 梁 晓 莹
（． 恺农 业技 术学 院 ， 州 ５ ０２ ２ 广东女 子职 业技术 学 院 ， 州 ５ １５ ） １仲 广 １ ２ ５； ． 广 １ ４ ０
摘 要 ： 于 内 容 的 视 频 检 索 系统 是 将 视 频 结 构 化 并 依 赖 视 频 数 据 中 的 视 觉 特 征 以 及 时 空 基
特 征 进 行 相 似 度 衡 量 的 系统 。讨 论 目前 国 内外 基 于 内 容 视 频 检 索 领 域 的 研 究 现 状 和
发 展 趋 势 ． 研 究 对 基 于 内容 的 视 频 检 索 的 关 键 技 术 和 方 法 。 并 关 键 词 ：视 频 检 索 ： 头 检 测 ； 键 帧 提 取 镜 关
０ 引 言
如 何 对 海 量 信 息 进 行 组 织 、建 库 以 达 到 快 速 、 有 效 的 检 索 成 为 当今 人 们 需 要 迫 切 解 决 的 问 题 。 当 用 但 户 希 望 从 浩 瀚 的视 频 数 据 库 中 检 索 感 兴 趣 的 资 源 时 ， 却 发 现 传 统 的 基 于 关 键 词 的 数 据 库 检 索 方 法 难 以 实 现 主 要 原 因 在 于 多媒 体 信 息 具 有 非 结 构 化 和 内容 其
基于内容的视频检索技术
基于内容的视频检索技术综述[摘要]随着多媒体技术及计算机网络技术的迅速发展,多媒体已广泛地应用于如公共信息业、广告、教育、医学、商业及娱乐等多个领域。
数字视频的传播也变得越来越容易,数字电视、多媒体广播、视频会议已经开始逐步走入人们的日常生活中,视频也己经逐渐成为人类信息传播的主流载体之一。
当今,人们面临的问题已不再是视频内容的匮乏,而是面对浩如烟海的视频信息,如何快速、有效地找到自己需要的内容,已经成为了迫切的需求。
故本文分析了现有的视频检索理论框架,对以文字信息为主要特征的视频检索系统关键技术进行了研究。
[关键词] 基于内容的检索;视频检索技术;检索系统随着多媒体技术和网络技术的飞速发展,视频在多个领域得到广泛地应用。
对这些海量的而且包含大量非结构化信息的数据进行组织、表达、管理、查询和检索成为迫切的需求。
因此基于内容的视频检索成为近年来研究的热点。
1、研究背景自 20 世纪 90 年代以来,随着多媒体技术及计算机网络技术的迅速发展,多媒体已广泛地应用于如公共信息业、广告、教育、医学、商业及娱乐等多个领域。
数字视频的传播也变得越来越容易,数字电视、多媒体广播、视频会议已经开始逐步走入人们的日常生活中,视频己经逐渐成为人类信息传播的主流载体之一。
当今人们面临的问题已不再是视频内容的匮乏,而是面对浩如烟海的视频信息,如何快速、有效地找到自己需要的内容,已经成为迫切的需求。
当用户希望从浩瀚的视频数据库中检索感兴趣的资源时,却发现传统的基于关键词的数据库检索方法难以实现。
其主要原因在于:一方面,在许多情况下很难用一个或多个关键词来充分描述视频中的丰富信息,而且这种描述也存在很大的主观性;另一方面,用户很难将其需求清晰地表达出来,而且这种表达和媒体自身的描述也存在很大差异。
为了实现对视频等多媒体信息的有效检索,人们开始研究视频中包涵的“内容”。
因此,基于内容的视频检索技术应运而生,并成为一个新的研究领域。