基于对象的视频摘要技术

关键帧 的视频摘要和基于对象的视频 摘要。二者的相
式 ，也就 是通 过一 系列 的关键 帧 组成 相应 的语 义单 元 ，概括 表 示镜 头 中 的 内容 ｌ，并提 供 快速 检 索 。 引 在早 期关 键帧提 取 的基础 上 ，现 今基 于关 键帧 的视 频摘 要主 要 向着 根 据高 层语 义特 征对 视频 提取 视频
可 以将这 些 被忽 略 的对 象包 含 到视频 摘 要 中，形 成 最 终 的视频 摘要 。也 可 以使最 终 的视频 摘要 中只 包
含操 作员注 意 到的对象 。 ２５多视频摘 要 ．
Байду номын сангаас
出来 的运 动 目标 都是定 向运动的 ，这样各个被检测 出 来 的 目标在该 ２ 空间中就是基 本平行 的。每两个运 Ｄ 动 目标 中间都会 有一些空 白，我们可 以选取适 当的算 法 ，将 中间的空 白最大程度的去掉 ，这样就相 当于减
又有 明显 的 区别 ：前者 只重 点考 虑视 频 的关键 帧 ； 而后 者在 对视 频 中对象 的检 测 、分割 的基 础上 ，选 取合适 的算法 ，最大 限度 的减少 时 间． 间冗 余 ，从 空 而方 便 了对视 频 的分析 、检 索 以及索 引等 ，同时也 节省 了大 量 的存储 空 间 。表 现 出了对 象 随时 间的动 态变 化过 程 ，因此 其表现 的内容 比基 于关 键帧 的视 频摘要 要丰 富的多 。
频检索和 分析时 ，如大海捞针 一般 费时费力 ，且大量 视 频的存 储也是一个重要 问题 。如果能够把 视频 内容 进行浓缩 ，提取 出其 中最主要的部分 ，用一 个简短 的 片 断的视 频摘要来表示 出主要 内容，可有 效提高检 索 和分析 的效率 。所 以视频摘要的研 究近年来 已经引起
２１ ０ ２年 第 ２ 卷 第 ｌ期 １
ｈｔ： ｗｃＳ ．ｒ． ｔ／ ｐ／ ｗｗ ． — ｏｇｃ —ａ ｎ
计 算 机 系 统 应 用
经过 多年 的发展 ，关键帧 的提取方法也在不断的 改进 中， 文献【．０中介绍 了近年来 出现 的较为成熟的 ３ １】
如 图中所示 ，输入 图像 中首先 出现 一个 行人行走 的片段 ，经过一段没有运动对象 的空 闲时问后，出现
Ｋｅ ｏ ｄ ：ｉｅ ｎ ｏｉ ； ｉｅ ｏ ｓ ； ｅ ａ ；ｂｅｔ ｙｗ ｒ ｓｖｄ ｏ ｍｏ ｉ ｒ ｇ ｖｄｏｓ ｐｉ ｋｙｆ ｍｅｏｊｃ ｔ ｎ ｎ ｙ ｓ ｒ
当今社会 ， 随着人们对安全 性能要求 的不断提高 ， 视 频监控 越来越广泛 的应用于军事、商业、教育等领
域 。 由此 便产生 了大量 的监控视频，在对 它们进行视
Ｏｂｅｔ ａｅ ｄ ｏＳ ｎ ｐｉＴ ｃ ｎ ｌｇ ｊｃ－ ｓｄＶｉｅ ｙ ｏ ｓ ｅｈ ｏｏ ｙ Ｂ ｓ
ＬＩ Ｃａ－ ｎ ＣＡＯ ｉ ｎ Ｒｏ ｇ ＬＩＨｏ ｇ Ｙａ Ｕ ｉ Ｙｕ ， Ｊａ － ｎ ， ｎ － ｎ
（ ｃｏ ｌ ｆｎｏｍｍｉｎａｄＥｅｔｃｌ ｎ ｉｅｒ ｇ Ｓ ａｄ ｎ ａ ｚｕＵ ｉ ｒｉ ，ｉａ ５ １ １Ｃ ｉ ） Ｓｈ ｏ ｌｆｒ ｏ ｎ ｌｃ ｉ ｇｎｅｉ ， ｈｎ ｏｇＪ ｎｈ ｎｖ ｓ ｙＪ ｎ ０ ０ ， ｈｎ ｏ ｒａＥ ｎ ｉ ｅ ｔ ｎ ２ ａ （ｈ ｎ ｄ ｎ ｒｖｎｉ ａｏａ ｒ ｆｎｅｌ ｅｔ ｕｌｉｇ ｅｈ ｏｏ ｙＪ ａ ５ １ １Ｃ ｉ ） Ｓ ａｇ ｏ ｇＰｏ ｉｃａＬ ｂ ｒ ｏｙｏ Ｉｔ ｉ ｎ ｉ ｎ ｓ ｃｎ ｌｇ，ｉ ｎ２０ ０， ｈｎ ｌ ｔ ｌｇ Ｂ ｄ Ｔ ｎ ａ
摘
要 ：视频摘 要技术是当前多媒体 领域研 究的热点之一 。视频摘要生成方法归 结为两 类：基于关键帧 的视频
摘要和基于对象 的视频摘要：对基于关键帧 的视频摘要方法做 了简要 的介绍 ，并重 点总结了历年来 出现 的基 丁 对象的视 频摘要的生成 方法 。最后对视频摘要技术的发展做 出了总结和展望 。 关键词：视频监控；视 频摘要 ；关键帧；对象
可 以看 作一段“ 管带” ，将对 象分割提取并建好 背景模
型后 ，将 我们提 取的“ 管带” 以最优的排列整合到 由背
景 图像组成 的 ３ 空间． Ｄ 时间描述 中，将“ 管带” 的重要 度计算 出来，按其重要度 由高到低选取 ，改变选 取的
“ 管带” 量就 可 以按照用户 的要求来形成不 同长度 的 数 视频摘要 。 ２ 基于用户关注空 间与注意力分析 的视频摘要 ． ４ 基于 用户 关注 空间与注 意力 分析 的视 频摘 要【】 的 主要 思想 是利用 视觉 定位 的方法 来 选取 操作 员感
图 １ 动态视频摘要形成过程
较远 的对 象就 可 以看做是被 操 作 员忽 略 的对 象 ，既
Ｓｅｉｌｓｕ ｐｃ ｓｅ专论 ・ ａＩ 综述 ２ ５ ０
计 算 机 系 统 应 用
ｈｔ：ｗ ｔ ／ ｗｗ． ｓ ． ｇ ｎ ｐ／ ｃ —ｏ ． —ａ ｒ ｃ
２１ ０ ２年 第 ２ 卷 第 １期 １
计 算 机 系 统 应 用
ｈｔ：ｗ ． Ｓ ． ｇ ｎ ｔ ／ ｗｗＣ － ｏ ． ｐ／ —ａ ｒ ｃ
２ １ 年 第 ２ 卷 第 ｌ期 ０２ ｌ
基于对象的视频摘要技术①
刘彩云 ，曹建荣 ，李洪艳
（ 山东建筑大学 信息与电气工程学院 ，济南 ２ ０ Ｏ ） ５ ｌ １ （ 山东省智能建筑技术实验室，济 南 ２ ０ ０ １ ５ １ｌ
ｍｅｈ ｄ ｏ ｅ ｖｄ ｏ ｓ ｎｏ ｉ ｓｐ ｉｃｐａｌ ｅ ｃ ｉｅ ． ａ ｔ ｔ ｅｄ ｖ ｌ ｐ ｎ ｅ ｄ ａ ｄ ｔ ｅａ ｐ ｉａｉ ｎ ｐ ｒｐ ｃｉ ｅｏ ｔ ｏ ｆｔ ｉｅ ｙ ｐｓｓｉ ｒｎ ｉ ｌ ｄ ｓ ｒｂ ｄ Ａｔｌｓ， ｈ ｅ ｅｏ ｍｅ ｔ ｎ ｎ ｐ ｌｃ ｔｏ ｅ ｓ ｅ ｔｖ ｆ ｈ ｙ ｒ ｔ ｈ ｖｉｅ ｕ ｄ ｏｓ ｍｍａ ｉａ ｉｎ ａ ｄ ｓ ｎ ｐ ｉ ｅｐ ｅ ｅ ｔ ｄ ｒ ｚ ｔ ｎ ｙ ｏ ｓｓａ ｒ ｓ ｎ ｅ ． ｏ ｒ
国内外 的广泛关注 。 例如美 国 ＭＩ Ｔ实验室 、明尼苏达
ｌ 基于关键帧 的视频摘要
基 于 关 键 帧 的 视 频 摘 要 多 为静 态 视 频 摘 要 模
大 学、德国 Ｍａ ｎ ｅ 大学，国内的亚洲微软研究院 、 ｎｈｉ ｍ
清华大学 、国防科技大学等都进行 了此领域 的研究川。 视频摘 要技术发展到今天 主要有 两种模 式：基于
Ａｂ ｔａ ｔ ｓｒ ｃ ：Ｔｈ ｉｅ ｕ ｅ ｖｄ ｏ ｓ ｍｍ ａ ｉａｉ ｎ ｔｃ ｎ ｌ ｇ ｓ ｏ ｅ ｏ ｈ ｏ ｐ ｔ ｎ ｔ ｅｆｅ ｄ ｏ ｒｚ ｔｏ ｅ ｈ ｏ ｏ ｙ ｉ ｎ ｆｔ ｅｈ ｔｓ ｏ ｓｉ ｈ ｌ ｆｍｕｌ ｍｅ ｉ ｅ ｅ ｒ ｈ Ｔｈｉ ａ ｅ ｉ ｔ ｉ ｄ ａｒ ｓ ａ ｃ ． ｓｐ ｐ ｒ
摘要 的方 向发展 。
同之 处就 是都可 以大大缩短监控视频 的长度 ，大大方 便用户对监控视频 的观看 、分析以及检索等 。而二者
① 收稿时间： １－５０； ２ １０—４收到修改稿时１ ０ １ ６１ ０ ＂ １— －８ ＠２ ０
２ ４ 专 论 ・ 述 Ｓ ｅｉ ｓｅ ０ 综 ｐ ｃ ｌｓ ａＩ ｕ
序关系可能会 发生变化 。 ２２基于相似活动聚类的视频摘要 ． 基于相似活动聚类 的视频摘 要【Ｊ ｌ是一种 新的产 生 ６ 简短连惯视频摘要 的方法 ，在视频摘要 中，如果 同一 画面 中播放 的活动是类似的，这样将能更有条理 的表 现 出视频 内容 ，所 以该方法的中心思想是先将类似 的
ｂ ｓｄｏ ｉｅ ｅ ａ ｄｖ ｅ ｎ ｐｉｂ ｓｄｏ ｉｅ ｂｅｔＶｄ ｏｓｍ ｒ ａｏ ｒ ｆ ｔ ｄ ｃｄａｄｔｅ ａｅ ｎｖｄｏｋｙｆ ｍｅａ ｉ ｏｓ ｏ ｓ ａｅ ｎｖｄｏｏｊｃ． ｉ ｍａｉ ｔ ｎｉｂｉ ｙｉ ｒ ｕ ｅ ｒ ｎ ｄ ｙ ｓ ｅ ｕ ｚ ｉ ｓ ｅ ｎｏ ｌ ｎ ｈ
ｐ ｅ ｅ ｔ ｈ ｅ ｅ ａ ｉｎ ｍｅｈ ｄ ｏ ｉ ｅ ｕ ｒ ｓ ｎ ｓｔ ｅ ｇ ｎ ｒｔｏ ｔ ｏ ｆｖ ｄ ｏ ｓ ｍｍａ ｉ ａｉｎ ａ ｄ ｉ ｃ ｎ ｂ ｉ ｉ ｅ ｎ ｏ ｔ ｌｓ ｅ ：ｖ ｄ ｏ ｓ ｍｍａ ｉａ ｉ ｎ ｒｚ ｏ ｎ ｔ ａ ｅ ｄ ｖ ｄ ｄ ｉｔ ｗｏ ｃａ ｓ ｓ ｉ ｅ ｕ ｔ ｒｚ ｔｏ
态视频摘要 的生成法 。 目前 国内外视 频摘要算法的研 究主要是基于关键帧进行 的。
法可 以形成一段 比较紧凑 的视频摘要 。
该方法得到的视频摘要有两个特点：１ （ ）该方法 得
到 的摘要本身仍为一段视频 ， 表现镜头中的动态变化 。
（）最大限度 的减少 了时间． 间冗余 ，但活动 间的时 ２ 空
一
关键帧提取方法 。 文献［１提出了一种基 于关键帧聚类 １］
表示 的视频摘要 方法 ， 文献【２提 出了一种草图形式的 １］
只 飞行 的鸟，行人和 飞鸟在视频 中出现 在不同的时 间，但通过将行人和鸟在 同一段视频 中同时播放 的方
视频摘要 。 文献［ １ １ ￣提 出了基于关键帧 的一种新的动 ３
该方法用将类 似活动聚类 且只同时播放类似活动 的方法来达到提高浏览效率的 目的 。该方法有三大特 点：１ （）类似 的活动 比较有效地集 结在一起 以形成简短
的视频摘 要； ２ （）所得 的视频摘要条理非常清晰， 大大
提 高浏览效率，还使得多重 的类似活 动便于查看到 ； （）非正常 的活动更容易被检测到 。 ３
虽然关键帧提取算法很 多并得到了很大的改进 ， 但仍存在 明显的缺 陷：帧选取 依赖 于阈值 的选择 ；计 算量太大 ，不可能做到实 时处 理；仅有颜色特 征不 能 很好地表达视频的语义信息【 。近来，基于对象 的视 ｌ 钔 频摘要技术的兴起和迅速发展使得视 频摘要 技术有 了．
新的突破和发展 。
２３基于 ３ ． Ｄ空 间． 间描述中的“ 时 管带” 排列视频摘要 ３ 空间． 间描述 中的“ Ｄ 时 管带” 排列视频摘 ＂主 】 要用 于视 频中感 兴趣对象是运动对象 的情况 。该方法 的主题思想是将视频转化到一个 ３ 的空间． 间描述 Ｄ 时 中，那些 运动的对象是 我们感兴趣 的，每 一个对 象都