基于笔画提取和颜色模型的视频文字分割算法

—193—基于笔画提取和颜色模型的视频文字分割算法程 豪1，黄 磊2，刘金刚1(1. 首都师范大学计算机科学联合研究院，北京 100037；2. 中国科学院自动化研究所，北京 100080)摘 要：提出综合利用视频文字时空、笔画、颜色和几何特征的文字分割算法，快速准确地从复杂背景的视频图像中分割出文字。

利用多帧融合进行图像增强，基于笔画宽度特征，使用笔画特征算子提取文字笔画，根据笔画图标注的文字区域建立颜色模型，提取文字颜色层，并用改进的连通域分析法去除文字颜色层中的同色背景和噪声。

实验结果表明，该算法比传统算法能更好解决复杂背景的视频文字分割 问题。

关键词：视频文字识别；视频文字分割；笔画提取；颜色建模Video Text Segmentation Algorithm Based onStroke Extraction and Color ModelCHENG Hao 1, HUANG Lei 2, LIU Jin-gang 1(1. Join Faculty of Computer Scientific Research, Capital Normal University, Beijing 100037;2. Institute of Automation, Chinese Academy of Sciences, Beijing 100080)【Abstract 】This paper presents a segmentation algorithm which comprehensively utilizes various attributes of video texts, such as temporal and spatial, strokes, color, geometric. The algorithm uses multi-frame integration to enhance the images, performs the stroke operator to extract the character strokes based on the feature of the stroke width, analyses the color of the character strokes according to the stroke image and extracts the color layer of the character, removes the background with the same color and noises in the color layer of the character by the improved connected components analysis. Experimental results indicate that the proposed algorithm preferably solves the text segmentation problem which involves in a complex background, and its performance precedes that of the traditional method. 【Key words 】video OCR; video text segmentation; stroke extraction; color modeling计 算 机 工 程Computer Engineering第35卷 第4期Vol.35 No.4 2009年2月February 2009·人工智能及识别技术· 文章编号：1000—3428(2009)04—0193—03文献标识码：A中图分类号：TP3911 概述视频中的文字作为一种高级语义特征，对视频内容的理解、索引具有重要作用，但视频图像分辨率不高、视频中的文本背景复杂，给视频文字的检测和分割带来了困难。

传统的OCR 系统只接受二值化的文本图像，从视频的复杂背景中准确地分割出字符，是视频文字识别研究的重要技术之一。

关于文字分割的方法可分为以下3类：(1)基于阈值的方法：文献[1]利用局部阈值来去除背景和噪声，得到二值化的图像。

基于颜色阈值的方法来源于灰度成双峰分布的文档图像分析，但在处理背景复杂的视频文字图像时，该类方法失效。

(2)基于颜色模型的方法：文献[2]为图像的文字灰度建立一个高斯混合模型，用基于马尔科夫随机场的方法确定每个像素所属的高斯项，从而达到分割的目的。

该类方法中颜色模型的建立依赖于样本点的选取，在复杂的背景中不易分析出文字的颜色分布。

(3)基于连通体分析的方法：文献[3]利用连通体的拆分合并来分割文字。

在拆分阶段，输入图像被拆分成一系列的连通分量并进行过滤；在合并阶段，连通分量通过动态聚类进行合并。

该类方法的不足是较低的图像分辨率和较高的图像噪声会影响连通体分析的结果。

目前各类方法大多只选择颜色、笔画、连通体等单一方面特征实现文本分割，本文提出的算法综合利用视频文字的时空特性、笔画、颜色、几何特征，实现了不同特征在分割过程中的有效互补，并且对其中某些步骤做一些有效的改进。

算法利用多帧信息增强图像，使用笔画算子提取笔画信息，根据笔画区域像素建立颜色模型，并用改进的连通体分析方法取除噪声。

2 算法描述图1 算法框架基金项目：国家“863”计划基金资助项目(2007AA01Z174) 作者简介：程 豪(1981－)，女，硕士研究生，主研方向：图像处理，视频文字识别；黄 磊，副研究员；刘金刚，博士生导师 收稿日期：2008-03-25 E-mail ：chenghao05@—194— 用文献[4]的方法对视频文字进行定位和跟踪，在跟踪过程中，对每一个文本对象建立文本区域链，文本区域链表示同一文本在连续视频帧内的不同出现。

过程中各步骤分别利用了文字不同特征属性：(1)利用文字的时空特性增强图像；(2)利用文字笔画特征提取文字笔画图；(3)利用文字颜色特征提取文字颜色层；(4)利用文字几何属性，分析连通体去除同色背景和多余噪声。

2.1 多帧图像的融合增强视频文字一般具有下述时空特性：(1)文字通常跨越若干帧，甚至若干镜头；(2)文字存在时，不同帧之间背景变化可能很大，但字幕所在区域的亮度和颜色变化不大。

文本区域链记录了一个文本对象的不同出现，视频文字的冗余信息和时空特性，为增强图像和去除复杂背景提供了可能。

对一个文本区域链各位图对应像素点在时域上分别计算多帧融合的均值图，最小值图和最大值图，如图2(a)~ 图2(c)所示。

综合利用上述各图，根据图中每个像素在时间域上的灰度变化范围来决定对该像素采用何种方式增强。

图像增强的主要步骤如下：(1)确定文本的极性文字的极性指文本图像是属于正向文本(亮底暗字)还是反向文本(暗底亮字)。

选择多帧平均图，通过比较文本框的中心四行和边缘上下各2行的平均像素亮度来判断。

(2)计算增强图最大值图和最小值图表示了每个像素在时域上变化的上下界。

将最大值图与最小值图对应像素相减，所得的差值图则反映了变化范围，如图2(d)所示，可见文字区域像素变化较小，部分非文字区域像素变化范围较大。

将差值图作为选择何种方式增强的依据：像素变化范围小于阈值T 的区域选取平均图对应点，变化范围大于阈值T 的区域正(负)向文本选取最大(小)值图对应点。

图2(e)是上例负向文本的增强图。

(a)均值图 (b)最大值图 (c)最小值图(d)差值图 (e)增强图图2 图像增强(3)尺度归一化文本分割是为下一步文字识别做准备。

为了在标准OCR 上取得好的效果，将要处理的文本行(列) 固定高宽比地放缩到高(宽)为80像素。

2.2 文字区域的笔画特征对于背景变化不大的文本区域链，多帧融合的方法并不能完全简化背景。

在复杂背景中提取文字，须将这个问题转化为在图片中抽取文字的笔画信息。

文字笔画具有下述特性：(1)为方便阅读，文字笔画颜色与背景颜色通常存在较大的色差；(2)文字笔画可视为小于某一宽度上限的双边结构；(3)文字的笔画以0, π/4, π/2, 3π/4这4个方向为主。

基于上述文字笔画的特性，本文利用文献[5]中提出的笔画算子来生成笔画图。

文字笔画提取过程选择多帧增强图像作为处理对象，若为负向文本则对其进行反色处理，统一变为正向文本。

在正向文本中，方向笔画强度的计算公式为11()max {min{(),()}}()W d i d d DE p f p i f p W i f p +−==−+−− (1)()if ()0()0otherwise ++dd d DE p DE p DE p =⎧>⎪⎨⎪⎩(2) 其中，d=0, 1, 2, 3分别代表笔画最常见的0, π/4, π/2, 3π/4 4个方向，W 为笔画宽度上限；()d f p i +表示d 方向上与点p 距离为i 的点的像素灰度值。

笔画特征图定义为4个方向笔画特征的最大值，如图3(b)所示，用公式表示为30()Max {()};W d d DE p DE p == (3)对笔画特征图的二值化，采用Otsu 方法求得最佳阈值T ，得到二值笔画图，如图3(c)所示。

if ()_()255otherwiseDE p T Bina DE p >⎧=⎨⎩(4)(a)原始图(b)笔画特征图(c)二值笔画图 图3 笔画提取 将原始图像转换成笔画特征图，可检测到图像中笔画宽度小于W 限制的连通体。

笔画特征图中笔画较稀疏的文字区域均可获得较好效果。

但其不足之处在于：对笔画密集的区域，看不出明显的双边结构，笔画提取方法在该区域失效。

因此，仅依赖笔画算子的方法不能得到理想的文字分割结果，但笔画图获得大量可靠的笔画信息将在下文发挥作用。

2.3 文字区域的颜色特征颜色信息在分辨文字和背景时起重要作用。

在同一文本行内，文字区域通常具有较为均一的颜色。

因此，准确分析出文字像素的颜色及分布在文字分割过程中非常关键。

图3(c)标注了图像中绝大部分文字区域。

根据二值笔画图已标注的文字笔画区域，将其映射回原始图像能获得大部分可靠的笔画像素，据此对笔画图的标注区域建立文字的颜色模型。

由于颜色建模基于大量真实可靠的笔画像素，简单的颜色模型即可达到理想的效果，步骤如下：(1)用Gauss 分布拟合文字像素颜色的分布，建立文字区域的颜色模型。

计算二值笔画图标注区域对应原图像素颜色的均值mean 和标准差std 。

若文字颜色均一，则std 值较小。

(2)利用文字像素的颜色模型，提取文字像素所在的颜色层，将颜色处于[,]D mean k std mean k std =−⋅+⋅(k 为系数，一般取值为1～2)区间的像素点置为文字，其他置为背景，计算公式为if ()_()255otherwiseEnhance p D Layer img p ∈⎧=⎨⎩ (5)提取文字所在的颜色层(见图4)后，原笔画算子失效的笔画区域全部提取出来，但与文字颜色相似的背景区域也同时被提取出来。