计算机图形学论文

XX大学学生课程设计（论

文）

题目：GrabCut图像分割算法研究

学号：

姓名：

专业年级：2012级计算机科学与技术

教师姓名：

2015年 6 月 3日

1. 绪论 (5)

1.1选题目的 (5)

1.2简单介绍 (5)

2.算法实现 (6)

2.1 算法原理 (6)

2.2 算法效果 (8)

2.3 代码实现 (9)

3.总结 (11)

GrabCut图像分割算法研究

摘要

图像分割就是把图像分成若干个特定的、具有独特性质的区域并提出感兴趣目标的技术和过程。它是由图像处理到图像分析的关键步骤。现有的图像分割方法主要分以下几类：基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等。1998年以来，研究人员不断改进原有的图像分割方法并把其它学科的一些新理论和新方法用于图像分割，提出了不少新的分割方法。图像分割后提取出的目标可以用于图像语义识别，图像搜索等等领域。

Graph cuts是一种十分有用和流行的能量优化算法，Graph Cuts理论最早是出现在流网络优化领域的，比如说水管网络，通信传输网络，城市车流网络等。而GrabCut是在GraphCut基础上改进的一种图像分割算法，它并非基于图像形态学，而是基于图割理论。在使用GrabCut时，需要人工给定一定区域的目标或者背景，然后算法根据设定的参数来进行分割。GrabCut适合从静态图像中提取前景照片的应用。在计算机视觉领域普遍应用于前背景分割（Image segmentation）、立体视觉（stereo vision）、抠图（Image matting）等。OpenCV中提供了cv::grabcut函数，因此只需提供图像并标记背景像素和前景像素，基于局部的标记，算法即可将图像中的像素进行分割。

【关键词】图像分割 GraphCut GrabCut 背景分割抠图 OpenCV

GrabCut image segmentation algorithm

Abstract

Image segmentation is the technology and process of dividing the image into a number of specific, unique and interesting regions.. It is the key step of image processing to image analysis.. Existing image segmentation methods are mainly divided into the following categories: Based on the threshold segmentation method based on region segmentation method, based on edge based segmentation method and segmentation algorithms based on a particular theory. Since 1998, researchers have improved the existing image segmentation method and applied some new theories and new methods to image segmentation.. The object extracted from the image segmentation can be used for image semantic recognition, image search and so on..

Graph cuts is a very useful and popular energy optimization algorithm, graph cuts theory the earliest is appeared in the network flow optimization field, for example water pipe network, communication network, urban traffic network. GrabCut is an image segmentation algorithm based on GraphCut, which is not based on image morphology, but based on graph cut theory.. In the use of GrabCut, the need to manually given a certain region of the target or background, and then the algorithm according to the parameters of the set of segmentation. GrabCut is suitable for extracting foreground images from static images.. In the field of computer vision, and widely used in the foreground and background segmentation (image segmentation, stereo vision, stereo vision), matting matting (image). Cv: provides the OpenCV: grabcut function, so simply provide the image and the background pixels and foreground pixels, based on local markers, the algorithm can then segment the pixels in the image.

【Key words】Image segmentation Graph cuts GrabCut OpenCV

1. 绪论

1.1选题目的

数字图像处理技术是一个跨学科的领域。随着计算机科学技术的不断发展，图像处理和分析逐渐形成了自己的科学体系，新的处理方法层出不穷，尽管其发展历史不长，但却引起各方面人士的广泛关注。首先，视觉是人类最重要的感知手段，图像又是视觉的基础，因此，数字图像成为心理学、生理学、计算机科学等诸多领域内的学者们研究视觉感知的有效工具。其次，图像处理在军事、遥感、气象等大型应用中有不断增长的需求。

图像分割是图像识别和计算机视觉至关重要的预处理。没有正确的分割就不可能有正确的识别。但是，进行分割仅有的依据是图像中像素的亮度及颜色，由计算机自动处理分割时，将会遇到各种困难。例如，光照不均匀、噪声的影响、图像中存在不清晰的部分，以及阴影等，常常发生分割错误。因此图像分割是需要进一步研究的技术。人们希望引入一些人为的知识导向和人工智能的方法，用于纠正某些分割中的错误，是很有前途的方法。而Grabcut 是一种十分有用和流行的能量优化算法，所以我选择研究这种算法。

1.2简单介绍

GrabCut是微软研究院的一个课题，主要功能是分割和抠图。而对于彩色图片的Grabcut 算法，提取连续的相同颜色作为边界，一般有下面三个步骤。

1.降低噪声

降低图像噪声的算法那就不是一般多了。例如最常用的卡尔曼滤波就不少变种。关于这方面可以参考信号与系统的书籍以及相关论文，这里不再赘述。

2.相同颜色的边缘提取

关于这方面论文也是很多，我就我说说身边人使用的方法吧。我们有一个老师在做项目的时候用的方法是模糊化处理方法。那就是，拿一个RGB表，从中人工识别所要的颜色。计算机记录RGB范围，在RGB向量空间中画出一个立方体，以后凡是落入这个立方体的都算作这种颜色。结果证明使用这种方式可以较大程度上减小噪声带来的影响。但是这种方法对光线高度敏感，光亮度一变，不好意思，重新来过。而且这种方法画出来的立方体不小，其中包含不少明显不是这种颜色的RGB值(因为RGB任何一个分量和颜色直接不是线性关系)。再加上这个对人工的工作精确度要求不小，劳动强度不小。所以不太推荐。我们有些大牛引入机器学习的k临近算法，结果如何我没有太了解。

3.插值

有的时候噪声太厉害，使得有些点明显大幅偏离应有的RGB值。使得边缘不连续。这样，可以引入插值算法使得边缘成为封闭的边缘。常用的有H插值算法、多项式插值算法等等。关于这方面论文也是很多，可以加以参考。

以上三个步骤做完以后，基本上就差不多了。如果还是不行，要么是某个方面效果不好，

要么是噪声太大。

它的卖点在于：

（1）你只需要在目标外面画一个框，把目标框住，它就可以完成良好的分割：

（2）如果增加额外的用户交互（由用户指定一些像素属于目标），那么效果就可以更

完美：

当然了，它也有不完美的地方，一是没有任何一个算法可以放之四海而皆准，它也不例

外，如果背景比较复杂或者背景和目标相似度很大，那分割就不太好了；二是速度有点慢。当然了，现在也有不少关于提速的改进。

2.算法实现

2.1 算法原理

GrabCut是微软研究院的一个课题，主要功能是分割和抠图。

OpenCV中的GrabCut算法是依据《"GrabCut" - Interactive Foreground Extraction

using Iterated Graph Cuts》这篇文章来实现的。该算法利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的分割结果。

我们首先理解Grab Cuts中的Grab和Cuts的意思。此处的Graph和普通的Graph稍有不同。普通的图由顶点和边构成，如果边的有方向的，这样的图被则称为有向图，否则为无向图，且边是有权值的，不同的边可以有不同的权值，分别代表不同的物理意义。而Grab Cuts 图是在普通图的基础上多了2个顶点，这2个顶点分别用符号”S”和”T”表示，统称为终端顶点。其它所有的顶点都必须和这2个顶点相连形成边集合中的一部分。所有Grab Cuts 中的边也分为两种，一种是普通顶点与相邻点或者与之有关联的点之间的连线，一种是刚讲的普通顶点和2个终端顶点之间的连线。 Grab Cuts中的Cuts是指这样一个边的集合,很显然这些边集合包括了上面2种边，该集合中边的断开会导致残留”S”和”T”图的分开，且这些边的集合中所有权值之和是最小的。因此也称为最小割。

在参考了iccv2001的文章Interactive graph cuts for optimal boundary & region segmentation of objects in ND images后，或许能够找到上述问题的一点答案。首先，一张image可以看作是一个矩阵，图中的每个像素就是矩阵中的一个位置，这个像素可以看做是图中的一个顶点。然后我们把相邻顶点之间用短线(有向或无向都行)连接起来，这就形成了边，现在这幅image有顶点和边了，也就构成一幅Graph了。至于边的权值怎么计算，则是很理论的东西。看了下论文中的解释，图像中边的权值一般由2部分构成，平滑项和数据项，这2部分的比重用1个系数来平衡，其中平滑项主要体现顶点像素和其相邻区域像素之间值的变化强度，如果变化剧烈说明这两者很有可能出于边缘部分，则被分割开的可能性比较大，而按照最小割的分割原理，这时2者的平滑项权值应该较小。而数据项部分则表示对应顶点属于前景或者背景的惩罚项。其论文中的数学公式为：

其中R(A)表示的是区域数据项，B(A)表示的是边界平滑项，E(A)表示的是权值，即损失函数，也叫能量函数，图割的目标就是优化能量函数使其值达到最小。

另外由于Grab Cuts需要有2个终端节点”S”和”T”，分别表示初始的目标区域和背景区域，在计算机视觉的图像分割领域时，需要人工指定初始的s顶点和t顶点，如果有HCI的话，可以用鼠标分别直接点这2个区域。其中一个区域代表所需分割目标上的一个像素位置，另一个为背景上的一个像素位置。有了能量函数的定义和初始的终端顶点，就可以

采用图割理论来不断迭代对目标进行分割了。

2.2 算法效果

在函数cv::grabCut中，最后一个参数表示我们使用的是包围盒模式，而该算法支持的输入/输出分割图像可以有四种数值，如函数cv::compare函数中的参数：

cv::GC_BGD：确定属于背景的像素；

cv::GC_FGD：确定属于前景的元素；

cv::GC_PR_BGD：可能属于背景的元素；

cv::GC_PR_FGD：可能属于前景的元素。

在上图中，GrabCut算法通过指定方框区域来提取前景物体。同时，也可将数值cv::GC_BGD和cv::GC_FGD赋予分割图像的某些特定像素，并且把这类分割图像作为cv::grabcut函数的第二个参数（此时需要指定GC_INIT_WITH_MASK作为输入模式）。

基于这些信息，GrabCut通过以下主要步骤创建分割：

1.前景标签(cv::GC_PR_FGD)被临时赋予所有为标记的像素。基于当前的分类，算法将像

素归类为颜色或灰度值相似的聚类。

2.通过引入背景与前景像素的边界进行分割。这个优化的过程尝试将标签相似的像素相连

接，这里利用了在强度相对已知的区域之间的边界像素。这个最优化问题通过GrabCut 算法得到高效解决。

3.对获取的分割结果产生新的像素标签，重复聚类过程，找到新的最优解。根据场景的复

杂度，得到最佳结果，对于简单的场景，有时只需要一次迭代。

2.3 代码实现

在OpenCV的源码目录的samples的文件夹下，有grabCut的使用例程，参考：

opencv\samples\cpp\grabcut.cpp。

而grabCut函数的API说明如下：

void cv::grabCut( InputArray _img, InputOutputArray _mask, Rect rect,

InputOutputArray _bgdModel, InputOutputArray _fgdModel,

int iterCount, int mode ) /*

****参数说明：

img——待分割的源图像，必须是8位3通道（CV_8UC3）图像，在处理的过程中不会被修改；

mask——掩码图像，如果使用掩码进行初始化，那么mask保存初始化掩码信息；在执行分割的时候，也可以将用户交互所设定的前景与背景保存到mask中，然后再传入grabCut 函数；在处理结束之后，mask中会保存结果。mask只能取以下四种值：

GCD_BGD（=0），背景；

GCD_FGD（=1），前景；

GCD_PR_BGD（=2），可能的背景；

GCD_PR_FGD（=3），可能的前景。

如果没有手工标记GCD_BGD或者GCD_FGD，那么结果只会有GCD_PR_BGD或GCD_PR_FGD；

rect——用于限定需要进行分割的图像范围，只有该矩形窗口内的图像部分才被处理；

bgdModel——背景模型，如果为null，函数内部会自动创建一个bgdModel；bgdModel 必须是单通道浮点型（CV_32FC1）图像，且行数只能为1，列数只能为13x5；

gdModel——前景模型，如果为null，函数内部会自动创建一个fgdModel；fgdModel 必须是单通道浮点型（CV_32FC1）图像，且行数只能为1，列数只能为13x5；

iterCount——迭代次数，必须大于0；

mode——用于指示grabCut函数进行什么操作，可选的值有：

GC_INIT_WITH_RECT（=0），用矩形窗初始化GrabCut；

GC_INIT_WITH_MASK（=1），用掩码图像初始化GrabCut；

GC_EVAL（=2），执行分割。

*/

OpenCV中提供了cv::grabcut函数，因此只需提供图像并标记背景像素和前景像素，基于局部的标记，算法即可将图像中的像素进行分割。在这里使用的局部标记方法是定义一个矩形。cv::grabcut的函数定义如下：

cv::grabCut(image, // 输入图像

result, // 分割输出结果

rectangle,// 包含前景物体的矩形

bgModel,fgModel, // 模型

1, // 迭代次数

cv::GC_INIT_WITH_RECT); // 使用矩形进行初始化

在main函数添加：

// GrabCut算法

cv::Mat image= cv::imread("c:/Fig8.04(a).jpg");

// 设定矩形

cv::Rect rectangle(50,70,image.cols-150,image.rows-180); cv::Mat result;

// 分割结果 (4种可能取值)

cv::Mat bgModel,fgModel;

// 模型(内部使用)

// 进行GrabCut分割

cv::grabCut(image, result, rectangle, bgModel, fgModel, 1,

cv::GC_INIT_WITH_RECT);

// 得到可能为前景的像素

cv::compare(result, cv::GC_PR_FGD, result,cv::CMP_EQ);

// 生成输出图像

cv::Mat foreground(image.size(), CV_8UC3, cv::Scalar(255,255,255)); image.copyTo(foreground, result);

// 不复制背景数据

// 包含矩形的原始图像

cv::rectangle(image, rectangle, cv::Scalar(255,255,255),1);

cv::namedWindow("Orginal Image");

cv::imshow("Orginal Image", image);

// 输出前景图像结果

cv::namedWindow("Foreground Of Segmented Image"); cv::imshow("Foreground Of Segmented Image", foreground);

3.总结

这学期学了计算机图形学，感觉学到了很多有用的东西，对于图形的处理方面也了解了很多，对于grabcut，是我自己想要去了解的，对于抠图这种常见的图形学操作来学，grabcut 是一种还算不错的算法，这个算法利用的是图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作就可以得到比较好的分割结果。

Grab cut是一种energy minimization的方法，用来解first-order markov Random Field比用Belief Propagation感觉更好，比用dynamic programming(只用1D求解), gradient decedent, simulated annealing, etc 要好得更多；特别是使用a-b-swap, 和a-expansion的时候。刚开始看Grab cut的时候不着门道，走了很多弯路，现在总结起来可以这样学习：

1.学习algorithm课本里的关于graph那一节，或者google maxflow/mincut相关的内容，有介绍mincut的两种解法；

2.然后就开始看用graphcut解决computer vision里的问题，首先要看的是《Interactive Graph Cuts for Optimal Boundary & Region Segmentation of Objects in N-D Images》iccv 01。这篇paper讲怎么用graphcut来做image segmentation。

OpenCV中的GrabCut算法是依据《"GrabCut" - Interactive Foreground Extraction using Iterated Graph Cuts》这篇文章来实现的。该算法利用了图像中的纹理（颜色）信息和边界（反差）信息，只要少量的用户交互操作即可得到比较好的分割结果。如果前景和背景之间的颜色反差不大，分割的效果不好；不过，这种情况下允许手工标记一些前景或背景区域，这样能得到较好的结果。经我测试，GrabCut算法的效率还好，初始化341x326大小的矩形窗大约需要2.11秒，处理需要0.6秒；而论文中宣称初始化450x300大小的矩形窗仅0.9秒，处理只要0.12秒；结果还是有一些差距。

参考文献

[1] [基础算法] Graph Cut and Its Application in Computer Vision

[2] [论文笔记] CUDA Cuts: Fast Graph Cuts on the GPU

[3] 《“GrabCut” — Interactive Foreground Extraction using Iterated Graph Cuts》

[4]https://www.360docs.net/doc/ba11518595.html,/en-us/um/people/ablake/papers/ablake/siggr aph04.pdf

[5]https://www.360docs.net/doc/ba11518595.html,/~rdz/graphcuts.html

[6]Fast Approximate Energy Minimization via Graph Cuts (Boykov, Veksler and Zabih, PAMI '01)

XX大学本科学年论文成绩评定表