G-N算法解读

10
11
移除具有最高边界数的边
12
四、GN算法存在的问题
• 从上面的算法流程中我们可以看到：在不知道社区数 目的情况下，G-N 算法也不知道这种分解要进行到哪 一步为止。 • 为解决这个问题，Newman等人引进了一个衡量网络 划分质量的标准——模块度。模块度函数Q：
Q (eii ai )
3
二、G-N 算法的思想
• 流程如下：
1、计算网络中所有边的边介数。 2、找到边介数最高的边并将它从网络中移除。 3、重复步骤1,2，直到每个节点就是一个退化的社 区为止。
4
三、边介数定义和计算
• 最短路径边介数方法是一种最简单的边介数度量方法， 一条边的边介数(betweenness)是指从某个源节点 S 出发通过该边的最短路径的数目，对所有可能的源节 点，重复做同样的计算，并将得到的相对于各个不同 的源节点的边介数(betweenness)相加，所得的累加 和为该边相对于所有源节点的边介数。
22
• 步骤2:依次合并有边相连的社区对，并计算合并后的 模块度增量∆Q=eij+eji-2aij=2(eij-aiaj)。根据贪婪 算法的原理，每次合并应该沿着Q增大最多或者减小 最少的方向进行。每次合并以后，对相应的元素eij更 新，并将与i、j社区相关的行和列相加。 • 步骤3重复执行步骤2，不断合并社区，直到整个网络 都合并成为一个社区。最多要执行n-1次合并。整个算 法完成后可以得到一个社区结构分解的树状图。再通 过选择在不同位置断开可以得到不同的网络社区结构。 在这些社区结构中，选择一个对应着局部最大Q值的， 就得到最好的网络社区结构。
29
9
(0,1) 25/6 (1,1)
(1+1/3+1)*1
11/6 (1,1)
(1+2/3)*1/2 (1+2/3)*1/2
(2,1)
(2,2) 2/3 1/3
1
(3,3)
(3,1)
从节点 j 经过节点 i 到达源节点的最短 路径的数目与节点 j 到达源节点的最短 路径的数目之比为 wi/wj，对于源节点 S，应该采取以下步骤计算边界数： 1. 找到所有的叶子节点 f，该叶子节点 f 不被任何从源节点出发到达其它任何节 点的最短路径所经过。 2. 假设叶子节点 f 与节点 i 相邻，那么 就将权值 wi/wf赋给从节点 f 到节点 i 的 的边。 3. 从距离源节点 S 最远的边开始，从 下至上直到源节点 S为从节点 i 到节点 j 的边赋值为位于该边之下的所有邻边的 权值之和再加上 1，然后，再将其和乘 以 wi/wj，最后的结果就是该边的边介 数。 4. 重复步骤 3，直到遍历图中的所有节 点。
15
• GN算法是分裂法，可以用树状图来表示 算法过程。 • 当沿着树状图逐步下移时，每移一步就对应着该截取 位置的网络结构的Q值，并找到局部峰值，既是对应 着的比较好的截取位置。
16
此图为美国一所大学中 的空手道俱乐部成员间 的相互社会关系。
17
18
加入模块度函数后G-N算法的基本流程
• 1) 计算网络中各条边的相对于所有可能的源节点的边 介数。 • 2) 移除相对于所有可能的源节点的边介数较大的边， 每当分裂出新的社区的时候，需要计算一次网络的模 块度 Q，并且记录与该 Q值对应的网络结构。 • 3) 重新计算网络中所有剩余的边的相对于所有可能的 源节点的边介数。 • 4) 重复上述过程，直到网络中没有边为止，然后选择 具有最大模块度 Q值时的网络结构作为该网络的最终 分裂状态。
ki k j 1 Q [ Aij ] (ci , c j ) 2m ij 2m
27
八、GN算法的意义
在复杂网络聚类研究中，GN算法占有十分重要的 地位，其重要意义在于：首次发现了复杂网络中普遍 存在的网络簇结构，启发了其他研究者对这个问题的 深入研究，掀起了复杂网络聚类的研究热潮。
28
23
加权网络中的社区结构划分算法
• 以上算法所适用的网络大多数是无权网络，然而现实 世界中却存在许多加权网络。网络中边的权重大小具 有实际意义，比如在社会网络中边的权重可能表示人 与人之间关系亲密程度的大小，因此如果忽略权重去 分析加权网络将会丢失大量包含在权重中的有用信息。
24
• 把GN算法推广到加权网络中，一个很简单的想法是在 把加权网络转换的多重图中计算边的介数，然后移除 拥有最大边介数的边。边的权重越大，通过该边的最 短路径数目越多，被移除的概率也越大，然而边的权 重代表该边所连接的结点对的亲密程度，权重越大， 结点对之间的亲密程度越高，从社区结构划分的角度 上来说，该边被移除的概率应该越小，所以上述算法 的推广是不可行的。
2
13
五、社区划分质量衡量标准
• 在此基础上，用模块度)
2
• 该式的物理意义是：网络中连接两个同种类型的节 点的边的比例，减去在同样的社区结构下任意连接 这两个节点的边的比例的期望值。 • 在实际的网络中，Q的值通常在0.3-0.7之间，Q的值 越大，网络分裂的结果状态越好，Q值大于0.7的几 率很小，Q值的上限是1，当越接近于1时，越能说明 网络具有较强的聚类性质，即具有明显的社区结构。
21
• NF算法如下： • 步骤1:初始化网络为n个社区，即每个结点就是 一个独立社区。则在GN算法中讨论过的矩阵 E=(eij)中，初始的eij，和口ai满足：
其中ki为结点i的度，m为网络中总的边数。元素e ij 表示网络中连接第i 个社区和第j 个社区节点的边在所有 边中所占的比例。a i 它表示与第i 个社区中的节点相连 的边在所有边中所占的比例。
5
• 假设有一个具有 m 条边和 n 个节点的图，考虑一 种比较简单的情况，假设从任何一个源节点出发， 对该图进行搜索，该源节点与其它节点之间都只存 在一条最短路径，图中的所有最短路径构成一个最 短路径树。利用这颗最短路径树来计算每条边的边 介数。
6
2
4
1
1
2
1
1，找到这棵树的叶子节点，并为每条 与叶子节点相连的边赋值为 1 ； 2，按照自下而上的方向为该搜索树中 的每条边赋值，从与源节点 S 之间距 离最远的边开始，其值等于位于该边 之下的所有邻边的值之和再加上 1； 3，按照这种赋值方式，对搜索树中的 所有边进行遍历，那么每条边的相对 于某个源节点 S的边介数就是该边的 值，对于所有可能的源节点，我们都 重复上述过程； 4，将每条边的相对于各个源节点的边 介数相加 ， 最终结果就是每条边的相 对于各个源节点的边介数，即所有节 点对间的最短路径的边介数。
14
• 它将网络划分为k个社区。定义一个kxk维的对称矩阵 E=(e ij )。
• 元素e ij 表示网络中连接两个不同社区的节点的边在 所有边中所占的比例，这两个节点分别位于的第i 个 社区和第j 个社区。 • 设矩阵中对角线的各元素之和为∑e ii . 它给出了网络 中连接某一个社区内部各节点的边在所有边的数目中 所占的比例。 • 每行（或列）中各元素之和为a i＝∑ e ij . 它表示与第 i 个社区中的节点相连的边在所有边中所占的比例。
7
• 但是，在大多数的实际网络中，每个源节点与其它 节点之间并不只是存在一条最短路径， 一些节点对 之间存在若干条长度相等的最短路径。
8
(0,1)
(1,1)
(1,1)
(2,1) (2,2)
(2,1)
(3,1) (3,2) (3,3)
从源节点 S 出发，为每个节点 i赋值，该值为从一 个源节点 S 出发到达其它节点 i 的最路径的数目用 wi表示。具体步骤如下: 1. 定义源节点 S 的距离为 ds= 0，并赋予一个权值 为 ws= 1。 2. 对于每一个与源节点 S 相邻的节点 i，定义它到 源节点的距离为di=ds+1 ，以及该节点的权值为 wi= ws= 1。 3. 对于每一个与任意节点 i 相邻的节点 j，我们根 据具体情况，采取以下三个步骤之一： 如果节点 j 没有被指定距离，那么，指定其距离 为 dj= di+1，权值为 wj= wi； 如果已经指定了节点 j的距离，并且节点 j 的距离 值为 dj= di+1，那么就要在原来的基础上将节点 j 的权值再增加 wi，使其权值为wj，即 wj← wj+wi； 如果已经指定了节点 j 的距离，并且距离为 dj< di+1，那么，直接执行步骤 4。 4. 重复执行第 3 个步骤，一直到网络中不存在满 足以下条件的节点，即其本身已经被指定了距离， 但是其邻接点却没有被指定距离。
Girvan-Newman 算法（G-N算法）
陕西西安 20130420
1
１
G-N算法概要
２
３ 4 5 6 7 8 ３
G-N算法的思想
边界数的计算 G-N算法存在的问题 社区划分质量衡量标准 G-N算法的缺点
G-N算法的改进 意义
2
一、G-N算法概要
• GN算法是一个经典的社区发现算法，它属于分裂的层次 聚类算法，最初，由Michelle Girvan和Mark Newman提 出。其基本思想是不断的删除网络中具有相对于所有源节 点的最大的边介数(ege betweenness)的边，然后，再重 新计算网络中剩余的边的相对于所有源节点的边介数，重 复这个过程，直到网络中，所有边都被删除。
19
六、GN算法的缺点
• GN算法的缺点 计算速度慢，边介数计算的开销过大，时间复杂 性高，只适合处理中小规模的网络(包含几百个节点的 网络)。
20
七、改进的GN算法
GN算法虽然准确度比较高，分析社区结构的效果 比原有的一些算法好，但是它的算法复杂度比较大， 因此仅仅局限于研究中等规模的复杂网络。现在，对 于Internet、WWW、电子邮件网络等网络的研究越 来越多，而这些网络通常都包含几百万个以上的结点。 在这种情况下，传统的GN算法就不能满足要求。基于 这个原因，Newman在GN算法的基础上提出了一种快 速算法(Newman Fast Algorithm，以下简称NF算法)， 它实际上是基于贪婪算法思想的一种凝聚算法，可以 用于分析结点数达100万的复杂网络。