局部最优社区挖掘算法(社区紧密度,关键词查找)
收稿日期:2008-11-07;修回日期:2009-01-15 基金项目:国家“863”重点基金资助项目(2006AA010106);国家“973”基金资助项目(2007C B311007)
作者简介:吴龙庭(1982-),男,湖北荆州人,博士研究生,主要研究方向为信息检索、决策科学(aaron792@https://www.360docs.net/doc/ff10107753.html,);戴汝为(1932-),男,院士,主要研究方向为人工智能、模式识别;崔霞(1975-),女,副研究员,博士,主要研究方向为信息检索、人工智能.
一种局部最优社区挖掘方法
*
吴龙庭,戴汝为,崔 霞
(中国科学院自动化研究所复杂系统与智能科学重点实验室,北京100190)
摘 要:研究互联网论坛中划分用户社区问题。首先通过分析用户在论坛上的发言层次结构与内容建立用户之间的回复关系图,然后提出一种基于局部最优的图聚类方法LOGCA 对大容量的论坛网络图进行分类。实验得到互联网论坛上几个有意义的用户社区,并且确定了社区成员的共同兴趣。实验结果表明新方法简单有效,能够从大规模网络中发掘出有意义的用户社区。关键词:社会网络;知识发现;数据挖掘;中文论坛
中图分类号:TP 391 文献标志码: A 文章编号:1001-3695(2009)08-2855-03doi:10.3969/j.issn.1001-3695.2009.08.014
Com m unity m ining approach ba sed on local opt im izat ion
WU Long-t ing,DAI Ru-wei,C UI Xia
(K ey Laboratory of Complex Sys tem &Intelligence S cience,Institute of Automation,Chinese Academy of Sciences,B eijing 100190,China)
Abst ract :This pa per st udied how to m ine m eaning ful Web com m unities from forum .Cons truct ed user int era ct ion g raph ac-cording t o the hiera rchical st ructure a nd content of forumpost s.P roposed a nov el g raph clus tering a lg orit hm LOGC A t o exploit m eaning ful com m unities from la rge-scale net works.The experim enta l result s show t hat t his a pproach is effect iv e in dis cov ering Web com m unit ies from Internet forum .
Key words:social net works;knowledge discovery ;dat a m ining ;Chinese forum
0 引言
近些年随着互联网的快速发展,论坛、博客等虚拟网络空间越来越受到网民们的欢迎。围绕这些虚拟网络空间,网络社区应运而生。网络社区是指由网民在电子网络空间进行频繁的社会互动形成的具有文化认同的共同体及其活动场所,也具有实在社区的基本要素:活动因素、人群(网民)、频繁的互动、共同的社会心理基础等。在网络社区中,网民迅速地交流沟通各种信息资讯,网络社区已经在人们的生活工作中发挥着越来越重要的作用。
研究虚拟网络社区的结构对于互联网研究中的一系列课题如确定社会热点、提供个性化服务具有重要意义。大量研究[1～3]表明,虚拟网络社区具有与现实社会网络类似的性质,如指数分布特性及尺度无关性等。通常虚拟网络社区可以用图的形式表示,其中网络中的节点表示个人,连线则表示人与人之间的某种联系。因此从虚拟网络中挖掘虚拟社区转换为从一个复杂图寻找聚类子图的问题。传统的图聚类方法是阶梯聚类,即首先给定一组节点集合及它们之间的相似度矩阵,将每个节点设为一个单独的类;然后将点间距离最近的点合并为一类,将它们与其他节点的距离加权平均后作为新类与其他节点的相似距离;最后继续重复类合并过程,直到所有的类都合并成为一类。但这种方法不能直接应用于网络社区挖掘问题,主要是因为在网络社区中有时难以定义用户之间的相似距离。
1 相关研究
图聚类问题在物理学、生物学、生态学和计算机科学中都有广泛的研究。较早提出的解决这一问题的方法是Ker-nigha n-Lin(K-L)算法[4]。该算法使用二分规则不断地将图进行二分,从而得到图聚类结果。对一般的图聚类结果,该方法的聚类结果较好,同时运行速度也较快;但该方法的缺点是需要预先确定所需分类类数,如果类数指定错误,则分类结果也可能出错。由于实际图聚类问题中往往无法预先指定所需分类数,该方法的实际应用有限。另外一种应用较广的图聚类方法是最大流最小分割(m a x flow-m in cut)法。F ord 等人[5]证明了对图进行最小分割的问题等同于求取图的最大流问题。在实际应用中,也存在大量算法性能优越的最大流最小分割算法,但该算法的主要缺点是不能对所分类的容量大小进行限制。Girva n 等人
[6]
近年提出了一种基于邻近度(betw eenness)
概念的图分类算法,该算法假定任一条边的邻近度为图中所有点间最短路径经过该边的次数,因为连接两个属于不同类节点的连线的邻近度显然大于连接两个属于同一类节点的邻近度,所以去掉这些邻近度较大的连线,就自然地得到了图聚类结果。该算法的思想非常直观,但缺点是计算图中所有点间的最短路径的计算量非常大,而且每去掉一条连线,就要重新计算一次,这使得该方法的计算非常复杂,不利于用于大型的图聚类问题。在互联网中寻找有效的用户社区的方法首先出现在Kleinberg 的HITS 算法中
[7]
。该算法使用限定特征值的方法
第26卷第8期2009年8月 计算机应用研究
Applicat ion Research of Com puters Vol.26No.8Aug.2009
来计算聚类。但同样由于计算量巨大,同时难以确定合适的特征值阈值,该方法的实际应用也不广泛。
国内近年来对于社区挖掘的研究主要集中于在动态变化的虚拟网络中有效地挖掘用户社区。才华等人[8]采用层状模型,结合连通性和频繁性的概念提出了一种动态社区结构挖掘算法DC SMA,该算法能够动态地挖掘虚拟社区的结构,并在标准测试集中验证了算法的可靠性和有效性。周春光等人[9]提出了一种基于事件的动态社会网络分析算法DS N E 。该算法通过确定图中各个簇的核心节点,可以根据时间变化来观察聚类位置的变化。王慧芳等人[10]提出了一种社区增量算法。该算法可以在社区结构发生实时变化时,增量式地分析社区结构,从而提高社区发现效率。
2 论坛社区挖掘
互联网论坛是一种帮助人们进行网上交流和讨论的互联网应用程序,用户们根据发帖留言讨论他们所共同关心的问题如生活、情感、游戏和娱乐等。论坛社区挖掘任务主要分为两步:a)根据用户们在论坛上发帖的次序和发帖内容,得到能够表征论坛用户回复关系的论坛网络关系图;b)对论坛网络关系图进行聚类,找到隐藏在图中的用户社区。2.1 论坛网络关系图的生成
用户们在论坛上就各自感兴趣的话题进行自由讨论,随着讨论的进行,表示用户间回复关系的网络图自然形成。由于论坛中的用户数量庞大,而相互连接关系比较复杂,为了简化问题,本文使用无向无权重的图来描述用户间的回复关系。在描述用户之间的回复关系之前,首先通过分析论坛网页格式得到所有论坛用户的用户名(见第3章);然后使用下面的规则生成论坛网络关系图。
a)在论坛关系图中,用一个随机分布的节点表示一个发过帖的用户。若有注册用户没有发帖,则不会在关系图中显示,因为显然他不会与其他用户有回复关系。
b)对论坛上每一论题,设定一个表记录所有在该论题下发帖的用户,称为该论题的用户表。对每个论题的第一个发帖,若帖子中提到了其他用户,就在表示帖子作者与所提到用户的节点间画一条连线,表示这些用户间存在一种回复关系。
c)对于某个论题下的跟帖(非论题首帖),如果该帖内容中提到了其他用户,并且这些用户中至少有一位是包含在该论题的作者列表之下的,那么就在这些用户与跟帖作者间画连线;如果没有一位所提到的用户是包含在论题作者列表中的或是该帖没有提到其他用户,除了在所提到用户与作者间画连线,还在该帖作者与该论题首帖作者之间也画一条连线,表明这个作者回复了这个论题。
图1是阐释如何生成论坛网络关系图的一个例子。在图中,用户A 首先开始了一个话题,然后用户B 在该话题下进行了跟帖,因此A 与B 之间有一条连线。因为用户C 的回帖中同时提到了用户B,而用户D 的回帖提到了B 和C,这三个用户间存在一个三角形,表明这三个作者联系紧密。作者F 的回帖中仅提到了用户E,但该用户没有回复该话题,所以F 除了与用户E 有连线外,还与论题的发起者A 有连线。2.2 LOGCA 图聚类方法
根据2.1节图聚类方法得到论坛网络关系图后,接下来需
要通过图聚类算法找到图中联系紧密的用户社区。由于网络中的用户数量巨大,要求图聚类方法必须简单快速,同时准确有效。由于上文中提到的各种图聚类方法的计算量都比较大,不适用于大规模的网络聚类,本文提出一种新的基于局部最优的图聚类方法(locally opt im ized graph clust ering a lg orit hm,LOG-CA)。该算法首先根据各种网络所拥有的共性提出如下假设:
a)每一个社区都有一个与社区其他节点广泛相连的关键节点。这是现实中大多数网络都共有的特性。例如在互联网中,这种关键节点是导航网站或门户网站;而在点对点网络中,这种关键点就是提供资源共享的网络服务器。
b)每一个社区的核心区域都由若干个围绕着社区关键点的三角形组成。社区内部联系实际上是一种图结构,其中节点表示社区成员,连线表示成员间的联系关系,因此一个合格的用户社区意味着图中社区内部之间的连线比社区与外部的连线紧密,也就是说用户社区在图中应该是一种接近于完全图的形式。而三角形就是一种最简单的完全图形式。
c)社区中的成员距离社区的核心区应该较近,即社区成员在图中可以通过较短的路径快速到达核心区。如果社区成员距社区核心区较远,那么它应该与更多的社区成员保持连接关系来确保它从属于这个社区。这条假设确定了社区划分的边界,同时也可以替换为社区成员间的最短路径不应超过某个阈值等其他假设。
给定一个无向图G(v,e),如果点p 与q 有连线,就称p 与q 互为关联点,称p 、q 代表的用户互为关联用户。将点p 所有关联点所组成的集合记为A(p),将一个带发现的用户社区记为C (v)。基于上面的假设,下面给出局部最优图聚类算法LOGCA 的实现步骤:
(a)选择图G(v,e)中与其他点连线最多的点作为C(v)的关键点k 。
(b)遍历A (k),如果k 的两个关联点彼此相连,说明它们与k 组成一个三角形,因此将它们都加入C(v)。
(c)设定阈值t,然后遍历∪n ∈C(v)A(n)。若∪n ∈C(v)A (n)中有点与C(v)中超过t 个元素相连,就将该点加入C(v)。每次遍历后,增加t 然后重新遍历∪n ∈C (v)A(n),直到C(v)中不再添加新节点为止。将C(v)输出为一个社区,然后从G(v,e)中删除C(v)。
(d)重复a)～c),直到G(v,e)中所有的点都已被划分到各个社区。
LOGCA 的步骤非常简单,保证了它能用来划分大规模的网络结构。下面用实验来验证它的有效性。
3 实验结果
本文选择天涯论坛中的天涯杂谈板块作为实验研究对象。3.1 数据采集
论坛数据采集工作分为以下两步:
a)抓取论坛的帖子列表网页,从中提取出各个论题的标题、U RL 、作者、回复数和点击数。
b)根据a)所获得的论题的U RL,分别抓取每个论题的回帖信息,包括回帖内容、作者和发帖时间。
由于将原始网页都保存在硬盘上将占用大量的存储空间,同时笔者注意到在一个HTML 文本中,人们所关心的实际上只是其中的几个具体的HTML 标签信息,本文开发了一个HT-
?
6582?计算机应用研究 第26卷
ML 文本在线分析器来实时地提取出HTML 文本中所需要的标签信息,将信息提取结果用XML 文档的形式保存在硬盘中。笔者在2008年7月30日对天涯杂谈的帖子列表进行了抓取,并且提取出了3367个论题;然后在2008年8月1日～2008年8月3日,抓取了其中3062个论题,组成了一个由3062个XML 文件组成的文集(每一个XML 文件对应一个论题的所有文本内容),共占用空间193MB,包含110024个用户所提交的599064个发帖。3.2 用户数据统计分析
图2显示了数据集中用户之间的相互关联情况。图中的数据点在对数坐标下近乎呈直线分布,这表明用户的关联用户数也是呈指数分布规律的。其中大多数用户的关联用户很少,而有一少部分用户却有大量的关联用户。由于本文的目的是要挖掘潜在的用户社区,本文设定仅对至少拥有三个关联用户的用户进行社区分类,这样数据集中的用户数从110024减少到14931。使用前面提到的网络图生成方法,生成了不同数据规模的论坛网络关系图,如图3所示。由于用户之的联系非常紧密,对于包含3000个点以上的关系图,几乎无法清楚地看出它的图形结构。
3.3 论坛社区挖掘
使用第2章中的网络社区挖掘方法和定义的记号,本文实现LOGCA 算法如下所示:
1:开始
2:输入图G(v,e)3:while G(v,e)不为空集
4: 选取G(v,e)中关联点最多的点k 5: 初始化C(v)6: 将点k 加入C(v)7: 设定阈值t =1
8: for each 点a 属于A(k)9: if A(a)∩A(k)不为空集10: 将点a 加入C(v)11: end if 12: end for 13: do:14: t ++
15: for each C(v)中的点r
16: for each 不属于C(v)但属于A(r)的点s 17: if A(s)与C(v)共有元素大于t 18: 将点s 加入C(v)19: end if
20: end for 21: end for
22: w hile C(v )还有新点加入23: 将C(v )作为一个用户社区输出24: 在图G(v,e)中删除C(v)25: end while 26:结束
在LOGCA 算法中,首先选择图G(v,e)中关联点最多的节点k 作为待发现分类C(v)的关键点;然后在k 的关联点集合A(k)中查找可能存在的三角形,并将三角形中的节点都加入C(v);最后遍历∪n ∈C(v)A(n),直到没有新节点可以加入C(v)为止。这时将C(v)作为一个社区输出,并从G(v,e)中除去C(v)。重复这个过程,直到所有G(v,e)中的节点都被分配了一个社区。
将该算法应用于本文采集到的包含14931个天涯杂谈用户的数据集,得到了7683个分类社区。其中有一个巨型社区包含6316个节点,另外还有一些大小为2～210不等的小社区。其中6473个社区只包含一个节点,表示这些用户不属于任何虚拟社区。社区成员数量大小的分布如图4所示,也呈现出指数规律。
本文进一步调查了所挖掘到的几个主要社区的性质,并将其性质用表1表示出来。在表1中,社区大小表示虚拟社区内的成员数;内外连线数比表示社区内部连线数与社区与外部连线数的比值,该比值越高,表明所挖掘到的社区质量越高。由表中可见,本文所挖掘到的前三个社区的连线比均超过了2,这表示在这些社区内部,成员间的联系远多于成员与社区外成员的联系,因此所挖掘的这些社区是有效的虚拟社区。进一
步调查这些社区成员的发帖内容,将所有社区内部成员的发帖内容组成一个大的文本文档,对该文本进行分词滤词,然后统计词频,选择其中出现词频最高的四个词作为表征该社区社区兴趣的关键词。由表1可见,第一个社区实际上是论坛的一个主流社区,他们关心一般的社会、生活和教育问题,拥有用户数最多;第二个社区讨论国际政治话题,其中大多数话题都提到了美国;第三个社区由于关键词比较特殊,笔者人工翻看了一下这个社区成员所发布的帖子内容,发现他们所讨论的是一些网络上流行的以社会帮派为背景的虚拟小说;第四、五个社区的连线比不是太高,表明这些社区的成员联系关系不太紧密,这两个社区分别讨论的是关于饮食和教育的话题。实验结果表明本文的算法是有效的,能准确地挖掘出互联网论坛中潜在的用户社区。
表1 虚拟社区属性
排名
社区大小社区内部连线数社区与外
部连线数内外连
线数比社区关键词16316205127625 2.69社会,教育,工作,朋友22101478662 2.23世界,力量,美国,领导387361121 2.98黑道,杀,朋友,警察4366844 1.55东西,钱,吃饭,酒524
48
64
0.75
大学,捐钱,发展,钱
(下转第2894页)
?7
582?第8期吴龙庭,等:一种局部最优社区挖掘方法
数,也可以设计一定的阈值,当代与代之间的适应值相差满足一定条件时即可终止算法,根据解决的问题而定。另外,从算法收敛的速度来看,该算法还是比较快的。该算法具有一定的概率统计意义,即从优势个体去逼近数据真实的情况,也就是说,只有当优势个体的数目达到一定的数目时,才能比较准确地得到解的联合概率情况。所以本文建议在使用该算法时适当地扩大种群与优势个体的数目。
最后本文在第25代种群中选出了一个包含7个特征基因的子集(其F 2、F 3分别为0),表1是这7个基因及其生物描述。最后一个基因在原数据集中没有说明信息,因此为空(NU LL)。在这7个基因特征上,KN N 经过63个样本训练后,对独立测试集(包含20个测试样本)进行分类,最终得到了95%的准确率(错分1个)。
表1 7个特征基因
Image ID 基因描述
47475Ho mo sapie ns inducible pro t e in mRNA ,co mple t e cds 629896microt ubule-asso ciated pro t e in 1B
75254c yst e ine and glycine -ric h pro t e in 2(LIM domain only,
smoo t h muscle)
814260follicular lymphoma variant translo cation 1
207274
Human DNA for insulin -like gro wt h fact o r Ⅱ(IGF-2);e x-o n 7and addit ional OR F
866702pro t e in t yrosine pho sphat ase ,non-receptor t ype 13(A PO-1/CD95(Fas)-associated phosphat ase )435953
NULL
4 结束语
本文分析了特征基因选择中过滤法和缠绕法的优缺点,提出了基于多目标EDA 的特征基因选择方法。从特征基因的数量规模、分类精度、精度的平衡性三个方面优化并最终得到特征基因集。相比普通演化算法,多目标EDA 不但能同时优化多个目标,还能自动地从父代种群中学习得到子代种群,省略了普通演化算法在交叉、变异过程中的参数设置与评估工作。该方法在儿童小圆蓝细胞肿瘤2000多个基因中选择出7个特征基因,分类精度达到95%。
本文提出的多目标E DA,使用的概率模型是假设基因之间是相互独立的。由于对当前生物学上基因之间的关系还知之甚少,这种假设是合理的。但是随着更多基因之间的关系被
认知,将基因之间的已知关系也作为特征基因选择的参考,可能会提高多目标EDA 分类预测的效果。下一步笔者将进行此方面的研究。参考文献:
[1]
UGGAN D J,B ITTNE R M,CHEN Y,et al .Expr ession profiling using cDNA micr oar ray[J].Nature G enetics ,1999,21(Suppl):10-14.[2]
KHAN J ,WE I J S,RINGNER M,et al .Classification and diagnostic prediction of cancers using gene expression pr ofiling and artificial neu-r al netw orks[J ].Natu re Me dicine ,2001,7(6):673-679.[3]
B REITLING R,ARME NGAUD P,AM TMANN A,et al .Rank pro-ducts:a sim ple,yet pow erful,new method to detect differ entially reg-ulated genes in replicated micr oarr ay ex per iments [J].FE BS Let-ters ,2004,573(1-3):83-92.[4]
E FRON B,TIBSH IRANI R,STORE Y J,et al .Empirical B ayes anal-y sis of a microar ray ex perim ent[J ].Journal of the Ame rican Sta-tist ica l Asso cia tion ,2001,96(456):1151-1160.[5]
J IRAPE CH U T,AITKEN S.Featur e selection and classifica tion for microar ray data ana lysis:ev olutionary methods for identifying predic-tiv e genes[J ].B MC Bioinformatics ,2005,6:148.[6]
OOI C,TAN P.Genetic algorithms applied to multi-cla ss pr ediction for the analysis of gene expr ession data[J].B ioinformatics ,2003,19(1):37-44.[7]
DEH K,ARGAWAL S,PRATAP A,et al.A fast and elist non-domi-nated sor ting genetic algorithm for multi-objective optimization:NS -GA-Ⅱ[J].IE EE Tran s on Evol Comp ut,2002,1917(6):182-197.[8]
M HLENBEIN H,PAASS G.Fr om r ecombination of genes to the es-tima tion of distr ibutions I.binar y par ameters[C]//Proc of the 4th In-terna tional Conference on Parallel Problem S olving fr om Natur e.Lon-don:Spring er-Verlag,1996:178-187.[9]
DUDOIT S,FRIDLYAND J,S PEED T https://www.360docs.net/doc/ff10107753.html,parison of discrimina-tion methods for the cla ssification of tumors using gene expression data [J].Journal of the A merican Statistical A ssociation ,2002,97(457):77-87.
(上接第2857页)4 结束语
本文从挖掘论坛上潜在的用户虚拟社区问题出发,提出了一种基于局部最优的图分类算法LOGCA 。实验证明该算法能够有效准确地从大规模网络中挖掘出有效的用户社区,解决了传统图聚类算法计算量过大的问题,因此具有实际意义和应用价值。参考文献:
[1]
李军利,赵红领,范明.邮件社区划分和小世界网络[J ].计算机应用,2008,28(4):146-149.[2]
胡海波,王科,徐玲,等.基于复杂网络理论的在线社会网络分析[J ].复杂系统与复杂性科学,2008,5(2):1-14.[3]
陈君,唐雁.基于Web 社会网络的个性化Web 信息推荐模型[J ].计算机科学,2006,33(4):185-193.
[4]KERNIGHAN B,LIN S.An efficient heuristic procedur e for par titio-ning g raphs[J].Be ll S ystem Technical Journal ,1970,49(1):
291-307.
[5]
FORD L R,FULKERSON D R.Ma ximal flow through a netw ork[J ].Canadian Journal of Mathem atics ,1956,8:399-404.[6]
GIRVAN M,NEWMAN M E J .Com munity str ucture in social and biological networks[J].Proc of Nat ional Academy Scien ces of the Unite d States of Am erica ,2002,99(12):8271-8275.[7]KLEINBERG J M.Author ita tive sources in a hyperlinked envir onment [J].Journal of th e ACM,1998,46(5):604-632.
[8]才华,周春光,王劼,等.动态网络中的社区挖掘算法研究[J ].吉林大学学报,2008,26(4):380-385.
[9]周春光,曲鹏程,王曦,等.DSNE:一个新的动态社会网络分析算法[J ].吉林大学学报,2008,38(2):408-413.
[10]王慧芳,黄林鹏,俞晟.一种增量式的社区发现算法研究[J ].计
算机仿真,2008,25(1):149-152.
?
4982?计算机应用研究 第26卷
数据挖掘算法综述
数据挖掘方法综述 [摘要]数据挖掘（DM，DataMining）又被称为数据库知识发现（KDD,Knowledge Discovery in Databases）,它的主要挖掘方法有分类、聚类、关联规则挖掘和序列模式挖掘等。 [关键词]数据挖掘分类聚类关联规则序列模式 1、数据挖掘的基本概念 数据挖掘从技术上说是从大量的、不完全的、有噪声的、模糊的、随机的数据中提取隐含在其中的、人们事先不知道的、但又是潜在的有用的信息和知识的过程。这个定义包括好几层含义: 数据源必须是真实的、大量的、含噪声的、发现的是用户感兴趣的知识, 发现的知识要可接受、可理解、可运用, 并不要求发现放之四海皆准的知识, 仅支持特定的发现问题, 数据挖掘技术能从中自动分析数据进行归纳性推理从中发掘出潜在的数据模式或进行预测, 建立新的业务模型帮助决策者调整策略做出正确的决策。数据挖掘是是运用统计学、人工智能、机器学习、数据库技术等方法发现数据的模型和结构、发现有价值的关系或知识的一门交叉学科。数据挖掘的主要方法有分类、聚类和关联规则挖掘等 2、分类 分类（Classification）又称监督学习（Supervised Learning）。监
督学习的定义是：给出一个数据集D，监督学习的目标是产生一个联系属性值集合A和类标（一个类属性值称为一个类标）集合C的分类/预测函数，这个函数可以用于预测新的属性集合（数据实例）的类标。这个函数就被称为分类模型（Classification Model），或者是分类器（Classifier）。分类的主要算法有：决策树算法、规则推理、朴素贝叶斯分类、支持向量机等算法。 决策树算法的核心是Divide-and-Conquer的策略，即采用自顶向下的递归方式构造决策树。在每一步中，决策树评估所有的属性然后选择一个属性把数据分为m个不相交的子集，其中m是被选中的属性的不同值的数目。一棵决策树可以被转化成一个规则集，规则集用来分类。 规则推理算法则直接产生规则集合，规则推理算法的核心是Separate-and-Conquer的策略，它评估所有的属性-值对（条件），然后选择一个。因此，在一步中，Divide-and-Conquer策略产生m条规则，而Separate-and-Conquer策略只产生1条规则，效率比决策树要高得多，但就基本的思想而言，两者是相同的。 朴素贝叶斯分类的基本思想是：分类的任务可以被看作是给定一个测试样例d后估计它的后验概率，即Pr（C=c j︱d），然后我们考察哪个类c j对应概率最大，便将那个类别赋予样例d。构造朴素贝叶斯分类器所需要的概率值可以经过一次扫描数据得到，所以算法相对训练样本的数量是线性的，效率很高，就分类的准确性而言，尽管算法做出了很强的条件独立假设，但经过实际检验证明，分类的效果还是
流数据频繁模式挖掘算法汇总
频繁模式挖掘 常用的概念： 事务数据库： 时间ID： 项集(item set)： 重要算法： 1、A priori 主要思想就是从大小1开始遍历可能频繁集k，当满足V所有集合子集都在之前计算过的频繁集k中，且出现次数满足频繁要求，则V为k+1频繁集这样做有如下好处：如果一个集合是频繁集，那么它的所有子集都是频繁集； 如果一个集合不是频繁集，那么它的所有超集都不会是频繁集 缺点就是要多次扫描事务数据库 2、F P-growth 可以用来识别包含某个元素的最大频繁集。 FP-growth算法通过构造FP-tree来实现，FP-tree由频繁项集表和前缀树构成。 FP-tree的构建需要扫描两遍数据库， （1）第一遍对所有元素技术并降序排序，然后将数据库中每个事务里的元素按照这个顺序重新排序
（2）按照项头表的顺序逐渐插入元素 ··· （3）FP-tree的挖掘 得到了FP树和项头表以及节点链表，我们首先要从项头表的底部项依次向上挖掘。对于项头表对应于FP树的每一项，我们要找到它的条件模式基。所谓条件模式基是以我们要挖掘的节点作为叶子节点所对应的FP子树。得到这个FP子树，我们将子树中每个节点的的计数设置为叶子节点的计数，并删除计数低于支持度的节点。从这个条件模式基，我们就可以递归挖掘得到频繁项集了。 （1）先从F挖掘 通过它，我们很容易得到F的频繁2项集为{A:2,F:2}, {C:2,F:2}, {E:2,F:2}, {B:2,F:2}。递归合并二项集，得到频繁三项集为{A:2,C:2,F:2}，{A:2,E:2,F:2},...还有一些频繁三项集，就不写了。当然一直递归下去，最大的频繁项集为频繁5项集，为{A:2,C:2,E:2,B:2,F:2}
数据挖掘算法
数据挖掘的10大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在 构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm
数据挖掘领域的十大经典算法原理及应用
数据挖掘领域的十大经典算法原理及应用 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1.C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法.C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1)用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。
C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV 机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面
数据挖掘中十大经典算法
数据挖掘十大经典算法 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和Barnard 将支持向量机和其他分类器进行了比较。 4. The Apriori algorithm Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法。其核心是基于两阶段频集思想的递推算法。该关联规则在分类上属于单维、单层、布尔关联规则。在这里，所有支持度大于最小支持度的项集称为频繁项集，简称频集。 5. 最大期望(EM)算法 在统计计算中，最大期望（EM，Expectation–Maximization）算法是在概率（probabilistic）模型中寻找参数最大似然估计的算法，其中概率模型依赖于无法观测的隐藏变量（Latent Variabl）。最大期望经常用在机器学习和计算机视觉的数据集聚（Data Clustering）领域。 6. PageRank PageRank是Google算法的重要内容。2001年9月被授予美国专利，专利人是Google创始人之一拉里?佩奇（Larry Page）。因此，PageRank里的page不是指网页，而是指佩奇，即这个
阿里巴巴国际站关键词挖掘方法
做外贸的朋友，肯定都有这种体会：老板总是自己照各种办法去搜集关键词、重复间断的发布产品等等，都是一些比较繁琐的工作。关键词搜多了，总觉的都差不多，也不知道哪个效果会比较好，找到的关键词还得一个个试过才行。有些业务员刚接触外贸，对平台规则、产品属性都还不是很熟悉，就更难找到合适、高效的关键词了。特别是在阿里巴巴国际站关键词对产品的推广影响力很大，做不好关键词，产品的询盘量就很难提升不上去，业绩也只能长期挂零，有些承受力不够的朋友，估计在这个时候就半途而费了。 我很幸运，公司给提供了一个小软件，朗诺通外贸360，能够很好的帮我批量抓取阿里国际上自己店铺和竞争对手产品的关键词相关信息，让我对公司自己的产品现状有整体的认知，可以对个别不理想的产品进行优化，也可以充分了解、分析对手的信息，作为参考来优化自己的产品。使用了一段时间，效果还不错。节省了自己不少精力，平时操作起来感觉也更有规划和目的性了。 下面跟大家分享一下朗诺通外贸360的使用方法： 1、安装软件 A.打开安装包 在朗诺通官网-服务-软件下载页面可以下载到； 安装软件 打开安装程序： 确认安装：
安装完成跳转到登陆界面： 2、登陆 A.账号密码下载地址处免费提供 B.进入操作界面，登陆成功
3、阿里巴巴国际站关键词分析 A.产品分析关键词 点击【阿里店铺分析】选项卡，在店铺地址栏输入想要分析的阿里国际店铺地址，点击分析按钮，软件开始自动获取产品关键词信息。 根据获取的关键词信息，可以为自己的产品关键词提供参考。 选择单个产品，点击查询排名按钮，弹出产品排名信息框，就可以查看产品的搜索量、排名及排名类型。对于像我这样的外贸新手来说，不太熟悉行业和关键词的使用规则，根据别人的效果，选择性借鉴别人的描述和设置，还是挺有效的。
学习18大经典数据挖掘算法
学习18大经典数据挖掘算法 本文所有涉及到的数据挖掘代码的都放在了github上了。 地址链接: https://https://www.360docs.net/doc/ff10107753.html,/linyiqun/DataMiningAlgorithm 大概花了将近2个月的时间，自己把18大数据挖掘的经典算法进行了学习并且进行了代码实现，涉及到了决策分类，聚类，链接挖掘，关联挖掘，模式挖掘等等方面。也算是对数据挖掘领域的小小入门了吧。下面就做个小小的总结，后面都是我自己相应算法的博文链接，希望能够帮助大家学习。 1.C4.5算法。C4.5算法与ID3算法一样，都是数学分类算法，C4.5算法是ID3算法的一个改进。ID3算法采用信息增益进行决策判断，而C4.5采用的是增益率。 详细介绍链接：https://www.360docs.net/doc/ff10107753.html,/androidlushangderen/article/details/42395865 2.CART算法。CART算法的全称是分类回归树算法，他是一个二元分类，采用的是类似于熵的基尼指数作为分类决策，形成决策树后之后还要进行剪枝，我自己在实现整个算法的时候采用的是代价复杂度算法， 详细介绍链接：https://www.360docs.net/doc/ff10107753.html,/androidlushangderen/article/details/42558235 3.KNN(K最近邻)算法。给定一些已经训练好的数据，输入一个新的测试数据点，计算包含于此测试数据点的最近的点的分类情况，哪个分类的类型占多数，则此测试点的分类与此相同，所以在这里,有的时候可以复制不同的分类点不同的权重。近的点的权重大点，远的点自然就小点。 详细介绍链接：https://www.360docs.net/doc/ff10107753.html,/androidlushangderen/article/details/42613011 4.Naive Bayes(朴素贝叶斯)算法。朴素贝叶斯算法是贝叶斯算法里面一种比较简单的分类算法，用到了一个比较重要的贝叶斯定理，用一句简单的话概括就是条件概率的相互转换推导。 详细介绍链接：https://www.360docs.net/doc/ff10107753.html,/androidlushangderen/article/details/42680161 5.SVM(支持向量机)算法。支持向量机算法是一种对线性和非线性数据进行分类的方法，非线性数据进行分类的时候可以通过核函数转为线性的情况再处理。其中的一个关键的步骤是搜索最大边缘超平面。 详细介绍链接：https://www.360docs.net/doc/ff10107753.html,/androidlushangderen/article/details/42780439 6.EM(期望最大化)算法。期望最大化算法，可以拆分为2个算法，1个E-Step期望化步骤,和1个M-Step最大化步骤。他是一种算法框架，在每次计算结果之后，逼近统计模型参数的最大似然或最大后验估计。
数据挖掘十大算法
数据挖掘十大算法 数据挖掘十大算法—K 近邻算法 k -近邻算法是基于实例的学习方法中最基本的，先介绍基于实例学习的相关概念。 一、基于实例的学习。 1、已知一系列的训练样例，很多学习方法为目标函数建立起明确的一般化描述；但与此不同，基于实例的学习方法只是简单地把训练样例存储起来。 从这些实例中泛化的工作被推迟到必须分类新的实例时。每当学习器遇到一个新的查询实例，它分析这个新实例与以前存储的实例的关系，并据此把一个目标函数值赋给新实例。 2、基于实例的方法可以为不同的待分类查询实例建立不同的目标函数逼近。事实上，很多技术只建立目标函数的局部逼近，将其应用于与新查询实例邻近的实例，而从不建立在整个实例空间上都表现良好的逼近。当目标函数很复杂，但它可用不太复杂的局部逼近描述时，这样做有显著的优势。 3、基于实例方法的不足： （1）分类新实例的开销可能很大。这是因为几乎所有的计算都发生在分类时，而不是在第一次遇到训练样例时。所以，如何有效地索引训练样例，以减少查询时所需计算是一个重要的实践问题。（2）当从存储器中检索相似的训练样例时，它们一般考虑实例的所有属性。如果目标概念仅依赖于很多属性中的几个时，那么真正最“相似”的实例之间很可能相距甚远。 二、k-近邻法基于实例的学习方法中最基本的是k -近邻算法。这个算法假定所有的实例对应于n 维欧氏空间?n 中的点。一个实例的最近邻是根据标准欧氏距离定义的。更精确地讲，把任意的实例x 表示为下面的特征向量：其中a r (x ) 表示实例x 的第r 个属性值。那么两个实例x i 和x j 间的距离定义为d (x i , x j ) ，其中： 说明： 1、在最近邻学习中，目标函数值可以为离散值也可以为实值。 2、我们先考虑学习以下形式的离散目标函数。其中V 是有限集合 {v 1，... v s }。下表给出了逼近离散目标函数的k-近邻算法。 3、正如下表中所指出的，这个算法的返回值f' (x q ) 为对f (x q ) 的估计，它就是距离x q 最近的k 个训练样例中最普遍的f 值。 4、如果我们选择k =1，那么“1-近邻算法”
数据挖掘主要算法
朴素贝叶斯： 有以下几个地方需要注意： 1. 如果给出的特征向量长度可能不同，这是需要归一化为通长度的向量（这里以文本分类为例），比如说是句子单词的话，则长度为整个词汇量的长度，对应位置是该单词出现的次数。 2. 计算公式如下： 其中一项条件概率可以通过朴素贝叶斯条件独立展开。要注意一点就是的计算方法，而由朴素贝叶斯的前提假设可知， = ，因此一般有两种，一种是在类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本的总和；第二种方法是类别为ci的那些样本集中，找到wj出现次数的总和，然后除以该样本中所有特征出现次数的总和。 3. 如果中的某一项为0，则其联合概率的乘积也可能为0，即2中公式的分子为0，为了避免这种现象出现，一般情况下会将这一项初始化为1，当然为了保证概率相等，分母应对应初始化为2（这里因为是2类，所以加2，如果是k类就需要加k，术语上叫做laplace 光滑, 分母加k的原因是使之满足全概率公式）。 朴素贝叶斯的优点： 对小规模的数据表现很好，适合多分类任务，适合增量式训练。 缺点： 对输入数据的表达形式很敏感。 决策树： 决策树中很重要的一点就是选择一个属性进行分枝，因此要注意一下信息增益的计算公式，并深入理解它。 信息熵的计算公式如下:
其中的n代表有n个分类类别（比如假设是2类问题，那么n=2）。分别计算这2类样本在总样本中出现的概率p1和p2，这样就可以计算出未选中属性分枝前的信息熵。 现在选中一个属性xi用来进行分枝，此时分枝规则是：如果xi=vx的话，将样本分到树的一个分支；如果不相等则进入另一个分支。很显然，分支中的样本很有可能包括2个类别，分别计算这2个分支的熵H1和H2,计算出分枝后的总信息熵H’=p1*H1+p2*H2.，则此时的信息增益ΔH=H-H’。以信息增益为原则，把所有的属性都测试一边，选择一个使增益最大的属性作为本次分枝属性。 决策树的优点： 计算量简单，可解释性强，比较适合处理有缺失属性值的样本，能够处理不相关的特征； 缺点： 容易过拟合（后续出现了随机森林，减小了过拟合现象）； Logistic回归： Logistic是用来分类的，是一种线性分类器，需要注意的地方有： 1. logistic函数表达式为： 其导数形式为： 2. logsitc回归方法主要是用最大似然估计来学习的，所以单个样本的后验概率为： 到整个样本的后验概率：
实例讲解站长挖掘长尾关键词的几个主要途径
每个站长都有自己的一套挖掘关键词技巧，但是对于大部分站长挖掘长尾关键词来说，更多的可能就是依靠百度指数、搜索下拉框和相关搜索了吧。其实这三个挖掘地方的所剩价值几乎为零了。毕竟好几千个站长在用着这种挖掘方法，能挖掘出来的关键词都被别人优化完了。如果硬是要优化这样挖掘出来的关键词，只能通过残酷的竞争了，即使竞争也要付出双倍的努力才行啊。那么不通过这三个方法，还有什么方法可以用来挖掘长尾关键词的呢?今天笔者跟大家分享几个挖掘的技巧。 一、百度知道中问题的标题 众所周知，百度知道是长尾关键词优化的老大，因为百度知道中大部分的流量都是来自于长尾关键词的流量。而且百度知道就是一个以长尾关键词为生的网站。只要你搜索的长尾关键词，搜索结果中肯定会出现百度知道的排名。既然这样一个长尾关键词的综合市场，对于咱们挖掘长尾关键词当然有非常大的帮助了。那么咱们如何通地百度知道来挖掘长尾关键词呢?其一问题的题目，百度知道中大部分的题目都是以长尾关键词形式展现的，比如挖掘运动这个关键词的长尾关键词，如图： 通过上图可以看到其中的标题都是一些带来长尾性质的关键词。而这些就是咱们所需要挖掘的长尾关键词了。除了标题之外，还可以适合的分析一下百度知道中的下拉框、相关搜索和内容中的相关问题推荐版块来挖掘更多的长尾关键词。 一、统计工具中的关键词来源
长尾关键词挖掘中，第二个实用技巧就是通过分析统计数据中的关键来源，这种长尾关键词挖掘方法是最精准的，也是有流量保证的。毕竟通过统计数据统计而来的流量自然要比第三方工具统计要精准得多。而且咱们在挖掘长尾关键词时，可以适当的对关键词来源进行一系列的分析，如做笑话类型的网站，通过统计数据来挖掘长尾关键词时，首先需要查看一下统计工具中的关键https://www.360docs.net/doc/ff10107753.html,词来源，看看网站流量都来自哪些关键词或者长尾关键词，再看看这些关键词在搜索引挚中的排名如何，以挖掘笑话这个关键词的长尾关键词为例，如图： 通过上图可以看到关键词来源中同样存在长尾关键词带来的流量，而咱们挖掘时，还需要查看一下这些长尾关键词在搜索引挚排名中的位置如何，如果是排在首页第一位了，那么只要维护好就行了，如果不是第一位，那就说明还有提升的空间，自然这些就是咱们需要的长尾关键词了。所以，对于挖掘长尾关键词的第二个技巧就是统计工具中的关键词来源了。 三、分析竞争对手的网站关键词 众所周知，学习网站优化最好的老师就是竞争对手，而挖掘长尾关键词时，同样的分析竞争对手的网站关键词也是挖掘的技巧之一。以伤感文章这个关键词为例，首先看看排名第一的网站是哪个，然后通过站长查询工具查询一下这个网站的关键词排名，推荐使用爱站工具查询，如图：
挖掘关键词方法大全
挖掘关键词方法大全 挖掘关键词，不管对于seo还是竞价人员来说，都是非常重要的。很多人都知道一些挖掘关键词的软件工具，如金花关键词挖掘工具、飞达鲁长尾关键词挖掘工具等都是常见的工具，下面我就不多做这方面的介绍。那么还有哪些挖掘关键词的方法呢？都是如何挖掘关键词？为此一一说道： 例子：选择热门疾病类（如前列腺炎）批量挖掘关键词：热门词用户挖掘的比较深入，而且词搜索量也较多。 1、通过百度下拉框了解热门的相关搜索词。如下图： 2、百度搜索引擎底部搜索词。通过百度搜索引擎底部的相关搜索，了解热门搜索词。如下图： 3、百度指数：通过百度指数了解关键词的用户搜索情况（https://www.360docs.net/doc/ff10107753.html,/）。 a：关键词的热门程度，如图：
b：通过百度指数中的相关检索词，了解其他热门关键词 4、竞价关键词推荐 如在百度竞价关键词推荐中输入前列腺炎，然后从结果中选择日均搜索量比较大的词进行二次挖掘（如图）。以此类推深层挖掘。
5、百度竞价后台关键词推荐工具、其他关键词挖词工具进行挖掘（1）百度竞价关键词推荐（最常使用） a：百度统计后台推广管理中的“关键词推荐”工具 b：推广助手中关键词推荐工具 （2）其他挖词工具 a：爱站网
b：站长工具https://www.360docs.net/doc/ff10107753.html,/baidu/words.aspx （3）竞价关键词的其他来源 a：百度统计中的搜索词。通过对搜索词的整理，可以整出不少网站本身没有推广的关键词。 b：百度推广管理底部工具栏中的搜索词报告。 可以下载一段时间用户的搜索词报告，整理选择网站没推广，但是点击量高的词来推广 c：商务通中有咨询的关键词整理 从网站商务通下载整理一段时间的咨询报告，整理出有效咨询的关键词，这些词如果竞
大数据常用的算法
大数据常用的算法（分类、回归分析、聚类、关联规则） 在大数据时代，数据挖掘是最关键的工作。大数据的挖掘是从海量、不完全的、有噪声的、模糊的、随机的大型数据库中发现隐含在其中有价值的、潜在有用的信息和知识的过程，也是一种决策支持过程。其主要基于人工智能，机器学习，模式学习，统计学等。通过对大数据高度自动化地分析，做出归纳性的推理，从中挖掘出潜在的模式，可以帮助企业、商家、用户调整市场政策、减少风险、理性面对市场，并做出正确的决策。目前，在很多领域尤其是在商业领域如银行、电信、电商等，数据挖掘可以解决很多问题，包括市场营销策略制定、背景分析、企业管理危机等。大数据的挖掘常用的方法有分类、回归分析、聚类、关联规则、神经网络方法、Web 数据挖掘等。这些方法从不同的角度对数据进行挖掘。 (1)分类。分类是找出数据库中的一组数据对象的共同特点并按照分类模式将其划分为不同的类，其目的是通过分类模型，将数据库中的数据项映射到摸个给定的类别中。可以应用到涉及到应用分类、趋势预测中，如淘宝商铺将用户在一段时间内的购买情况划分成不同的类，根据情况向用户推荐关联类的商品，从而增加商铺的销售量。 (2)回归分析。回归分析反映了数据库中数据的属性值的特性，通过函数表达数据映射的关系来发现属性值之间的依赖关系。它可以应用到对数据序列的预测及相关关系的研究中去。在市场营销中，回归分析可以被应用到各个方面。如通过对本季度销售的回归分析，对下一季度的销售趋势作出预测并做出针对性的营销改变。 (3)聚类。聚类类似于分类，但与分类的目的不同，是针对数据的相似性和差异性将一组数据分为几个类别。属于同一类别的数据间的相似性很大，但不同类别之间数据的相似性很小，跨类的数据关联性很低。(4)关联规则。关联规则是隐藏在数据项之间的关联或相互关系，即可以根据一个数据项的出现推导出其他数据项的出现。关联规则的挖掘过程主要包括两个阶段：第一阶段为从海量原始数据中找出所有的高频项目组;第二极端为从这些高频项目组产生关联规则。关联规则挖掘技术已经被广泛应用于金融行业企业中用以预测客户的需求，各银行在自己的ATM 机上通过捆绑客户可能感兴趣的信息供用户了解并获取相应信
挖掘有价值的搜索关键词
在对搜索引擎流量及关键词的标记后，还需要从中挖掘最有价值的那部分关键词。以下是关键词挖掘思路和详细的操作方法。 图1 挖掘有价值的搜索关键词 找到一个有价值的关键词，再加上好的搜索排名，就可以给网站带来大量的优质流量。在搜索引擎营销中，无论是SEO还是SEM也都在为这两件事奋斗着。下面我们将从网站分析的角度找到对网站最有价值的关键词，并扩大这些关键词的价值。 1 挖掘关键词的基本原理 通常来说，在搜索引擎中排名越靠前的关键词获得的点击量也就相对越多。而无论是SEO还是SEM的工作，主要目标也都是提高某些关键词在搜索结果中的排名。就算不能排到前三，也要保证排到第一页。 虽然SEM的衡量指标并不是单纯的排名，还会有点击量、点通率、点击成本以及ROI等等指标来衡量，但购买关键词这个行为本身也是为了提高关键词的排名和曝光率。 挖掘有价值关键词的基本原理是:使用关键词在搜索引擎中的页排名(注意:这里是页面顺序，而不是排名顺序)对关键词进行细分，类似于在报告中创建了一个自定义的第二维度。然后按照网站目标转化率和电子商务收入衡量关键词价值。找出有价值的关键词，并将其加入到搜索引擎营销计划中，进一步提高关键词的价值。这个原理说起来不太好理解，不过没关系，后面我们会一步一步的操作。 Step1 为网站设置合理的目标 为了衡量关键词的价值，首先需要设定一个目标，这个目标你可以任意选择。可以很简单的，也可以很复杂。但必须要和网站的目标一致。例如:你当前的目标是希望提高网站的PV或者停留时间，那么你就可以选择这两个指标作为你的目标，当关键词带来的访次浏览了超过几个页面或停留了多长时间后，就将关键词设定为有价值关键词。 不过，通常网站的目标都不会这么简单，PV和停留时间只能算是一个辅助性的指标。单纯的高PV也许并不一定是好事情。所以，建议为你的网站创建至少一个转化目标，并设定合理的目标价值。例如:当你的访问者完成网站注册，购物成功，或者是订阅了你的博客，又或者是给你留言后，都可以算作一次目标转化。并为每个目标转化设定价值。 Step2获得关键词的页排名信息
频繁模式挖掘算法(Apriori)
实验一频繁模式挖掘算法（Apriori） 一、实验目的 1、理解频繁模式和关联规则 2、掌握频繁模式挖掘算法Apriori 3、为改进Apriori打下基础 二、实验内容 1、选定一个数据集（可以参考教学中使用的数据集） 2、选择合适的实现环境和工具实现算法，本次试验采用的是C++ 3、根据设置的最小支持度和置信度，给出数据集的频繁模式集 三、实验原理 该算法的基本思想是：Apriori使用一种称作逐层搜索的迭代方法，k项集用于探索（k+1）项集。首先，通过扫描数据库，累积每个项的计数，并收集满足最小支持度的项，找出频繁1项集的集合。该集合记作L1.然后，L1用于找频繁2项集的集合L2，L2用于找L3，如此迭代，直到不能再找到频繁k项集。找每个Lk需要一次数据库全扫描。 Apriori性质：频繁项集的所有非空子集也必是频繁的。Apriori算法主要包括连接步和剪枝步两步组成。在连接步和剪枝步中采用Apriori性质可以提高算法的效率。 Apriori伪代码 算法：Apriori 输入：D - 事务数据库；min_sup - 最小支持度计数阈值 输出：L - D中的频繁项集 方法： L1=find_frequent_1-itemsets(D); // 找出所有频繁1项集 For(k=2;Lk-1!=null;k++){ Ck=apriori_gen(Lk-1); // 产生候选，并剪枝 For each 事务t in D{ // 扫描D进行候选计数 Ct =subset(Ck,t); // 得到t的子集 For each 候选c 属于Ct c.count++; } Lk={c属于Ck | c.count>=min_sup} } Return L=所有的频繁集； Procedure apriori_gen(Lk-1:frequent(k-1)-itemsets) For each项集l1属于Lk-1 For each项集l2属于Lk-1 If((l1[1]=l2[1])&&( l1[2]=l2[2])&&........ && (l1[k-2]=l2[k-2])&&(l1[k-1] 国际权威的学术组织the IEEE International Conference on Data Mining (ICDM) 2006年12月评选出了数据挖掘领域的十大经典算法：C4.5, k-Means, SVM, Apriori, EM, PageRank, AdaBoost, kNN, Naive Bayes, and CART. 不仅仅是选中的十大算法，其实参加评选的18种算法，实际上随便拿出一种来都可以称得上是经典算法，它们在数据挖掘领域都产生了极为深远的影响。 1. C4.5 C4.5算法是机器学习算法中的一种分类决策树算法,其核心算法是ID3算法. C4.5算法继承了ID3算法的优点，并在以下几方面对ID3算法进行了改进： 1) 用信息增益率来选择属性，克服了用信息增益选择属性时偏向选择取值多的属性的不足； 2) 在树构造过程中进行剪枝； 3) 能够完成对连续属性的离散化处理； 4) 能够对不完整数据进行处理。 C4.5算法有如下优点：产生的分类规则易于理解，准确率较高。其缺点是：在构造树的过程中，需要对数据集进行多次的顺序扫描和排序，因而导致算法的低效。 2. The k-means algorithm 即K-Means算法 k-means algorithm算法是一个聚类算法，把n的对象根据他们的属性分为k个分割，k < n。它与处理混合正态分布的最大期望算法很相似，因为他们都试图找到数据中自然聚类的中心。它假设对象属性来自于空间向量，并且目标是使各个群组内部的均方误差总和最小。 3. Support vector machines 支持向量机，英文为Support Vector Machine，简称SV机（论文中一般简称SVM）。它是一种監督式學習的方法，它广泛的应用于统计分类以及回归分析中。支持向量机将向量映射到一个更高维的空间里，在这个空间里建立有一个最大间隔超平面。在分开数据的超平面的两边建有两个互相平行的超平面。分隔超平面使两个平行超平面的距离最大化。假定平行超平面间的距离或差距越大，分类器的总误差越小。一个极好的指南是C.J.C Burges的《模式识别支持向量机指南》。van der Walt 和 Barnard 将支持向量机和其他分类器进行了 网站的长尾关键词能够给我们的网站带庞大的流量。当一个我们的网站获得大量的长尾关键词排名之后，那么我们就可以获得源源不断的流量，那么如何挖掘网站的长尾关键词就是我们每个做网站优化的必须要掌握的事情了，下面小编来为大家介绍下如何挖掘网站的长尾关键词： 1:百度搜索下拉框挖掘长尾关键词 百度搜索下拉框来挖掘网站的长尾关键词是我们平时用的比较广泛的方法，想必大家都会操作，但是这里为了照顾新手朋友，小编还是啰嗦几句，我们可以根据我们从事的具体的行业，在我们的百度的搜索框中输入我们需要挖掘的关键词，比如:SEO，那么我们就会的到非常多的相关关键词。 2：百度知道挖掘长尾关键词 百度知道作为我们全球最大的中文问答平台，这里的流量可以说大的不能再大，我们可以通过百度知道来挖掘我们想要的长尾关键词来为我所用。况且百度知道里面的问题都是来自用户真实的提问，对于用户关心的话题是我们做好网站用户体验的根本。比如用户可能去提问一些：SEO视频教程下载以及基础SEO教程哪里有之类的 3：百度指数挖掘长尾关键词 百度之所以能够把百度指数给开放出来为我们所用，那么我们就得好好利用这款工具，不得不说百度指数是一款非常不错的工具，我们可以利用该工具来查询我们网站关键词的竞争度，是我们挖掘长尾关键词的一款利器。比如我们还可以利用该工具查询的搜索指数！ 4：利用软件挖掘长尾关键词 目前来说互联网上已经有非常多软件挖掘长尾关键词的软件，比如我们常见的飞鲁达、金花关键词工具等等。我们可以利用这些工具去挖掘长尾关键词，这些工具可以到网上去进行下载！比如我们利用该工具可以挖掘到：SEO视频教程下载、SEO在线学习、SEO视频教程等的一些长尾关键词。 Apriori算法 一、Apriori算法简介：Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集。Apriori（先验的，推测的）算法应用广泛，可用于消费市场价格分析，猜测顾客的消费习惯；网络安全领域中的入侵检测技术；可用在用于高校管理中，根据挖掘规则可以有效地辅助学校管理部门有针对性的开展贫困助学工作；也可用在移动通信领域中，指导运营商的业务运营和辅助业务提供商的决策制定。 二、挖掘步骤： 1.依据支持度找出所有频繁项集（频度） 2.依据置信度产生关联规则（强度） 三、基本概念 对于A->B ①支持度：P(A ∩B)，既有A又有B的概率 ②置信度： P(B|A)，在A发生的事件中同时发生B的概率p(AB)/P(A)例如购物篮分析：牛奶?面包 例子：[支持度：3%，置信度：40%] 支持度3%：意味着3%顾客同时购买牛奶和面包 置信度40%：意味着购买牛奶的顾客40%也购买面包 ③如果事件A中包含k个元素，那么称这个事件A为k项集事件A满足最小支持度阈值的事件称为频繁k项集。 ④同时满足最小支持度阈值和最小置信度阈值的规则称为强规则 四、实现步骤 Apriori算法是一种最有影响的挖掘布尔关联规则频繁项集的算法Apriori使用一种称作逐层搜索的迭代方法，“K-1项集”用于搜索“K项集”。 首先，找出频繁“1项集”的集合，该集合记作L1。L1用于找频繁“2项集”的集合L2，而L2用于找L3。如此下去，直到不能找到“K项集”。找每个Lk都需要一次数据库扫描。 核心思想是：连接步和剪枝步。连接步是自连接，原则是保证前k-2项相同，并按照字典顺序连接。剪枝步，是使任一频繁项集的所有非空子集也必须是频繁的。反之，如果某 个候选的非空子集不是频繁的，那么该候选肯定不是频繁的，从而可以将其从CK中删除。 简单的讲，1、发现频繁项集，过程为（1）扫描（2）计数（3）比较（4）产生频繁项集（5）连接、剪枝，产生候选项集重复步骤（1）~（5）直到不能发现更大的频集 2、产生关联规则，过程为:根据前面提到的置信度的定义，关联规则的产生如下： （1）对于每个频繁项集L，产生L的所有非空子集； （2）对于L的每个非空子集S，如果 P（L）/P（S）≧min_conf 则输出规则“SàL-S” 注：L-S表示在项集L中除去S子集的项集 关键词查找方法： 1.金花关键词工具 2.百度下拉框 3.百度相关搜索 4.爱站关键词挖掘https://www.360docs.net/doc/ff10107753.html,/ 5.百度推广后台 一、先打开百度推广的页面，点击“快来注册”，去注册一个百度推广的帐号。 二、注册帐号后进入百度推广的管理后台，点击左侧的“搜索推广”进入，进入到搜索推广的界面。 三、在搜索推广界面选择上面的“工具”栏目，下面会看到一个“关键词推荐”的功能，这个就是我们要用到的查询和挖掘长尾关键词的免费工具了。 四、选择“按关键词搜索”，选择还匹配模式，再输入你的主关键词，就可以挖掘出大量的长尾关键词啦。 五、由一个关键词拓展挖掘的长尾关键词是300个，我们可以进行2次拓展。 六、保存长尾关键词。打开“下载关键词”的功能，这时又会出现两个选项，一个是“文本文件（*.txt）”，一个是“Excel文件（*.xls）”，记得一定要选择“Excel文件（*.xls）”这个选项。 6. 谷歌AdWords工具 先到谷歌注册一个网站推广的帐号，我们先从谷歌的主页进入“加入营销计划”这个页面，这里面有两个选项，一个是“广告客户”，一个是“网站发布商”，要选择“广告客户”这个选项，点击“开始使用关键字广告（AdWords）”这个按钮，先去注册一个推广的帐号。 注册好帐号后进入管理后台，我们在导航条里可以看到一个“优化”的栏目，进入“优化”这个页面，在左下角有一个“关键词工具”，打开这个工具输入我们要挖掘的关键词。 这里面也有下载数据的功能，可以把挖掘到的长尾关键词下载到本地电脑来。同样也是保存xls格式。 通过这2个工具挖掘，一些关键词完全可以挖掘出成千上万个长尾关键词，这时候我们就要开始做后到的几个工序。 在关键词搜索列表里，我们需要关注日均搜索量和竞争激烈程度，这样才能找出精准的，同时竞争度合适的关键词。如下图所示 使用关键字工具的方法如下： 1. 访问https://www.360docs.net/doc/ff10107753.html,并登录到您的AdWords 帐户。 今天https://www.360docs.net/doc/ff10107753.html,的小编为大家分享关键词排名查询怎么查？长尾关键词挖掘，长尾关键词挖掘、拓展的27个方法， 1、爱站网、去查网、站长网等在线工具中关键词挖掘之后，再进行拓展，如：关键词挖掘为：计算机网络技术，可以看如下图提示： 2、百度指数工具，(可申请账号)监控自己关注的某些词汇。 3、从百度下拉框获取和百度相关搜索选取（注意：如是热门关键词需按周进行数据统计且剔除人工刷的关键词）。 4、辅助工具：Chinaz百度权重查询 https://www.360docs.net/doc/ff10107753.html,/baidusort.aspx 5、51啦、cnzz、百度统计等工具，收集时间段关键词。 6、百度竞价后台系统会推荐相关关键词。 7、百度竞价后台的关键词查询工具。 8、地域拓展法：如：SEO，武汉SEO、上海SEO、北京SEO等。 9、季节拓展法：如：鼻炎，可以拓展为夏季鼻炎注意事项、春季鼻炎注意事项等。 10、职业拓展法：如：如何预防前列腺炎，可以拓展为司机如何预防前列腺炎、教师如何预防前列腺炎等。 11、性别拓展法: 如：去痘方法，可以拓展为男士去痘方法、女性去痘方法、男孩去痘方法等。 12、用户思维习惯法：哪里有、哪里买、哪里可以、怎样、如何、怎么、多少钱、哪里好、最好的、哪里便宜等。 13、百度风云榜：https://www.360docs.net/doc/ff10107753.html,/ ； Google 搜索解析： https://www.360docs.net/doc/ff10107753.html,/insights/search/ 。 14、商务通、53kf、乐语live800等软件下载关键词。 15、关键词询问拓展法，例如：计算机网络技术，可以拓展为：学计算机网络技术难不难？ 16、对比关键词法，例如：你是Ａ企业，你竞争对手是Ｂ企业，就可以组合Ａ和Ｂ到底哪数据挖掘算法摘要
如何挖掘长尾关键词
数据挖掘经典算法
关键词查找方法
长尾关键词挖掘的27个方法