大数据的研究方法及可能应用—王磊

大数据的研究方法及可能应用

王磊

【摘要】：如今，“大数据”已经成为了一个十分热门的词汇，新闻媒体对其进行长篇累牍的报道，与之相关的学术文章数量激增，大数据图书也受

到了极力的追捧。其实，随着以云计算、移动互联、智能化为特征的信

息社会的深入发展，人类储存的数据总量在不断增大，数据增长的速度

也在持续的加快中。维克托?迈尔?舍恩伯格也曾说过：“世界的本质是

数据，大数据将开启一次重大的时代转型。”社会生活的方方面面和我

们认识世界的方式都受到了大数据带来的冲击，但是，对于大数据的认

知和应用还有许多值得我们探索的地方。

【关键词】：大数据、数据挖掘、贝叶斯分类、图模型、协同推荐、客户价值、社会网络、文本挖掘

一、关于大数据

1、数据的海洋

20世纪90年代后期，以信息技术、计算机技术、网络技术等为代表的高新技术快速发展，以此为标志，人类社会正式迈入数字时代。现在，伴随着各种各样的智能设备和轻巧灵便的可穿戴计算设备的普及，我们

的行为、地理位置、收入与支出、身体生理状况等衣食住行的方方面面

都成为了可以被记录和分析的数据。数据量也就由此在不断增大，而且，数据的种类和形式也在持续的更新。可以说，我们的生活已经被日益增

长的数据所充斥。

事实上，各行各业都先后受到了数据增长带来的冲击。在天文学领域，2000年美国的斯隆数字巡天（Sloan Digital Sky Survey）项目启动，

位于美国新墨西哥州的大型天文望远镜在短短几周内收集到的数据已经

比天文学历史上总共收集到的数据还要多。到了2010年，天文望远镜收

集到的数据总量已经高达1.4×2^42字节。在生物学领域，2003年人类第一次破译人体基因密码，全世界的优秀科学家们辛苦工作了十年才完成了30亿对碱基对的排序。而到了现在，世界范围内的基因仪每15分钟就可以完成相同的工作。在金融领域，美国股市每天的成交量高达70亿股，更令人惊讶的是，其中三分之二的交易都是由建立在数学模型和算法之上的计算机程序自动完成的。在互联网领域，Facebook这个创立时间不足十年的公司，每天更新的照片量超过1000万张，每天人们在网站上点击“喜欢（Like）”按钮或者写评论大约有三十亿次，这就为

Facebook公司挖掘用户喜好提供了大量的数据线索。[1] 总之，在各个领域都出现了爆发式增长的数据。这种增长的速度超过了我们创造任何一种机器的速度，甚至超过了我们的想象。

那么，我们周围究竟有多少数据呢？这些数据增长的速度又有多快呢？根据南加利福尼亚大学的统计学家马丁·希尔伯特（Martin Hilbert）的估算，在2007年人类大约存储了超过300艾字节（EB）的数据。[2]在这里，1艾字节（EB）等于2^60字节（B）。这是个什么概念呢？一部完整的电影总可以被压缩为1个吉字节（GB）的大小，而1个艾字节（EB）相当于10亿吉字节（GB），是一个非常巨大的单位。这就是说，2007年人类储存的数据总量超过了3000亿部电影的数据量。如果我们一天看一部这样的电影，需要近10亿年的时间才能看完！这还不是最为庞大的数字，2010年全球数据总量约为1.8泽字节（ZB），预计2020年全球数据总量将达到40泽字节（ZB）的规模。[3] 1个泽字节（ZB）是1024艾字节（EB），是比艾字节（EB）更为巨大的单位。由此可见，人类现在创造的数据总量是相当庞大的。不仅如此，人类存储数据的信息量的增长速度比世界经济的增长速度快4倍，而计算机数据处理能力的增长速度则比世界经济的增长速度快9倍。[4] 我们真的是被数据的海洋淹没了。

2、大数据的概念及特征

如此巨大和快速增长的数据量催生了大数据（Big Data）概念的产生。

大数据，是指无法在可承受的时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。[5] 从这个概念上看，大数据必然不能通过单台计算机进行处理，也不能使用传统的方法进行分析，必须依托于云计算这一先进的技术。同时，大数据具有4个基本特征。第一，数据体量巨大。

前文也已提及，现在数据总量已经达到EB级别，甚至达到了ZB级别。

第二，数据类型繁多，来源广泛。各种各样的网络文章、音频资料、视频资料、图片资料、地理位置信息等等都是数据的不同类型与来源。第三，价值密度低，商业价值高。体量如此巨大的数据不可能全部都是有用的信息，而这极少量的信息蕴含的价值往往是巨大的。以视频资料为例，公安机关在侦破刑事案件时通常需要调取案发现场的监控视频。而在连续不间断的监控过程中，有用的数据可能仅仅只有一两秒，而有时恰恰是这一两秒的数据就能帮助公安机关发现破案的蛛丝马迹。第四，增长速度快。正如前文所说，现如今数据增长的速度远远超过了世界经济增长的速度，而且这一速度还在不停地加快中。这就是所谓的大数据4V特征，即V olume（大量）、Velocity（高速）、Variety（多样）、Value （价值）。由此可见，大数据的核心问题是如何在种类繁多、体量巨大的数据中快速获取有价值的信息。[6]

3、大数据的意义

1）、公共卫生变革

2009年，甲型H1N1流感病毒爆发，牵动了全世界人民的心。与以往流感爆发的疫情不同，在这次疫情中，谷歌公司发布的数据代替习惯性滞后的官方数据成为了一个更有效、更及时的指示标，公共卫生机构的官员从谷歌公司获得了非常有价值的数据信息。实际上，谷歌公司获取疫情数据的方法是建立在大数据的基础之上的。

在如今的互联网时代，很多人在身体不适时，总会首先在网络上搜索与之相关的词条再决定是否去看医生。例如，如果我们出现咳嗽和发热的症状，或许我们会搜索“哪些是治疗咳嗽和发热的药物”这种词条。

于是，这种特殊的检索词条就会流露出流感侵袭的信息。而作为全球最

大的搜索引擎公司，谷歌公司每天都会收到超过30亿条的搜索指令，而且，谷歌公司保存了多年来的全部搜索记录。以此为基础，谷歌公司把疫情蔓延时5000万条美国人最频繁检索的词条和美国疾控中心在2003年至2008年间季节性流感传播时期的数据进行了比较，如此这般分析人们的搜索记录就可判断这些人是否感染了流感病毒。

于是，谷歌公司通过观察人们在网络上的搜索记录成功预测了流感病毒的传播，而且不仅仅是美国范围内的传播，可以精确到特定的地区和州。不仅如此，谷歌公司的判断十分及时，不会像美国疾控中心那样在流感爆发一两周之后才可以做出判断。

谷歌公司的这种方法以前是一直被忽略的，也是一种前所未有的方式，这就是“通过对海量数据进行分析，获得有巨大价值的产品和服务，或深刻的洞见”。[7]拥有如此先进的统计技术和庞大的数据储备，我们有理由相信下一次流感来袭的时候，世界将会拥有一种更好的预测工具来预防流感的传播。

2）、商业变革

大数据不仅改变了公共卫生领域，商业领域也因为大数据发生了深刻的变化。

以购买飞机篇为例，美国计算机专家奥伦·埃奇奥尼（Oren Etzioni）专门开发了一个系统，用来预测当前的机票价格在未来的一段时间内是会上升还是下降。也就是说，这个系统需要分析所有特定航线机票的销售价格并确定机票价格与提前购买天数的关系。如果一张机票的平均价格呈下降趋势，系统就会帮助用户做出稍后再购票的明智选择。反过来，如果一张机票的平均价格呈上涨趋势，系统就会提醒用户立刻购买该机票。

埃奇奥尼的预测系统是十分成功的，帮助许多乘客节省了一笔不小的开支。当然，这个预测系统也是在大数据的基础上建立的，所以不可避免的是系统的运转需要海量数据的支持。埃奇奥尼找到了一个商业机会预订机票价格的数据库，而系统的预测结果是根据美国商业航空产业中，每一条航线上每一架飞机内的每一个座位一年内的综合票价记录而

得出的。

基于这个机票价格预测系统，埃奇奥尼创立了一家大数据科技创业公司，名为Farecast。到目前为止，Farecast公司已经拥有了多达2000

亿条飞行数据记录，预测的准确度高达75%，而且使用Farecast票价预

测工具购买机票的旅客，平均每张机票可节省50美元。[8] Farecast公司

是大数据公司的一个缩影，也代表了当今世界发展的趋势。计算机的处

理能力和存储能力的大幅提升、数据分析能力的突破为大数据公司的出

现奠定了基础。

3）、思维变革

在大数据诞生以前，人们通常认为数据是静态的，而且一旦完成了收集数据的目的之后，数据就完全没有用处了。而到了现在，大数据的

出现改变了人们的认知，颠覆了人们利用数据的理念。数据已经成为了

“一种商业资本，一项重要的经济投入，可以创造新的经济利益”。而

且爆炸式增长的数据由量变引发了质变，大数据成为了“人们获得新的

认知、创造新的价值的源泉”；成为了“改变市场，改进组织机构，改

善政府与公民关系的方法”。大数据时代已经来临，大数据对我们的生

活，对整个世界都提出了挑战，而这仅仅只是一个开始。面对海量的数

据，我们不必关心数据间的因果关系，而应该更加注重相关关系。也就

是说，我们只需要知道“是什么”，而不需要知道“为什么”。这是一

个极为重大的改变，在不久的将来，或许我们的认知方式和理解世界的

基础都将因为大数据而受到不同程度的冲击。

二、大数据的研究与分析方法

1、数据挖掘

1）、数据挖掘的内涵与基本特征

1995年，法耶兹（Fayyad）在知识发现会议上第一次提出了数据挖掘（Data Mining）的概念，法耶兹认为数据挖掘是“一个自动或半自动

化的从大量数据中发现有效的、有意义的、潜在有用的、易于理解的数

据模式的复杂过程”。

法耶兹的定义突出了数据挖掘的工程特征，阐释了数据挖掘是一种用于在海量数据中发现其中存在的有价值的数据模式的分析机制。其实，在技术的层面上，数据挖掘是网络时代必然的技术热点。在电子商务和互联网商业中，数据挖掘有着极为重大的应用价值。

数据挖掘就是解决各种实际问题的数据分析过程，而在通过大量数据解决实际问题的过程中，复杂问题的解决往往不是一两个数据模型的简单套用就可以完成的，经常需要很多步骤综合构成一个系统性的解决方案，需要多个模型协作完成。所以，对于数据挖掘来说，选择模型可能比应用模型更重要。而且，数据挖掘不仅仅是对数据的概括和归纳，更是数据中的复杂关系的发现过程。

2）、数据挖掘的产生

数据挖掘技术的产生是一个逐渐演变的过程。在数据处理初期，人们希望通过某些方法和技术实现自动决策，当时机器学习受到了人们的广泛关注。机器学习就是将人们已知的能够成功解决某一类问题的算法输入计算机，计算机便可以代替人类进行决策。[9]对于某一类特定的问题，机器学习可以总结出相应的解决规则，并且这种解决规则具有一定的通用性。20世纪70年代，神经网络技术正式形成并逐渐发展，随之非线性复杂结构应用到复杂数据关系的模型建立中。到了80年代，知识工程取代机器学习成为了人们关注的焦点。知识工程不同于机器学习，它是直接给计算机输入已被代码化的解决规则，计算机通过则利用这些规则来解决某些问题。[10] 80年代末期，全新的神经网络理论建立，在其指导下，人们重新回到机器学习的方法上，并利用机器学习处理大型商业数据库。在此背景下，一个新的术语“数据库中的知识发现”诞生了，简称KDD（Knowledge Discover in Database）。KDD概括了所有从源数据中发掘模式或联系的方法，人们也逐渐接受了数据挖掘的概念与过程。

3）、数据挖掘的功能

数据挖掘的核心任务是探索与建立数据的特征和数据与数据之间的关系。根据将要探索与建立的数据关系是否有目标，又可将数据挖掘

的功能分为有指导的学习（Supervised Learning）和无指导的学习（Unsupervised Learning）两大类。其中，有指导的学习是指对预设目标的概念学习和建模，主要由分类、估计和预测三方面的功能组成。[11]而无指导的学习是指寻找和刻画数据的概念结构，主要由关联关系发现、聚类分析、可视化三方面的功能组成。[12]

①分类（Classification）：

分类主要是用可能的特征变量通过对大量数据的分析和比较提炼出可辨识类别的显著不同的结构特征，即“获取一个概念区别于另一个概念的构成和表示”。具体来说，通过分析一部分数据库中的数据，可以将数据分成不同的类别。再为每个类别建立分类分析模型，然后利用这些分类分析模型对数据库中的其他数据记录进行分类。例如，对于信用卡申请者可以分为高、中、低三个类别。

②估计（Estimation）：

数据的估计是指描述由数据表达的未知概念的模型，并给出模型参数的估计方法并进行数值计算，或者得到模型的可靠性范围等。估计与分类类似，不同之处在于，分类描述的是离散型数据变量的模型，而估计处理连续型数据变量的模型。一般来说，估计可以作为分类的前一步工作。给定一些输入数据，通过估计，得到未知的连续变量的值，然后，根据预先设定的范围，进行分类。例如，可根据购买模式估计家庭的年收入，再根据年收入对不同的家庭进行分类。

③预测（Prediction）：

预测是指对尚未发生的、目前仍然不确定的事件或事物做出预先估计或表述，并通过对数据的处理与分析推测出事件或事物未来的发展趋势。分类和估计都可用于预测，其中分类强调不同规律的差异解释，估计则强调对未知规律通过数据表达的机制研究。但是，与分类和估计不同的是，预测更加注重数据的规律对未来的影响趋势。

④关联关系发现（Association Rules）：

关联关系发现则试图发现和提取研究对象之间通过数据表达的相互关系，其中的组合关联规则是要确定哪些事物会一起出现或发生。例如，

某超市中的客户通常在购买A商品的同时会购买B商品。

⑤聚类分析（Clustering）：

聚类分析主要提炼数据的相似性分组结构。聚类的目的是将相似的数据聚合在一起，而差异较大的数据分在不同的类中。在聚类中，没有事先确定好的组别，也没有样本，这与分类有着很大的区别。而且数据按照特征的相似性聚集在各自的类别中，对于数据的分析不仅要完成相似个体的聚合与分组，也要提炼出各个分组和类别内的数据中蕴含的意义。例如，一些特定症状的聚集可能代表了一种特定的疾病。

⑥可视化（Visualization）：

数据的可视化更加强调数据形象的展现方式。数据挖掘的首要目标往往是要深入理解复杂数据库的内容，而在开始时对数据准确的描述就可以帮助我们找到进一步解决问题的途径。例如，通过Yonghong Z-Suite 等工具进行数据的展现、分析和钻取，将数据挖掘的分析结果更形象、更深刻的展现出来。[13]

4）、数据挖掘的流程

①问题识别：

数据挖掘的目标就是要通过对数据的分析发现解决问题的方法，所以在问题识别阶段，首先要明确系统和组织中的关键问题。我们知道，大数据本身十分复杂，与之相关的实际问题也就极为复杂，在数据挖掘过程中必须牢牢抓住核心问题，把握问题的边界和本质，才能确定有效地数据挖掘方案。

②数据理解：

在数据挖掘过程中，显然确认研究的问题和现有的数据之间是否匹配是十分重要的。数据理解主要包含对数据价值的理解和对数据质量的理解两方面。我们知道，数据是一种特殊的资源，与物质产品相比，数据不可消耗。数据的价值存在于不同的系统不同的用户之间的传递和共享，而且在复制和更新的过程中，数据的价值可以得到提升。同时，数据也是极为脆弱的，也容易遭到破坏。数据的不一致性、重复太多、陈旧过时、不稳定等都是数据常见的质量问题。当然，在数据理解过程中，

我们也应了解数据格式和数据类型，了解数据的获取方式和异常数据的存在。

③数据准备：

在对数据进行分析之前，首先需要将数据汇集到一起，形成数据库。但是，在汇总数据时，多余数据以及数据格式与含义不一致的现象十分普遍。于是，将这些存在于不同环境中的或者存在于相对封闭的系统中的数据有机的结合在一起，实现数据资源的共享就是数据准备阶段的关键环节和主要任务。

用于数据准备的技术称为ETL技术，“ETL”是英文Extract，Transform和Load三个单词首字母的缩写，分别表示抽取、转换和装载三方面的数据处理技术。数据抽取就是将数据按照数据挖掘的项目主题从各种原始的数据系统中读取出来，这是数据挖掘所有工作的前提。然后进行数据转换，根据预先设计好的规则将数据进行转换，使得不同结构和格式的数据统一起来。最后是进行数据装载，将完成转换的数据导入到数据库中，完成数据整合的过程。

当然，汇集数据需要用到很多数据技术。对于复杂的数据格式，还需要利用编程语言的强大功能来实现数据的集成，也可以使用一些工具软件，例如SAS，SPSS，Ab Initio和PERL工具。

④建立模型：

数据建模是数据挖掘流程中最核心的环节，使用机器学习算法或统计方法对大量的数据进行建模分析，从而获得对数据系统最合适的模型。建立模型是一个反复的实验过程，需要仔细考察不同的模型和数据，以确定与待解决的问题最适合的数据模型。

⑤模型评价：

数据挖掘的模型评价包括功能性评价和服务性评价两方面的内容。其中，功能性评价是指建立的模型对任务完成的质量，常见的有精准性评价和稳定性评价。精准性评价主要衡量模型估计的准确性，而稳健性评价是对模型的抗干扰性和适应性进行评测。功能性评价中常用的两种方法是增益图法和ROC曲线法。除了技术性能的评价，服务的因素也不

容忽视。

⑥部署应用：

数据模型建立并且经过验证之后，有两种主要的途径。第一种用途是提供给分析人员做参考，通过察看和分析这个模型之后提出行动方案建议。第二种用途是将此模型应用到不同的数据集合上。

2、贝叶斯分类

贝叶斯分类（Bayes Classification）是统计学中的分类方法，其分析方法的特点是使用概率来表示所有形式的不确定性，学习和推理都要通过概率规则实现，[14]即利用概率统计知识进行分类。贝叶斯分类在机器学习领域中具有十分重要的地位，在处理数据时它的作用也是十分强大的。

在贝叶斯分类中，数据分类的问题转化为了分布的决策问题。贝叶斯分类也为分布的决策提供了两种产生分布函数的方法。第一种是分布估计法，即根据损失函数、先验分布和似然函数，通过后验分布，由最优决策产生分类函数。在样本连续和数据维度不高的情况下，正态分布下的线性判别和二次判别等方法是两个十分典型的方法。第二种是条件依赖关系估计法，针对数据变量是离散的而且维数较高的情况。如果变量之间存在少量的条件依赖关系，则利用条件依赖关系估计法进行分析可以获得高质量的估计结果，这种方法还可以用于分析变量之间的逻辑依赖关系。上面所说的两种方法或可称为朴素贝叶斯方法和贝叶斯网络方法。[15]

3、图模型

图模型（Graphic Models）用于刻画复杂数据系统中多个变量或不同的观测数据之间地关系，是提取高维数据的结构信息的重要工具。图模型的基本思想是通过揭示高维随机变量的相互依存关系刻画变量之间的条件独立性。在统计学中，图模型实质上就是用节点表示随机变量和用

弧表示条件独立假设的图。[16] 目前，图模型发展较快的主要有两个分支，一个是基于似然函数的惩罚算法，另一类是基于回归技术的算法。

1）、Graphical LASSO算法

Graphical LASSO算法是弗里德曼（Friedman）于2007年提出的，是在似然函数上增加惩罚算法进行图模型估计的方法。这种算法使用最

速下降的方法，速度较快。

2）、MB算法

MB算法是一种典型的回归算法。这种算法将图模型视为是由每个顶点对其他顶点做邻域选择时所产生的链接图的叠加。于是，在MB算法

中，每个顶点所占的比例相同，保证了各个顶点可以选择相同数量的与

之连通的边。MB算法实质上是从每个顶点最低链接需要的角度描述图

的一种方式。

3）、SPACE算法

SPACE算法是另一种典型的回归算法。该算法将稀疏图看成是对顶点实施不等权重影响导致的相对组合的一般形式。而其中的权重由一个

顶点的辐射强度在所有顶点辐射强度分布中的位置决定，一个顶点的辐

射强度是该顶点对其他顶点的偏相关系数之和，而辐射强度分布是所有

顶点辐射强度的分布。如果一个顶点的辐射强度较大，则该顶点分配较

大的权重，进一步可允许该顶点选择更多边与之连通。反之，如果一个

的辐射强度较小，则该顶点分配较小的权重，并限制该顶点选择与更多

边连通。

三、大数据的可能应用举例

1、客户关系管理

1）、协同推荐模型

伴随着互联网和电子商务的发展，数据及信息的体量已经远远超出人们的处理能力。及时为客户过滤不必要的项目是实现异构管理，有效

利用网络数据资源，提升整体数据处理性能的重要措施。推荐系统就是

一门专门面向客户的网络数据过滤技术，并向客户推荐适合的项目。系

统的核心就是推荐算法，主要有以下三种：

①人口统计学的推荐（Demographic-based Recommendation）

即根据系统客户的基本信息发现客户的相关程度。具体方法是对所有客户建立人口统计学（性别、年龄、职业等）的数据档案。例如寻找与甲客户的人口统计学特征相似的乙客户，由于甲、乙客户具有相同的人口统计学的特征，而认为甲、乙客户具有较高的关联度。于是，可将乙客户偏好的项目推荐给甲客户。这类推荐算法的优点是适用于冷启动问题，不足是推荐的精准度不高，因为仅仅在人口统计学的特征上给出推荐，而人口统计学的资料很难体现客户在项目需求上的差异。

②基于内容的推荐（Content-based Recommendation）

即根据所推荐项目的元数据，发现项目或者数据内容的相关性。例如甲项目的类型是“户外用品”，乙项目的类型也是“户外用品”，这两种项目具有相似性。如果某客户对甲项目产生兴趣，那么系统就会对其推荐乙项目。这种推荐算法需要对项目内的数据进行分析和建模，推荐的质量依赖于对项目描述的完整程度。一般应用中观察到的关键词和标签是描述项目元数据的简单而有效的方法。不足之处在于项目相似度的分析仅仅取决于项目本身的特征，未涉及客户个体差异对项目的态度。

③协同过滤的推荐（Collaborative Filtering Recommendation）

与传统的人口统计学和基于内容的过滤直接分析内容进行推荐不同，协同过滤分析用户兴趣，在用户群中找到指定用户的相似兴趣用户，综合这些相似用户对某一信息的评价，形成系统对该指定用户对此信息的喜好程度预测。协同过滤主要解决了传统算法在数据的稀缺性和项目数量较多的情况下的推荐项目问题。协同过滤推荐系统处理的数据问题包含两方面的变量——用户和选择条目，推荐的目标是预测用户对某些位置条目的评价。1992年，戈德堡（Goldberg）实现了第一个协同过滤推荐系统，戈德堡利用办公伙伴等与被推荐人有密切生活接触的人进行相似性推荐。现在，协同过滤推荐在信息过滤和电子商务行业得到了广泛应用，包括推荐书籍、酒店、电影、商业网站等。例如AMAZON网上书店提供非常先进的个性化推荐功能，能为不同兴趣爱好的用户自动推荐

尽量符合其兴趣需要的书籍。具体来说， AMAZON网上书店使用协同过滤推荐算法对读者曾经购买过的书籍以及该读者对其他书籍的评价进行分析后，将向读者推荐他可能喜欢的新书。而且读者的信息将被再次保存，这样顾客下次再来时就能更容易的买到想要的书籍。[17]

2）、客户价值模型

客户价值是衡量企业商业实力的重要标志，是发展客户关系和提高市场竞争力的基础。而随着企业数据收集和分析系统越来越强大，预测、识别和开发一位客户的终生价值的数据模型就称为了一个十分重要的课题。

与之相关的问题是怎样用数据衡量客户的价值。德怀尔（Dwyer）提出了一种系统模型计算客户价值。德怀尔将客户流失预测引入到客户价值分类模型中，并将客户划分为永久流失和暂时流失两部分。伯杰（Berger）和纳斯尔（Nasr）更进一步将客户按照流失划分为5类，并可以实现对每一类客户价值的计算。而休斯（Hughes）提出了基于行为变量的客户价值直接计算方法，这种方法使用3种指标——最近购买时间、购买频次和购买金额来分析客户的价值。以上三种指标是企业交易数据库都可以提取的信息。

2、社会网络分析

社会是一个十分复杂的系统，社会中的成员通过特定的关系形成一些团体，这些团体的存在形式、组成机理和影响关系是社会学关注的焦点。社会网络分析（Social Network Analysis）是观察社会关系和社会结构的研究方法。社会网络可以理解为社会群体之间的关系。

社会网络可分为两类。一类是接触型社会网络，适用于比较封闭的系统，具有总体数据量较小的特点，比如学校师生网络、公司董事网络等。另一类是通信类社会网络，具有总体数据量较大，关系不固定等特点，比如手机电话网络、微博、论坛等。接触类社会网络中群体的关系往往是预设的，而在通信类社会网络中，使我们感兴趣的常常不是预设的关系。但整体上说，这些关系都和网络的功能有密切关系。

1）、社群挖掘算法

网络社群是指社会网络中内部之间相互连接紧密，而与外部其他节点连接稀疏的一组节点。社会网络的研究重点就是认识和揭示网络特征，了解社群结构。目前，有大量的社群挖掘算法被提出。根据聚类的方式，社群挖掘算法大致上可以分为三类：层次聚类算法、最优化算法、块模型算法。

①层次聚类算法：

层次聚类算法的特点是需要计算节点之间的相似度。在得到了节点之间的相似度矩阵之后，就可利用常见的聚类算法对节点进行聚类。

②最优化算法：

最优化算法通过对社群质量的最优化达到社群挖掘的目的，比较常见的方法是基于模块值的算法。模块值为社会网络中连接社团结构内部节点的边所占的比例与另外一个随机网络中连接社团结构内部节点的边所占比例的期望值相减得到的差值。这个随机网络的构造方式为保持每个节点的社团属性不变，节点间的边根据节点的中心度随机连接。

③块模型算法：

块模型算法是通过假设社会网络满足某种统计分布，例如可假设在任意两点之间的边数服从泊松分布，进而通过极大似然方法的到网络的社群结构。

2）、模型评价

模型的评价有很多方式，例如来源于信息理论的归一互化信息（Normalized Mutual Information，NMI），数据挖掘与机器学习领域的校正随机指数（Adjusted Rand Index）等，其中归一互化信息在社群挖掘算法的评价中较为普遍。

3、自然语言模型和文本挖掘

早期的自然语言处理系统主要依靠语言学家撰写规则，机器编译规则，这种方法在大量知识面前显得既费时又费力，而且不能及时更新，各种语言之间彼此独立，无法兼顾不同语言的特点。20世纪80年代后

期，计算性能大幅提高，机器学习算法被引入到自然语言模型的处理中，这种方法采用大规模的训练语料数据对模型的参数进行自动的学习，和

之前的基于规则的方法相比，更具有稳定性，已经广泛用于文本分类和

机器学习等问题。如今，即便是语言学家也必须利用语料库提供的证据

和实例。例如，夸克（Quirk）等编著的《英语语法大全》就利用了语料

库中的数据。

数据统计语言模型的发展也刺激了文本挖掘的发展。文本挖掘是以计算语言学、数理统计分析为理论基础，结合机器学习和信息检索技术，从文本数据中发现和提取独立于用户信息需求的文本集中的隐含知识。

一般来说，文本挖掘利用文本切分技术，抽取文本特征，并利用数据特征降维等技术将文本数据转换为能够描述文本内容的结构化数据,

进一步可形成结构化模型表示树，从中提取出稳定结构，便可获取其中

的知识表示关系。目前，文本挖掘中的语言模型经历了4个发展阶段：

向量空间及统计语言模型、潜语义分析（LAS）、基于频率的模型到主

题模型的发展阶段。[18]

【参考文献】：

[1] （英）维克托·迈尔·舍恩伯格，肯尼思·库克耶. 大数据时代：生活、工作与思维的大变革. 周涛，盛杨燕译. 浙江：浙江人民出版社，2012.

[2] （英）维克托·迈尔·舍恩伯格，肯尼思·库克耶. 大数据时代：生活、工作与思维的大变革. 周涛，盛杨燕译. 浙江：浙江人民出版社，2012.

[3]王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.

[4] （英）维克托·迈尔·舍恩伯格，肯尼思·库克耶. 大数据时代：生活、工作与思维的大变革. 周涛，盛杨燕译. 浙江：浙江人民出版社，2012.

[5]https://www.360docs.net/doc/ba17826472.html,/knows/search?q=%e5%a4%a7%e6%95%b0%e6%8d%ae&mkt=zh-cn&F ORM=BKACAI

[6]王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.

[7] （英）维克托·迈尔·舍恩伯格，肯尼思·库克耶. 大数据时代：生活、工作与思维的大变革. 周涛，盛杨燕译. 浙江：浙江人民出版社，2012.

[8] （英）维克托·迈尔·舍恩伯格，肯尼思·库克耶. 大数据时代：生活、工作与思维的大变革. 周涛，盛杨燕译. 浙江：浙江人民出版社，2012.

[9] Ethem Alpaydim. 机器学习引论. 北京：机械工业出版社，2009.

[10]王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.

[11]王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.

[12]王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.

[13]https://www.360docs.net/doc/ba17826472.html,/link?url=ukKbp64aCvRHvC-guknASzF9SAu8Nd1kkfknxxDbQ88fee P6m3kqrQ6z93wZg0Og7BDmplJvUvsYcthLtIjKuq

[14]https://www.360docs.net/doc/ba17826472.html,/view/3810699.htm

[15] 张连文，郭海鹏. 贝叶斯网络引论. 北京：科学出版社，2006.

[16] https://www.360docs.net/doc/ba17826472.html,/home.php?mod=space&uid=89075&do=blog&id=436803

[17]https://www.360docs.net/doc/ba17826472.html,/view/981360.htm

[18] 王星等. 大数据分析：方法与应用. 北京：清华大学出版社，2013.