概率论论文

概率论与随机过程（论文）

题目: 概率论在数据挖掘中的应用

姓名程潇婷

学院信息与通信工程学院

专业信息与通信工程

班级概率论与随机过程3班

学号2013110355

班内序号1号

指导教师周清

2015年12 月

目录

目录 (2)

概率论在数据挖掘中的应用 (3)

摘要 (3)

一、数据挖掘与概率论 (3)

二、粗糙集理论与概率论知识的融合 (4)

概率论基础知识 (4)

基于粗糙集理论的概率规则 (4)

粗糙集理论下的概率规则测度 (6)

三、理论知识的实际应用 (6)

粗糙集理论的概率规则的应用 (6)

粗糙集理论下的概率规则测度的应用 (7)

四、课程学习心得体会 (7)

参考文献 (7)

概率论在数据挖掘中的应用

摘要

本文主要通过结合笔者的研究方向与本学期学习的课程《概率论与随机过程》从而探讨概率论在数据挖掘中的一些具体应用。随着大数据时代的到来，数据挖掘作为新兴的数据处理手段在各个领域都有着广泛的应用，而数据挖掘技术的发展一方面服务于各类新兴大数据命题，另一方面又依托于传统支撑型理论学科，从而在二者之间建立起坚固的桥梁。概率论作为数据挖掘的理论支撑在模型构建，数据预测，数据仿真方面都有着极其重要的作用。文中笔者主要通过介绍基于概率测度的数据挖掘模型来具体阐述二者的关系。

关键词：概率论，数据挖掘，概率测度

一、数据挖掘与概率论

数据挖掘（英语：Data mining），又译为资料探勘、数据采矿。它是数据库知识发现（英语：Knowledge-Discovery in Databases，简称：KDD)中的一个步骤。数据挖掘一般是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。数据挖掘利用了来自如下一些领域的思想：(1) 来自统计学的抽样、估计和假设检验，(2)人工智能、模式识别和机器学习的搜索算法、建模技术和学习理论。数据挖掘也迅速地接纳了来自其他领域的思想，这些领域包括最优化、进化计算、信息论、信号处理、可视化和信息检索。一些其他领域也起到重要的支撑作用。特别地，需要数据库系统提供有效的存储、索引和查询处理支持。源于高性能（并行）计算的技术在处理海量数据集方面常常是重要的。分布式技术也能帮助处理海量数据，并且当数据不能集中到一起处理时更是至关重要。

数据挖掘研究从大规模的数据库中挖掘出有用的知识来辅助决策, 而粗糙集理论是一种基于等价关系分类的新的信息处理方法, 其特点是不需要预先给定某些特征或属性的数量描述, 而是直接从给定问题的描述集合出发, 找出该问题中的内在规律。该理论主要研究信息和智能系统中知识不精确、不完善的问题, 但其基本方法是确定性的, 因而忽略了数据可利用的统计信息。为了将粗糙集理论应用于概率领域, 有必要研究粗糙集理论与概率统计结合的相融点, 提取具有一定概率可信度的数据挖掘规则。

粗糙集合理论通过将数据属性进行组合从而反映了数据的分类特征, 是目前知识获取中归纳学习的一种有效工具。然而在现实领域中进行归纳学习存在着如下问题:( 1) 当属性

数目很大时,计算费用非常高;(2)这种方法无法提供属性的先验概率;( 3) 在以往工作中, 对规则进行的推导只局限在不可分辨集合是正域的一个子集中, 然而这在现实信息世界中, 特别是在概率领域中约束太强。因此, 当将粗糙集合理论应用于概率空间领域的知识获取时, 需要进行如下扩展:( 1) 进行规则推导, 仅考虑覆盖正域规则是不充分的, 必须关注于可能域, 一个正域是可能域的一个特定子集;( 2) 需要引入一些测度来估计规则的统计特征。因此，为了完善这一理论，结合概率论测度理论可以产生挖掘分类规则的基本思路: 首先, 利用条件概率的形式表示研究集合的上下近似空间, 根据决策属性值的不同, 将对象划分成不同的组代表不同的决策类；其次, 从条件概率的角度利用条件属性的逼近精度的相关参数进行属性集的约减从而形成两种子规则, 一种子规则用于区分每一类, 另一种子规则用于区分每一组中的不同类；然后,将两部分子规则集成为一条规则对应每一决策属性；最后, 计算每条规则的分类精度、覆盖率来选择适当的概率规则。

二、粗糙集理论与概率论知识的融合

概率论基础知识

概率空间是概率论的基础。概率的严格定义基于这个概念。概率空间(Ω, F, P)是一个总测度为1的测度空间（即P(Ω)=1）。第一项Ω是一个非空集合，有时称作“样本空间”。Ω的集合元素称作“样本输出”，可写作ω。第二项F是样本空间Ω的幂集的一个非空子集。F的集合元素称为事件Σ。事件Σ是样本空间Ω的子集。集合F必须是一个σ-代数(Ω, F)合起来称为可测空间。事件就是样本输出的集合，在此集合上可定义其概率。第三项P称为概率，或者概率测度。这是一个从集合F到实数域R的函数，P ：F →R。每个事件都被此函数赋予一个0和1之间的概率值。P必须是一个测度，且P(Ω)=1。概率测度经常以黑体表示，例如P 或Q ，也可用符号"Pr"来表示。

基于粗糙集理论的概率规则

定义一：令R 是论域U 上的等价关系, D 是决策分类概念的集合, X R是满足等价关系R 的x 的等价类。则定义条件概率为:

P(D|Xi R)=P(D∩Xi R)

P(Xi R)

=

card(D∩Xi R)

card(Xi R)

其中P(D|Xi R)表示事件Xi R发生的条件下事件D 发生的概率,card 为基数函数。即:

P(D|Xi R)=1, 当且仅当Xi R?D

P(D|Xi R)>0, 当且仅当Xi R∩D≠?

P(D|Xi R)=0, 当且仅当Xi R∩D=?

定义二：令R 是论域U 上的等价关系, D

系R 的x 的等价类。决策系统的概率规则可定义为一个元组,其中满足以下条件：

1.X R∩D≠?

=P(D|R)

2.αR D=|X R∩D|

|X R|

=P（R|D）

3.K R D=|X R∩D|

|D|

4.p：χ2统计值p

其中αR D表示R对于分类D的分类精度, K R D表示R针对于D 的覆盖的统计测度, 即正域率, 值得注意的是这两种测量描述分别等于两种条件概率, p为概率规则的统计可靠度。同时, αR D表示规则R→D 的充分性, K R D表示规则R→D 的必要性。即如果αR D=1, 则R→D 为真, 如果K R D=1, 则D→R 为真, 若αR D=1=K R D, 则R?D。

为了计算p 值, 在论域U、决策集合D 和等价关系X R之间建立一个临时表，如下：。

d ┐d 总计

R s t s+t

┐R u v u+v

总计s+u t+v s+t+u+v

在表中, ┐R 与┐d 分别表示R与d的逻辑否定。s, t, u,v 分别计算如下:

|X R∩D|=s

|X R∩( U- D) |=t

|D-X R∩D|=u

| (U- D) - X R∩( U, D) |=v

同时有以下式子成立:

s+t=|X R|

s+u=|D|

s+u+t+v=|U|

由上表可计算统计值:

n（sv?tu）2

χ2=

χ2统计值是用来检验R 与d 之间是否统计独立, 换句话说, 是用来检验R 对于分类d 而言是否是必要的。根据以上各数值的计算, 可以把概率规则分成四类:

1.确定性规则: α=1, k=1;

2.显著性规则: 0.5<α<1, 0.9≤p<1;

3.强规则: 0.5<α<1, 0.5

4.弱规则: 0<α<0.5, 0

粗糙集理论下的概率规则测度

将一致性规则的定义扩展到概率领域中, 为此, 定义分类规则的两个测度表示如下:

SI R i，D=card{x R

i

∩D U x R

i

c∩D c}

card{x R

i

∪x R

i

c}

CI(R i,D)=card{x R

i

∩D U x R

i

c∩D c}

c

其中D c表示一个分类X 未被观测到的缺损对象, x R

i

c表示未被观测到的满足等价关系R i的缺损对象。对于缺损对象的分类确定, 可以用补全样本集的概率统计方法给出。对于一个不完整的决策表, 缺损样本中的条件属性对应某种决策分类的概率, 在不考虑已知条件的情况下, 只能认为是等概率的, 显然用这个概率作为推测的依据是不合

理的。用P

1表示根据已知数据求出的概率, P

2

表示等概率, 则用于推测缺损样本的概率

可表示为:

P=a*P

1+( 1- a) *P

2

a=该条件属性在给出的决策表中出现的次数

该条件属性在完整的决策表中应该出现的次数

则可以推断缺损对象的决策分类值, 步骤如下:( 1) 列出缺损的样本;( 2) 计算每种条件属性对应每种决策分类的概率;( 3) 计算每个补充的样本取得每种决策的概率。

三、理论知识的实际应用

粗糙集理论的概率规则的应用

根据本文第二部分的理论推导，粗糙集理论的概率规则的推导结果可以实际模拟现实生活中的场景。数据挖掘主要是从大数据中得出具有指导性的数据属性，而这些属性的确定就是基于粗糙集理论中属性的概率规则。通过上文的推导，可以看出概率规则可以分为四类，而大数据的每个数据属性都可以划分在不同的概率规则中，而位于不同的概率规则域的属性都可以被定量的赋予一个与数据挖掘结果相关的值，通过赋值的调整可以在数据挖掘的仿真过程中将各个属性实体化从而得出具有指导性的结论。

下面笔者将分别讨论四种规则。在概率规则中，确定性规则对应已知圈定的数据属性，也就是与特定结论进行过配对具有特定因果关系的数据属性，比如钱币真伪这个数据属性将直接与结果“真，伪”关联；显著性规则对应依据普遍认知将会与特定结果配对的数据属性，比如服装类型这个数据属性一般与“男装，女装，童装”有关联，但也不排除其他的分析结果；强规则对应具有一定指向意义的数据属性，这些数据属性在数据对象的未来的发展方向具有一定的指导意义，也是数据挖掘研究的主要数据属性；弱规则对应数据挖掘中与分析结果没有明显关联的数据属性，这些数据属性大部分间接性的与数据对象有关联，而这种关联往往是隐性的，这种隐性关系将有可能成为数据挖掘的“黑马”。

粗糙集理论下的概率规则测度的应用

由于缺损对象在属性及属性值较多的情况下计算其出现及分类的概率的工作量是相当大的,因此粗糙集理论下的概率规则测度理论指导数据挖掘工作者寻找某种特定的概率规则的测度。例如将γ- 概率近似分类的概念作为概率规则的测度：

令U/C={X

1, X

2

, ?, X

n

}={[x

1

]

R

, [x

2

]

R

, ?, [x

n

]

R

}为关系R(C)关于论域的等价类集合, 则

在标准粗糙集模型中集合Y 的上下近似用条件概率的形式可表示为:

R C Y={X i

P Y X i=1

∈U/C}

Y={X i

P Y X i>0

∈U/C}

在近似空间中, 令SA

P

=为一概率元组,其中P是一个条件概率测度,γ是(0.5,1)范围内的一个实数。γ近似空间可以分成以下区域:

集合Y 的γ-正域: POS

C （Y）={X i

P Y X i≥γ

∈U/C}

集合Y 的γ-负域: NEG

C （Y）={X i

P Y X i<γ

∈U/C}

显然, 集合Y的γ-正域对应于论域U 中能以条件概率P Y X i≥γ情况下准确划入集合Y 的元素个数, 集合Y 的γ-负域对应于论域U 划入集合^Y的元素个数。

四、课程学习心得体会

本科期间就曾学习过概率论的相关课程，只不过都是停留在比较简单的理论方面，并没有真正思考过这门课程究竟怎样应用在实践中。通过这个学期对概率论与随机过程的学习，笔者对概率论相关知识进行了更加深入的研究，同时结合研究相关方向，理解了概率论在实际研究中的应用，感觉受益颇多。概率论与随机过程作为一门重要的学科，在现代诸多新兴课题的研究中也有着弥足重要的地位，研究生期间的课程为笔者以后灵活应用这些方面的知识打下了坚实的基础，在此要特别感谢周清老师在这个学期里的悉心指导，谢谢。

参考文献

[1] 张文宇，基于概率测度的数据挖掘扩展模型研究[J].《计算机工程与应用》, 2008, 44(25):132-135

[2]王玉孝，概率论与随机过程[M].北京邮电大学出版社，2005-6-1

[3] Anand Rajaraman、Jeffrey David Ullman, Mining of Massive Datasets[M].人民邮电出版

社，2012-09-01

[4] 张文宇、贾嵘，数据挖掘与粗糙集方法[M]. 西安电子科技大学出版社, 2007-10-01

[5] 杨巨龙，大数据技术全解-基础、设计、开发与实践[M].电子工业出版社，2014-03-01