第八章 文本挖掘与WEB挖掘

N ni
)
tfi(d)为ti在d中出现的频率,N为所有文档的数目，ni为含有词条ti 文档数目
文本特征提取

经过以上步骤,得到的特征向量的维数是非常高的,如此高维 的特征对即将进行的分类学习未必全是重要、有益的,而且高 维的特征会大大增加机器的学习时间而产生与小得多的特征 子集相关的学习分类结果.这便是特征提取所要完成的工作. 特征提取算法一般是构造一个评价函数,对每个特征进行评估, 选取评估分值高的、预定数目的最佳特征作为特征子集.
1
|D | i 1 i |V | |D | s 1 i 1 s
i
)
P(W|Cj)表示词W在类别Cj中出现的比重,P(W)表示W在所有 训练文本中的比重


（3）对于该类中所有的词，依据上面计算的互信息量排序 （4）抽取一定数量的词作为特征项 将每类中所有的训练文本，根据抽取的特征项，进行向量维 数压缩，精简向量表示

信息论诞生五十年来，至今，仍然是指导通信技术 发展的理论基础，是创新新通信体制的源泉 。
香农信息(概率信息)
信息是事物运动状态或存在方式的不确定性
的描述。
信源
（发信者） 干扰或 噪声 消息
信道
信宿
（收信者） 通信系统框图
在通信系统中形式上传输的是消息，但实质
上传输的是信息
信源数学模型
样本空间：某事物各种可能出现的不同状态， 即所有可能选择的消息的集合。 对于离散消息的集合，概率测度是对每一个可 能选择的消息指定一个概率。一个样本空间和 它的概率测度称为一个概率空间。表示：[X， P] 在离散情况下：
文本分类


自动文档分类的一般做法：以一组预先分类过的文档作为训 练集，对训练集进行分析以得出分类模式，测试分类模式， 不断地细化，之后就用这些模式对其他联机文档进行分类。 基于关联的分类方法处理过程：
通过信息检索和关联分析提出关键字和词汇 使用已经有的词类，或基于专家知识，或使用某些关键字分类方法，
层次上高于信息检索，可 用来改善信息检索
使用场合
文本特征表示与提取

文本特征的表示
文档属于半结构化数据，文档的内容的表示使用自然语
言，计算机很难处理理解。数据挖掘技术使用结构化的 计算机能理解的数据，故需要对文本进行预处理，提取 代表其特征的元数据。 文本特征分为：
描述性特征：文本的名称、日期、大小、类型 语义性特征：作者、机构、标题、内容

分类阶段 对测试文档集合T= {d1,……,dk,……,dr}中的每个待分 类文档dk，计算V(dk) 与每个V(ci)之间的相似度sim(dk,ci) 选取相似度最大的一个类别作为dk的类别 n(dk,ci)为V(dk) 和V(ci)具有的相同词条数, n0(dk,ci)为V(dk) 和V(ci)具有的所有词条数.
文本挖掘
用户无法预知挖掘结果
着眼点
目的
着重于文档中的字、词、链 接
帮助用户发现资源
着重于理解文本的结构和 内容
提取文本中隐含的知识
评价指标
查准率（Precision）、查全 率（Recall）
从海量信息中定位用户想要 的资源
收益（Gain）、置信度 （Certainty）、简洁性 （Simplicity）
I (U , V ) H (U ) H (U | V )
文本互信息量特征抽取算法


（1）初始情况下特征集包含所有该类中出现的词 （2）对每个词，计算词和类别的互信息量
log( P (W | C j ) P (W ) )
其中， P (W | C j )
|V

N (W , d ) | N (W , d
目标
关系数据库
抽取知识、预测以后的状态
自由开放的文本
检索相关信息、提取意义， 分类
方法
成熟度
归纳学习、决策树、神经网 络、粗糙集、遗传算法
从1994年开始得到广泛应用
标引、概念提取、关联分 析、语言学
从2000年开始得到广泛应 用
文本挖掘与信息检索的区别
信息检索
方法论 目标驱动，用户需要提出明 确的查询要求
基本概念
文本挖掘是一个从大量文本数据中提取以前未知
的、有用的、可理解的、可操作的知识的过程。 主要任务
文本标引和短语提取 概念提取（聚类） 可视化显示和导航
文本挖掘从功能上的分类
文本总结 文本分类 文本聚类
文本总结是指从文档中抽取关键信息,用简洁
的形式对文档内容进行摘要或解释.从而用户 不需要浏览全文就可以了解文档或文档集合 的总体内容.文本总结在有些场合非常有用,例 如,搜索引擎在向用户返回查询结果时,通常需 要给出文档的摘要.目前,绝大部分搜索引擎采 用的方法是简单地截取文档的前几行.
（符号）v j 后而发送端发的是 u i的概率。 自信息：消息 u i 发生后所含有的信息量，反映 了消息 u i 发生前的不确定性：
I ( u i ) log 1 P (u i ) log P ( u i )
三.信源熵
信源熵
定义：信源各个离散消息的自信息量的数学期望
（即概率加权的统计平均值）为信源的平均信息 量，一般称为信源的信息熵，也叫信源熵或香农 熵，有时也称为无条件熵或熵函数，简称熵。 公式：
XML等文档结构标准可帮助我们抽取作者、机构等特征，
但内容还是难以表示的特征，还是得借助自然语言处理 技术
矢量空间模型（VSM）

在ＶＳＭ中,我们将文本文档视为由一组词条(Ｔ1,Ｔ 2,…,Ｔｎ)构成,每一词条都赋以一定的权值Ｗｉ,从而每 一篇文档被映射为由一组词条矢量张成的向量空间中的 一个向量.文本的匹配问题便可转化为向量空间中的向 量匹配问题处理.

u 2 , , uq u1 , U P ( u 1 ), P ( u 2 ), , P ( u q ) P (u )
P 其中， ( u i )为选择符号 u i作为消息的概率，称为 先验概率
后验概率：条件概率P ( u i | v j ) —接收端收到消息
对S集中的文档进行词条提取,去除停用词,然后统计词频,每
篇文档生成一个向量d 计算向量d中每个词条的互信息量,设置初始阈值k0(如0.75), 进行维数压缩 根据TFIDF公式计算每个词条的权值wi 生成特征向量表,每篇文档表示为向量 <t1,w1;t2,w2;,,tn,wn>,ti为特征项词条,wi为对应的权值. 对每一类中的特征项词条ti,计算其在该类所有文档特征向量 中权值的算术平均值wi,作为该词条在类别特征向量中的权值 构造类别特征向量c:<t,w;t,w;,,t,w>
文本分类是指按照预先定义的分类体系,将文
档集合的每个文档归入某个类别.这样,用户不 但能够方便浏览文档,而且可以通过限制搜索 范围来使文档的查找更为容易.目前,Ｙahoo 仍然是通过人工对Ｗｅｂ文档进行分类,这大 大限制了其索引页面的数目和覆盖范围.可以 说研究文本分类有着广泛的商业前景和应用 价值.
信息论基础

它是C.E.Shannon四十年代末期，以客观概率信息 为研究对象，从通信的信息传输问题中总结和开拓 出来的理论。主要研究的问题 ：
信源的描述，信息的定量度量、分析与计算
信道的描述，信道传输的定量度量、分析与计算。 信源、信道与通信系统之间的统计匹配，以及通信系统
的优化 —Shannon的三个编码定理。
最简单的相似度表示 最常用的相似度表示
: sim ( d k , c i ) :
n (d k , ci ) n0 (d k , ci )
关联分析



基于关键字的关联分析首先对文本数据进行分析，词根处理， 关键字提取等预处理，然后调用关联规则挖掘算法进行挖掘。 每一个文档视为一个事务，文档中的关键字组可视为事务中 的一组事务项，这样就可以将文档数据库中的关键字关联挖 掘问题变成事务数据库中事务项的关联挖掘 词的识别和词级关联挖掘在文本分析中的优点：
最大离散熵定理：信源X中包含n个不同离散 消息时，信源熵H(X)有 H ( X ) log 2 n ，当且
仅当X中各个消息出现的概率全相等时，上式 取等号。
表明等概率信源的不确定性最大，具有最大熵，且为 log 2 n
P(Ui)互相接近,H(U)就大;反之也然
互信息
后验熵：当接收到输出符号V=vj后，信源的
生成关键字和词的概念层次或类层次结构 词关联挖掘方法用于发现关联词，它可以最大化区分文档的不同类 别，这导致对每一类文档有一组关联规则。这些关联规则可以用于 对新的文档的分类

训练阶段
文本分类具体过程
定义类别集合C={c1,……,ci,…….cm}
给出已分类好的训练文档集合S= {s1,……,si,……,sm}
V ( d ) ( t1 , w1 ( d );......; t n , w n ( 习中最常用的是ＴＦ ＩＤＦ表示法,它是一种文档的词集表示法,所有的词从 文档中抽取出来,而不考虑词间的次序和文本的结构.
w i ( d ) tf i ( d ) log(
平均不确定性，即输入符号U的信息度量
1
2
H (U | v j ) E [ I ( u i | v j )] E [log
p (u i | v j )
n
] p ( u i | v j ) log
i 1
n
2
p (u i | v j )
条件熵：对后验熵在输出符号集V中求期望
H (U | V ) E [ H (U | v j )] p ( v j ) p ( u i | v j ) log