互联网数据挖掘期末考试简答题

1、

简述自然语言处理领域的歧义现象

在分词，词形式上一样的一段字符串，在不同的场景或不同的语境下，可以理解成不同的词串、词组串等，并有不同的意义。

在分词，词性，句法，语义，语用方面有歧义

2、

简述布尔检索的优缺点

布尔模型的优点

简单

对查询严格掌控

布尔模型的缺点

1、一般用户难以构造布尔查询，耗时耗力

? 例如：早期文献检索要依赖检索专家

2、检索结果文档无法排序

? 匹配或不匹配

3、根据布尔运算进行严格匹配，导致过少或过多的检索结果

3、

简述PageRank算法的基本思想

？出度是指页面的超链接数

pagerank是标识网页的等级/重要性的方法。

一个网页的pagerank值由所有链向它的网页决定。链向该网页的网页越多则该网页等级越高；反之越低。

比如A网页链向B网页，则A的所有者认为B比较重要，就把A的一部分重要性得分赋予B，该重要性得分是pagerank(A)/outlinks(A)，也就是A的pagerank值除以A的出度。A的pagerank值是所有链向它的网页的重要性得分的总和。

4、

简述倒排索引的构建过程与好处

倒排索引(inverted index)

以关键词为核心对文档迚行索引

帮劣快速地找到文档中所包含的关键词

可看作链表数组，每个链表的表头包含关键词，其后续单元则包括所有包括这个关键词的文档标号，以及一些其他信息，如该词的频率，该词的位置等

倒排文件的实现过程是：先得到顺排文件，然后根据顺排文件得到倒排文件，从而实现由关键字来索引网页。

假设有网页P1,P2,……,Pn，给每个网页文件赋予一个编号Pid，给每个关键字赋予一个编号keyi，假设key是网页文件中的一个关键字，ni表示该关键字在网页文件中出现的次数，表示该关键字在网页文件中的位置信息。首先将网页内容切分成一系列关键字：Pi={Key1,key2,…，keyn}。建立以下顺排文件：

P1={[n1，Key1(hit1,hit2,…,hitn)],…,[nx，keyi（hit1,hit2,…,hitx）] }

P2={[n1，Key1(hit1,hit2,…,hitn)],…,[nn，keyk（hit1,hit2,…,hitn）] }

…………

Pn={[n1，Key1(hit1,hit2,…,hitn)],…,[ny，keyj（hit1,hit2,…,hity）] }

顺排文件是以网页来索引关键字的，即形式为（网页→关键字），不符合搜索引擎的需要。因此，需进行倒排处理，以关键字来索引网页，即形式为（关键字→网页）：

Keyi→{[Pid1,ni1(hit1,hit2,…,hitni1)],…,[Pidn,nin(hit1,hit2,…,hitnin)]}

5、

简述Apriori算法的基本思想与过程

定理(Apriori性质): 若A是一个频繁项集,则A的每一个子集都是一个频繁项集. 思想: Apriori使用了一种称作level-wise搜索的迭代方法,其中k-项集被用作寻找(k+1)-项集.

首先,找出频繁1-项集,以L1表示.L1用来寻找L2,即频繁2-项集的集合.L2用来寻找L3,以此类推,直至没有新的频繁k-项集被发现.每个Lk都要求对数据库作一次

完全扫描.

6、

简述分类与回归的联系与区别

数据挖掘基础一p17分类定义

P31 回归定义

分类：给定一个样例集合（训练集），每个样例包含一个属性集合，其中一个属性是类标记。基于训练集构建一个模型，该模型将类标记属性看作其它属性值的一个函数。对新的样例尽可能准确的赋予类标记。

回归：基于若干变量的值预测一个给定的具有连续值的变量的值。

分类和回归的区别在于输出变量的类型。

定量输出称为回归，或者说是连续变量预测；

定性输出称为分类，或者说是离散变量预测。

举个例子：

预测明天的气温是多少度，这是一个回归任务；

预测明天是阴、晴还是雨，就是一个分类任务。