数据仓库与数据挖掘技术-试题答案

?
(1)现实世界的数据是杂乱的，数据多了什么问题会浮现。

数据库极易受到噪音数据(包含错误或者孤立点)、遗漏数据(有些感兴趣的属性缺少属性值或者仅包含会萃数据)和不一致数据(在编码或者命名上存在差异)的侵扰，因为数据库太大，往往多达几G 或者更多。

进行数据预处理，提高数据质量，从而提高挖掘结果质量。

(2)数据预处理主要包括：数据清理：去除数据中的噪音、纠正不一致；数据集成：将数据由多个源合并成一致的数据存储，如数据仓库或者数据方；数据交换：规范化或者会萃可以改进涉及距离度量的挖掘算法精度和有效性；数据归约：通过会萃、删除冗余特征或者聚类等方法来压缩数据。

数据离散化：属于数据归约的一部份，通过概念分层和数据的离散化来规约数据，对数字型数据特殊重要。

监督学习 (Supervised learning) 是通过发现数据属性和类别属性之间的关联模式，并通过利用这些模式来预测未知数据实例的类别属性。

监督学习又称为分类Classification 或者归纳学习Inductive Learning。

无监督学习(Unsupervised learning)即聚类技术。

在一些应用中，数据的类别属性是缺失的，用户希翼通过浏览数据来发现其的某些内在结构。

聚类就是发现这种内在结构的技术。

雪花模式与星形模式不同在于：雪花模式的维表可能是规范化形式，以便减少冗余。

这种表易于维护，并节省存储空间，因为当维结构作为列包含在内时，大维表可能非常大。

然而，与巨大的事实表相比，这种空间的节省可以忽略。

此外，由于执行查询更多的连接操作，雪花结构可能降低浏览的性能。

这样系统的性能可能受影响。

因此，在数据仓库设计中，雪花模式不如星形模式流行。

三
答： (1)所有频繁项集为： [E,K,O] [K,M] [K,Y] (2) 关联规则:
[O]->[E,K] 1.0
[E,O] -> [K] 1.0
[K,O] -> [E] 1.0
[M] -> [K] 1.0
[Y] -> [K] 1.0
答：
a) 决策树表示一种树型结构，它由它的分来对该类型对象依靠属性进行分类。

每一个决策
树可以依靠对源数据库的分割进行数据测试。

这个过程以递归的方式对树进行修剪。

当不能再分割时，递归完成。

因此决策树不会无限循环。

b) 0
c) size
d) Children,SIN,class
public class BayesClassifier
{
private TrainingDataManager tdm;//训练集管理器
private String trainnigDataPath;//训练集路径
private static double zoomFactor = 10.0f;
/**
* 默认的构造器，初始化训练集
*/
public BayesClassifier()
{
tdm =new TrainingDataManager();
}
/**
* 计算给定的文本属性向量X 在给定的分类Cj 中的类条件概率* <code>ClassConditionalProbability</code>连乘值
* @param X 给定的文本属性向量
* @param Cj 给定的类别
* @return 分类条件概率连乘值，即<br>
*/
float calcProd(String[] X, String Cj)
{
float ret = 1.0F;
// 类条件概率连乘
for (int i = 0; i <X.length; i++)
{
String Xi = X[i];
ret *=ClassConditionalProbability.calculatePxc(Xi, Cj)*zoomFactor;
}
// 再乘以先验概率
ret *= PriorProbability.calculatePc(Cj);
return ret;
}
/**
* 去掉停用词
* @param text 给定的文本
* @return 去停用词后结果
*/
public String[] DropStopWords(String[] oldWords)
{
Vector<String> v1 =new Vector<String>();
for(int i=0;i<oldWords.length;++i)
{
if(StopWordsHandler.IsStopWord(oldWords[i])=alse)
{//不是停用词
v1.add(oldWords[i]);
}
}
String[] newWords = new String[v1.size()];
v1.toArray(newWords);
return newWords;
}
/**
* 对给定的文本进行分类
* @param text 给定的文本
* @return 分类结果
*/
@SuppressWarnings("unchecked")
public String classify(String text)
{
String[] terms = null;
terms= ChineseSpliter.split(text, " ").split(" ") /中文分词处理(分词后结果可能还包含有停用词)
terms = DropStopWords(terms) /去掉停用词，以免影响分类
String[] Classes = tdm.getTraningClassifications() /分类
float probility = 0.0F;
List<ClassifyResult> crs = new ArrayList<ClassifyResult>();//分类结果
for (int i = 0; i <Classes.length; i++)
{
String Ci = Classes[i];//第i 个分类
probility = calcProd(terms, Ci);//计算给定的文本属性向量terms 在给定的分类Ci 中的分类条件概率
//保存分类结果
ClassifyResult cr = new ClassifyResult();
cr.classification = Ci;//分类
cr.probility = probility;//关键字在分类的条件概率
System.out.println("In process .");
System.out.println(Ci + "：" + probility);
crs.add(cr);
}
//对最后概率结果进行排序
java.util.Collections.sort(crs,new Comparator()
{
public int compare(final Object o1,final Object o2)
{
final ClassifyResult m1 = (ClassifyResult) o1;
final ClassifyResult m2 = (ClassifyResult) o2;
final double ret = m1.probility - m2.probility;
if (ret < 0)
{
return 1;
}
else
{
return - 1;
}
}
});
//返回概率最大的分类
return crs.get(0).classification;
}
}
(1)最临近分类是基于要求的或者懒散的学习法。

因为它存放所有训练样本，并且直至新的样本需要分类时才建立分类。

begin
初始化 n x n 距离矩阵 D，初始化混淆矩阵 C，设置 t=0 , TotAcc = 0 , NumIterations 为要迭代次数。

计算所有输入样本和存储在 D 矩阵中的距离。

For t=1 to NumIterations do
Set c = 0 , Ntotal=0
将输入样本划分为 k 个同等大小的分组
For fold=1 to k do
指定第 fold 个样本进行测试，并且使用原来训练样本。

设置 Ntest 为要测试样本数量。

Set Ntotal = Ntotal+Ntest
For i = 1 to Ntest do
基于样本计算距离确定 k 个最邻近训练样本。

确定在 k 个最邻近样本中最频繁的分类标记。

在 w 为真并且对于预测测试样本分类标记为时，对混淆矩阵 C 进行递增 1 存储为。

如果,则在混淆矩阵对角线上加 1，否则在非对角线上加 1。

当为混淆矩阵对角线元素时，使用
确定分类器的精确度。

计算 . 最后计算
end。