基于数据立方体的属性核计算方法

—46— 基于数据立方体的属性核计算方法 刘亚波1,2，刘大有1,2，高 滢1,2，齐 红1,2 (1. 吉林大学计算机科学与技术学院，长春 130012；2. 吉林大学符号计算与知识工程教育部重点实验室，长春 130012) 摘 要：商业智能系统应用联机分析处理技术将数据组织为多维数据立方体。该文建立了数据立方体中非空单元与决策表中等价类的一一映射关系。通过复用数据立方体中的聚合结果，提出一种基于数据立方体计算相容决策表属性核的方法，并证明了该方法的正确性。利用UCI数据集进行实验，结果表明在大数据量下该方法具有较好的时间效率。 关键词：数据立方体；联机分析处理；粗集；属性核

Data Cube-based Feature Core Computing Approach

LIU Ya-bo1,2 , LIU Da-you1,2, GAO Ying1,2, QI Hong1,2 (1. Department of Computer Science and Technology, Jilin University, Changchun 130012; 2. Key Laboratory of Symbolic Computation and Knowledge Engineering, Ministry of Education, Jilin University, Changchun 130012)

【Abstract】In BI system, data are formed as a multidimensional OLAP cube. This paper focuses on computing the feature core of the decision tableby reusing the aggregation in cube. After the relation is established between nonempty cells in a data cube and equal classes from a decision table, anew cube-based approach of computing the feature core of a consistent decision table is put forward in this paper. And the correctness of the newapproach is proved. The experiments with UCI data set show that the new approach has high time performance. 【Key words】data cube; online analysis processing; rough set; feature core

计 算 机 工 程Computer Engineering第34卷 第20期

Vol.34 No.20 2008年10月

October2008

·软件技术与数据库· 文章编号：1000—3428(2008)20—0046—03文献标识码：A

中图分类号：TP311

基于粗集的属性约简算法通常建立在属性核基础上[1]，多数求属性核的方法基于区分矩阵[2-3]。根据区分矩阵确定属性核的方法易于理解，但计算量大。文献[3]给出了不需建立区分矩阵的属性核计算方法，但对数据量较大的决策表，仍无法避免计算量大的问题。商业智能系统运用数据仓库、联机分析处理(OLAP)和数据挖掘等技术来处理和分析数据。OLAP技术将数据组织为多维数据立方体(data cube)，用维和度量来描述数据。在商业智能系统中进行数据挖掘时，若能复用已有数据立方体中的聚合结果及下钻等OLAP操作，可提高挖掘效率[4]，本文基于数据立方体及OLAP操作计算相容决策表属性核。 1 相关概念和理论 定义1 决策表S=(U,A,V,f )。其中，U为论域；A= C∪D且C∩D = ∅，C是条件属性集，D是决策属性集；V=aaAV∈∪,Va是a的属性值集；f：U×A 󰀅 V是函数，它指定U中每个对象在不同属性上的取值。若U中存在x和y使得f(x,C)=f (y,C)，但f(x,D)≠f(y,D)，则称S为不相容决策表，否则为相容决策表。 定义2 决策表S=(U,C∪D,V,f)，称C中所有必要属性的集合为C的属性核，记为Core(C)。 定义3 相容决策表S=(U,C∪D,V,f )。条件属性c∈C是S的关键属性，当且仅当S'=(U,C-{c}∪D,V,f )不相容。 定理1 若决策表S=(U,C∪D,V,f )相容，则S的所有关键属性构成的集合为C的属性核。 2 基于数据立方体计算属性核的方法 决策表S=(U,A,V,f), A=C∪D，将U作为事实表，A作为数据立方体的维集，维a(a∈A)的成员集为Va∪{any}，可构造|A|维数据立方体，记为Cube(S)。若A中每维都取一个成员，可确定Cube(S)中唯一单元，设为p，记p∈Cube(S)表示p是Cube(S)中单元。对Cube(S)中单元p给出以下描述方法： (1)∀ai∈A(1≤i≤|A|)，令ai(p)表示p的维ai

成员，记p=

[a1(p),a2(p),…,a|A|(p),Count(p)],Count(p)是p的度量值。 (2)Dims(p)={a|a(p)≠any, a∈C∪D} (3)Data(p) ={x|∀a∈Dims(p),a(x)=a(p),x∈U} 例1 由表1决策表S生成4维数据立方体Cube(S)，包

含单元 p=[high,any,yes,any,2],Dims(p)={c1,c3},Data(p)={x1,

x2}, Count(p) =|Data(p)|=2。 表1 决策表S C∪D c1 c2 c3 d x1 high good yes profit x2 high medium yes loss x3 low medium no profit x4 low good yes loss

2.1 等价类与非空单元的映射关系 为证明决策表中等价类与数据立方体中非空单元间的一一对应关系，给出定义4、定义5、定义6及引理1。定义7给出了具体的对应方法。

基金项目：国家自然科学基金资助重大项目(60496321)；国家自然科学基金资助项目(60373098, 60573073)；国家“863”计划基金资助项目(2003AA118020) 作者简介：刘亚波(1975－)，女，博士后，主研方向：粗集，数据挖掘，数据仓库；刘大有，教授、博士生导师；高 滢，硕士；齐 红，博士 收稿日期：2008-06-12 E-mail：yabo@jlu.edu.cn —47—

定义4 决策表S=(U,C∪D,V,f)，p1,p2∈Cube(S)，若∀a∈ C∪D, a(p1)=a(p2)，则p1=p2，否则p1≠p2。 定义5 决策表S=(U, C∪D,V,f)，定义 Pairs(S)={|E∈U/R, R⊆C∪D} 若,∈Pairs(S)，且R1=R2,E1=E2，则= ，否则≠. 定义6 决策表S=(U,C∪D,V,f)，若p∈Cube(S)且Count (p)>0，则称p为非空单元，定义非空单元集 Cells(S)={q|Count (q)>0,q∈Cube(S)}。 引理1决策表S=(U,C∪D,V,f)，对∀p∈Cells(S)都有∈Pairs(S)成立。 证明：任取p∈Cells(S)，则Dims(p)⊆C∪D是U上等价关系，Data(p)是U/Dims(p)中等价类。由定义5，∈Pairs(S)。证毕。 定义7 决策表S=(U,C∪D,V,f), ∈Pairs(S), p∈ Cells(S)，若Dims(p)=R, Data(p)=E，则σ(R,E)=p。 引理2 决策表S=(U,C∪D,V,f)，∀∈Pairs(S)，存在唯一单元p∈Cells(S)满足σ(R,E)=p。 证明： (1)存在性。取∈Pairs(S)，设R={a1, a2,…,as}⊆C∪D, E={x|a1(x)=v1, a2(x)=v2,…,as(x)=vs, x∈U}，若ai维取vi成员 (1≤i≤s)，其他维取any成员，可确定Cube(S)中唯一单元，设为p，易见Data(p)=E, Dims(p)=R，因Count(p)=|E|>0，故p∈Cells(S)，则σ(R,E)=p。 (2)唯一性。假设存在p’(p’≠p)∈Cells(S)满足σ(R,E)=p’。由σ(R,E)=p’，可得 Dims(p’)=Dims(p)=R, Data(p’)=Data(p)=E (1) 由p’≠p，可得 或Data(p’)=Data(p)=∅,或Data(p’)≠Data(p) (2) 显然式(1)、式(2)矛盾，故假设不成立。引理2证毕。 引理2表明可以把Pairs(S)中任意元素映射到Cells(S)中唯一单元。下面证明该映射是一一映射。 定理2 决策表S=(U,C∪D,V,f)，σ是从Pairs(S)到Cells(S)的一一映射。 证明： (1)任取,∈Pairs(S),≠，往证σ(R1,E1)≠σ(R2,E2)，用反证法。 设σ(R1,E1)=p1，故Dims(p1)=R1,Data(p1)=E1； 设σ(R2,E2)=p2，故Dims(p2)=R2, Data(p2)=E2。 假设σ(R1,E1)=σ(R2,E2)，则p1=p2。故R1=R2, E1=E2, =，与已知≠矛盾。因此，σ(R1,E1)≠ σ(R2,E2)，σ是单射。 (2)∀p∈Cells(S)，令R=Dims(p),E=Data(p)，由引理1， ∈Pairs(S)且σ(R,E)=p，因此σ是满射。 σ既是单射，也是满射，故σ是一一映射，使决策表中等价类与数据立方体中非空单元一一对应。证毕。 推论1 决策表S=(U,C∪D,V,f), R⊆C∪D，则 U/R= {Data(q)|Dims(q)=R, q∈Cells(S)}。 证明： (1)设E∈U/R，则∈Pairs(S)。再设σ(R,E)=p，故 Dims(p)=R，则p∈{q|Dims(q)=R, q∈Cells(S)}, E∈{Data(q)| Dims(q)= R, q∈Cells(S) }。 (2)设p∈{q|Dims(q)=R,q∈Cells(S)}，则Dims(p)=R, Data(p)∈U/R。 故U/R={Data(q)|Dims(q)=R, q∈Cells(S)}。证毕。 根据推论1，若决策表S=(U,C∪{d},V,f)，则 U/C={Data(q)|Dims(q)=C,q∈Cells(S)} U/{d}={Data(q)|Dims(q)={d},q∈Cells(S)} 2.2 基于数据立方体的属性核计算算法 以下设决策表S=(U,C∪{d},V,f)，且S是相容决策表。根据决策表中等价类与Cube(S)中非空单元的一一对应关系，通过在部分非空单元上沿维 d 下钻，计算出关键属性。 定义8 决策表S=(U,C∪{d},V,f )，设p, q∈Cells(S)，若∀c∈C, c(q)=c(p)且d(p)=any, d(q)≠any，则称q是p沿维d的下钻单元。称p的所有沿维d的下钻单元构成的集合为p沿维d的下钻集，记为p↓d。