已立项的自然科学基金标书

一、立论依据

（包括项目的研究意义和必要性、国内外研究现状和发展趋势分析，并附主要参考文献及出处。）

知识发现（Knowledge Discovery，KD）[1,2,3,4]是介于统计学、人工智能、数据库理论与技术等领域的一个非常活跃的交叉、新兴研究与应用领域，在金融、电信和市场销售等行业具有很好的应用前景，将成为未来几年内对工业产生深远影响的关键技术之一。随着信息化的不断深入，商业数据库正在以一个空前的速度增长，积累的数据呈现出高维、海量、异构[5]和分布[6,7,8]等新特征。因此，实际应用要求数据挖掘系统具有更好的针对性和适应性：如在挖掘得到的知识规模过大的情况下能对结果进行有效剪枝；当数据源中数据有噪音或丢失的情况下，仍能得到可接受的挖掘结果等。传统的数据挖掘理论、方法与模型难以满足新的应用需求，数据挖掘面临着新的挑战[9,10]。

统计学是收集、分析、表述和解释数据的科学；它通过对反映客观现实的有关数据的分析，用统计数字来描述客观对象的现存状况以及各种内部关系、外部联系、发展变化趋势等，为人们提供确切的、定量化的认识，作为判断与决策的依据。在数据挖掘作为研究课题正式提出之前，统计分析技术一直是人们进行数据处理的主要手段。但是随着社会信息化水平的不断提高，面对大规模的数据、总体漂移等问题的出现，传统的统计分析方法在有些方面显得力不从心。

由于学科相隔、交流不够导致涉及知识发现研究领域的人员主要是计算机及相关学科，其它专业的研究者相对较少；另一方面，统计学的发展没有和信息技术紧密结合，统计学在充分利用数学工具来完善理论的过程中，没有实时地关注信息领域对数据分析工具要求的变化，致使最新的统计方法由于缺乏相应的算法实现，从而在信息领域没有得到充分的施展。因此，国内外有些研究者考虑将具备较完善的理论基础和很强的数学背景的统计方法与其它数据挖掘技术结合加以灵活运用[11,12]，以更好地解释数据：如1997年美国统计学会ASA和美国人工智能学会AAAI共同举办了第三届DM&KDD国际会议(KDD’97)；中国人民大学统计学系数据挖掘中心的研究人员也积极开展了统计学和数据挖掘相结合方面的研究。所以如何有效地结合统计技术和其它数据挖掘技术推动知识发现研究的快速发展引起了国内外研究者的普遍关注。

有效地描述数据、知识及其关系，并对知识进行合理评价的方法、手段是实现知识发现的基础[13,14,15]。在这一领域的研究中，统计分析方法的引入具有重要的意义，如：利用统计相关性分析可在挖掘过程中对模式进行剪枝、对所发现知识的质量进行评价度量；由Pawlak于1982年提出的具有严格数学性质的粗集理论(Rough Sets)是一种研究不确定知识和数据的理论方法，该方法可以用于发现

不确定数据或噪声数据间的内在联系；将粗糙集与贝叶斯网络模型(Bayesian Network)用于知识的表示与提取方面，相比其它许多仅能表示有限种知识的模型，有很大的优势[16,17]；其它还有如多元统计分析方法(Multivariable Analysis)等，每一种方法具有各自的特点和应用范围。

本课题将统计分析理论、方法与信息领域对数据分析工具的需求有机地结合起来，一方面为统计学理论研究的发展提供了新的动力，为统计分析方法应用于实际提供了更多的表现形式。另一方面，统计分析方法应用于知识发现过程，使得数据、知识有了更多的形式化表示工具；选择、设计恰当的应用于知识发现过程的统计分析工具、模型可以解决面向大规模数据库的知识发现过程中遇到的数据溢出、数据不完整等问题。因此，将具有成熟理论基础的统计分析方法和其它数据挖掘技术相结合，可以提高知识发现过程的效率、改善所发现知识的质量，更好地为应用决策提供准确、有效的信息和知识。本课题的研究具有重要的理论意义和现实意义。

参考文献：

[1] Dallas EJohnson.Applied Multivariate Methods for Data Analysts[M]. Duxbury Press,2005

[2] 丁军，高学东.粗糙集理论在个性化需求挖掘中的应用[J].信息技术与信息化,2007,2：56-58,68

[3] 李延来，蒲云，姚建明.MC下基于粗糙集的个性化需求挖掘模型[J].统计与决策，2006，10（期）：19-22

[4] JiaWei Han, Micheline, Kamber. Data Mining - concepts and techniques [M]. San Francisco,CA: High Education Press, Morgan Kaufman Publishers,2001.

[5] W.J.Frawley,G.Piatetsky,C.Shapiro et al. Knowledge Discovery in Databases: An Overview[A]. In Piatetsky-Shapiro, W.J.Frawley eds. Knowledge Discovery in Databases[C]. Menlo Park, California: AAAI Press/The MIT Press,1991:1-27.

[6] U.Fayyad, G.Piatetsky-Shapim, R.Smyth. From Data Mining to Knowledge Discovery: An Overview[A]. In: U.Fayyad ed. Advances in Knowledge Discovery and Data Mining[C]. Menlo Park, California:AAAI Press, 1996:1-34.

[7] R.Uthorosamy. From Data mining to Knowledge Discovery: Current Challenges and Future Directions[a]. In: U.Fayyad ed. Advances in

Knowledge Discovery and Data Mining[C]. Menlo Park, California:AAAI Press, 1996:561-569.

[8] 叶飞跃,王建东,庄毅.基于超结构的分布式系统的关联规则挖掘算法[J].小型微型计算机系统,2004,25(12):2143-2147.

[9] Vincent Dho, Beat Wuthrich. Distributed Mining of Classification Rules[J]. Knowledge and information,2002,4:1-30.

[10] S.Stolfo, Jam. Java Agent for Meta-learning over Distributed Databases[A]. In Proceedings 3rd Int Conf on Knowledge Discovery and Data Mining[C]. Menlo Park, CA:AAAI Press,1997:74-81.

[11] 吉根林,杨明,赵斌等.基于DDMINER分布式数据库系统中频繁项目集的更新[J].计算机学报,2003,26(10):1387-1392.

[12] R.Agrawal, R.Srikant. Privacy-Preserving Data Mining[A]. In Proceedings of the 2000 ACM SIGMOD Conference on Management of Data[C]. Dallas:ACM, May 2000:439-450.

[13] C.Clifton, M.Kantarcioglu, J.Vaidya. Defining Privacy for Data Mining. H.Kargupta, A.Joshi, K.Sivakumar eds. National Science Foundation Workshop on Next Generation Data Mining[R]. Baltimore, MD, Nov.2002:126-133.

[14] J.Arguello, S.Chakravarthy. Extensions to Decision Tree Algorithm for Classification and Data Mining in Large Databases[A]. In the Proceedings of XIII Simposio Brasiliero de Banco De Dados,Oct.1998:69-84.

[15] M.Z.Ashrafi, D.Taniar, K.Smith. ODAM: An Optimized Distributed Association Rule Mining Algorithm[J]. IEEE Distributed Systems Online, 2004,5(3):1-18.

[16] R.Wille. Restructuring Lattice Theory: An Approach Based on Hierarchies of Concepts[A]. In: Rival I(Eds.).Dordrecht:Reidel,1982:445-470.

[17]谢志鹏,刘宗田.概念格与关联规则发现[J].计算机研究与发展,2000,37(12):1415-21.

[18] Young Park.Software retrieval by samples using concept analysis[J].The Journal of Systems and Software,2000,54:179-183. [19] 汪丁丁.互补性、概念格、塔尔斯基不动点定理[J].经济研究,2001,11:84-95.

[20] 陈世权,程里春.模糊概念格.模糊系统与数学[J].2002,16(4):12-18.

二、研究方案

1、总体思路、研究目标、研究内容和拟解决的关键问题：

课题申请人及课题组成员近年来一直从事于知识发现、统计分析等相关领域的研究，具备了相关方向的工作积累；对本课题进行预研之后，形成了明确的研究思路和方法：拟采取理论创新与实验及实践验证相结合的研究思路，力争在理论上有创新、在验证方面有实验和实践应用保障。

具体的研究目标如下：

本课题将首先对不同的统计相关分析方法理论、粗糙集理论、贝叶斯模型理论等进行定性分析研究，建立与特定类型知识发现任务之间的内在联系；在此基础，结合已有研究进展，建立关联规则兴趣度度量模型，粗糙集和贝叶斯网络扩展模型，并进一步用实验定量验证模型在提高知识发现效率与知识质量方面的有效性。

研究内容：

第一部分 知识发现的内涵和特征

以现有的对数据挖掘理论、方法的认识为出发点，从统计学的角度全面考察知识发现问题的内涵与特征，包括知识发现面向超大规模数据库时产生的新的挑战；数据的污染和丢失、非数值数据的处理问题；数据挖掘的本质等内容。

第二部分 统计相关性分析方法在知识发现中的应用

以统计相关性理论为基础，研究剪枝知识规模的新途径、以及知识评价的新手段。具体包括研究统计相关性分析应用于关联规则挖掘的方法；研究影响关联规则兴趣度度量的因素；建立评价关联规则兴趣度的度量模型。

第三部分 粗糙集理论与Bayesian模型在知识发现中的应用

具体包括以粗糙集(Rough Sets)和贝叶斯(Bayesian)模型为知识和数据的表示工具，设计并实现基于粗糙集或贝叶斯模型的有效的分类规则提取方法；将基于粗糙集的分类规则挖掘方法应用于某大规模超市数据或银行数据，得出相应分类规则知识提供给用户，支持用户的决策过程。

第四部分 多元统计分析方法在知识发现中的应用研究

以在知识发现过程中引入领域知识为指导思想，借助多元统计分析方法，解决在实际分析中遇到多变量、高维空间时所产生的“维数祸根”等问题；研究领域知识在知识发现过程中的有效表示形式；研究在知识发现过程中引入领域知识以提高知识质量的方法和有效机制。

通过对上述几个方面问题的研究，达到：从统计学的角度全面、深刻地了解知识发现的内涵与特征，寻找统计分析方法应用于知识发现过程的切入点，建立统计分析方法与其它数据挖掘技术相结合的有效机制；建立基于统计相关性的关联规则兴趣度度量模型，并用实验验证该模型的正确性与有效性；研究基于粗糙集与Bayesian理论模型的知识发现有效策略、处理机制与方法，以及相应的知识优化机制与方法；研究在面向高维数据空间问题时，如何结合领域知识以达到降维目的的理论体系，并将其用于指导具体的知识发现过程。

拟解决的关键问题：

第一 知识兴趣度度量模型的建立是本课题的难题之一。影响度量模型效果的因素很多，度量模型设计的好坏直接影响到知识发现过程中产生的模式的规模和最终产生的知识的质量；一个好的度量模型不仅应能综合考虑各种主要影响因素，另一方面也要便于在知识发现系统中对该度量模型的算法实现。

第二 面向大规模数据库进行知识发现研究时，基于粗糙集与Bayesian理论模型的知识发现如何有效避免数据溢出，研究粗糙集与Bayesian理论模型解决不确定性问题的适用范围是本课题的难题之二。

2、拟采取的研究方法、技术路线、实验方案及可行性分析：

研究方法：对于本项目的研究，项目组在预研究的基础上将采用个人分工与集体合作相结合的项目研究管理办法，采取理论探索与实验验证交叉结合的研究思路。

技术路线：具体的技术路线是首先利用统计学学科的相关理论从统计学的角度全面、深刻地了解知识发现的内涵与特征，寻找统计分析方法应用于知识发现过程的切入点；其次，在此基础上，建立统计分析方法与其它数据挖掘技术相结合的有效机制；建立基于统计相关性的关联规则兴趣度度量模型，并用实验验证该模型的正确性与有效性；第三，研究基于粗糙集与Bayesian理论模型的知识发现有效策略、处理机制与方法，以及相应的知识优化机制与方法；第四，研究在面向高维数据空间问题时，如何结合领域知识以达到降维目的的理论体系，并将其用于指导具体的知识发现过程。

实验方案：本项目的实验方案是在理论探索创新的指导下，结合已有的研究成果；以小型机工作环境作为平台，研究验证基于统计学习理论的知识发现方法的正确性和有效性。

可行性分析：项目负责人及成员近年来一直从事数据库技术、数据挖掘等相关领域的研究、教学工作，在前期积累了较为雄厚的相关方面的研究成果。项目组在本项目的预研究阶段，对本项目的研究意义、国内外研究现状、研究内容、关键问题等进行了仔细、深入的预研究，明确了项目的研究目标、创新点，设计了合理的研究方案。项目组成员所在的单位亦为项目的研究提供了稳定、良好的研究环境。因此，在全体成员的共同努力，项目组一定能够按期、保质完成项目所规定的研究任务。

3、本项目的创新之处：

第一 知识兴趣度度量模型的建立。影响度量模型效果的因素很多，度量模型设计的好坏直接影响到知识发现过程中产生的模式的规模和最终产生的知识的质量；一个好的度量模型不仅应能综合考虑各种主要影响因素，另一方面也要便于在知识发现系统中对该度量模型的算法实现。

第二 研究粗糙集与Bayesian理论模型解决不确定性问题的有效方法。

4、年度研究计划及预期进展：

本课题在预研的基础上，课题组预计分五个阶段实施开展研究：课题启动、调研及资料收集阶段，资料整理、深化阅读阶段，论文撰写、算法实现阶段，调研验证、论文修改阶段，总结及申请、组织鉴定阶段。具体的进度安排如下： 第一阶段：2008年1月－2008年6月 课题启动、调研及资料收集阶段 召开课题组会议，正式启动课题的研究工作；研究课题的具体研究实施计划，确定人员分工；设计调研方案，开展国内外相关研究工作的调研工作，选择某大型超市或银行系统进行实地调查、明确用户对知识发现系统的实际需求；收集实验用原始数据，完成资料的收集工作。

第二阶段：2008年7月－9月 资料整理、深化阅读阶段

对资料进行整理、深化阅读，进行理论探索与创新；并完成实验数据的预处理和实验方案的设计工作。

第三阶段：2008年10月－2009年5月 论文撰写、算法实现阶段

召开课题组会议，总结、交流前一阶段的研究进展，在大规模数据集上实现统计分析模型算法，完成对理论的验证与分析工作；在此基础上撰写论文。

第四阶段：2009年6－10月 调研验证、论文修改阶段

进一步进行调研，补充在研究过程中发现的所缺信息，在实际商务活动中验证统计分析模型，修改、完善提出的理论、方法等，并进一步修改论文。

第五阶段：2009年11－12月 总结及申请、组织鉴定阶段

召开课题组会议，总结课题研究情况；邀请相关方面的专家对本课题的研究结论进行评估与鉴定。

5、预期研究成果：

系列论文：在国内外重要学术期刊和会议上发表系列论文，具体为：

(1) 统计相关分析方法应用于知识发现研究；

(2) 基于Bayesian模型扩展的知识发现研究；

(3) 多元统计分析方法应用于知识发现研究。