WEB文本海量数据挖掘应用中的多点数据采集及处理问题研究
文本数据挖掘一般过程
文本数据挖掘一般过程一、引言随着信息时代的到来，海量的文本数据成为了我们生活中不可或缺的一部分。
然而，如何从这些海量的文本数据中获取有价值的信息成为了一个挑战。
在这个背景下，文本数据挖掘应运而生。
本文将介绍文本数据挖掘的一般过程，以帮助读者更好地理解和应用这一技术。
二、数据收集文本数据挖掘的第一步是收集数据。
数据可以来自各种渠道，如互联网、社交媒体、新闻报道等。
在收集数据时，需要注意保护个人隐私和版权等法律问题。
三、数据预处理在进行文本数据挖掘之前，需要对数据进行预处理。
预处理包括以下几个步骤：1. 去除噪声：文本数据中常常包含一些无关紧要的信息，如标点符号、特殊字符等。
可以使用正则表达式等方法去除这些噪声。
2. 分词：将文本数据按照一定的规则进行分词，将句子分解为单词或短语。
分词是文本数据挖掘的基础，可以使用现有的分词工具或自行开发分词算法。
3. 去除停用词：停用词是指在文本中频繁出现但没有实际意义的词，如“的”、“是”等。
需要将这些停用词从文本中去除，以减小数据的维度。
4. 词干提取：将单词转化为其原始形式，如将“running”转化为“run”。
词干提取可以减少数据的维度，提高后续处理的效果。
四、特征提取特征提取是文本数据挖掘的关键步骤之一。
通过将文本数据转化为数值特征，可以方便地应用机器学习算法进行模型训练和预测。
常用的特征提取方法有：1. 词袋模型：将文本数据表示为一个词汇表和一个词频矩阵。
词袋模型忽略了词序和上下文信息，只关注词的出现频率。
2. TF-IDF：TF-IDF是一种用于评估词在文本中重要程度的方法，它考虑了词语在文本中的频率和在整个语料库中的频率。
3. Word2Vec：Word2Vec是一种将单词映射到低维向量空间的方法，它可以保留词语之间的语义关系。
五、模型训练与评估在特征提取之后，可以使用机器学习算法进行模型训练和预测。
常用的机器学习算法包括朴素贝叶斯、支持向量机、决策树等。
数据集成与数据挖掘中的常见问题与解决方案
数据集成与数据挖掘中的常见问题与解决方案数据集成和数据挖掘是现代信息技术中非常常见的两个概念。
数据集成是将不同来源、不同格式、不同结构的数据整合到一起，以便进行更深入的分析和洞察。
数据挖掘则是通过对大规模数据集的分析，发现其中的模式、关联和趋势，从而帮助做出更好的决策。
在数据集成和数据挖掘的过程中，可能会面临一些常见的问题，下面将逐一介绍这些问题并提供相应的解决方案。
首先，数据集成中常见的问题之一是数据质量问题。
不同数据源之间存在着数据格式不一致、数据缺失、数据冗余等问题，这会降低数据集成的质量。
解决这个问题的一个方法是通过数据清洗，即对数据进行去重、填充空值、纠正格式等操作。
另外，还可以通过数据验证和验证规则来保证数据的准确性和一致性。
其次，当数据集成涉及到海量数据时，数据存储和处理的效率成为一个问题。
处理大规模数据集时，传统的处理方式可能会面临存储空间不足和计算效率低下的困扰。
针对这个问题，我们可以利用分布式计算和存储技术，比如使用MapReduce模型来分布式处理大数据集。
同时，使用合适的数据压缩算法也可以减少数据存储的空间占用。
此外，数据集成过程中还可能面临数据安全和隐私保护的问题。
在整合不同数据源的同时，需要确保数据的安全性和隐私性，避免敏感信息的泄露。
解决这个问题的一种方法是使用数据加密技术，比如采用访问控制和身份验证机制来限制对数据的访问。
此外，还可以使用数据脱敏技术，对数据进行匿名化处理，以保护用户的隐私。
除了数据集成，数据挖掘过程中也存在一些常见的问题。
其中一个问题是特征选择。
在数据挖掘中，数据集通常包含大量的特征，而不是所有特征对于模型的预测能力都是有益的。
选择合适的特征可以提高模型的性能和解释能力。
为了解决这个问题，可以使用相关性分析、信息增益和特征重要性评估等方法，选择对目标变量有最大影响力的特征。
另一个常见的问题是数据不平衡。
在实际数据集中，不同类别的样本数量可能存在较大偏差，这会导致模型在预测少数类别时出现偏差。
第八章 文本挖掘与WEB挖掘
文本聚类与分类的不同在于,聚类没有预先定
义的主题类别,是一种典型的无教师的机器学 习问题.它的目标是将文档集合分成若干簇,且 同一簇内的文档相似度尽可能大.聚类的结果 可以用来指导分类.
文本挖掘与数据挖掘的区别
数据挖掘
研究对象 用数字表示的、结构化的数 据
文本挖掘
无结构或半结构化的文本
对象结构
对S集中的文档进行词条提取,去除停用词,然后统计词频,每
Байду номын сангаас
篇文档生成一个向量d 计算向量d中每个词条的互信息量,设置初始阈值k0(如0.75), 进行维数压缩 根据TFIDF公式计算每个词条的权值wi 生成特征向量表,每篇文档表示为向量 <t1,w1;t2,w2;,,tn,wn>,ti为特征项词条,wi为对应的权值. 对每一类中的特征项词条ti,计算其在该类所有文档特征向量 中权值的算术平均值wi,作为该词条在类别特征向量中的权值 构造类别特征向量c:<t,w;t,w;,,t,w>
XML等文档结构标准可帮助我们抽取作者、机构等特征，
但内容还是难以表示的特征，还是得借助自然语言处理 技术
矢量空间模型（VSM）
在ＶＳＭ中,我们将文本文档视为由一组词条(Ｔ1,Ｔ 2,…,Ｔｎ)构成,每一词条都赋以一定的权值Ｗｉ,从而每 一篇文档被映射为由一组词条矢量张成的向量空间中的 一个向量.文本的匹配问题便可转化为向量空间中的向 量匹配问题处理.
文本分类是指按照预先定义的分类体系,将文
档集合的每个文档归入某个类别.这样,用户不 但能够方便浏览文档,而且可以通过限制搜索 范围来使文档的查找更为容易.目前,Ｙahoo 仍然是通过人工对Ｗｅｂ文档进行分类,这大 大限制了其索引页面的数目和覆盖范围.可以 说研究文本分类有着广泛的商业前景和应用 价值.
面向大数据分析的数据采集与预处理方法研究
面向大数据分析的数据采集与预处理方法研究随着互联网和信息技术的快速发展，大数据已经成为了当今社会中不可忽视的重要资源。
在大数据时代，数据的采集和预处理是进行有效数据分析的关键步骤之一。
本文将重点探讨面向大数据分析的数据采集与预处理方法的研究，以帮助读者更好地理解和应用这些方法。
一、数据采集方法研究数据采集是从各种来源收集数据并将其整合到一个可分析的格式的过程。
在面向大数据分析的数据采集过程中，常用的数据采集方法有以下几种：1. 网络爬虫：通过网络爬虫程序自动从互联网上获取数据。
例如，使用Python编程语言中的Scrapy框架可以轻松实现爬取网页数据的功能。
2. 传感器技术：通过传感器收集实时的环境数据。
例如，气象传感器可以用于收集天气数据，GPS传感器可以用于获取位置数据等。
3. 社交媒体数据采集：通过监控和分析社交媒体平台上的数据，如Twitter、Facebook等，获取用户的言论、行为等信息。
4. 数据库查询：通过对现有的数据库进行查询和提取，获取需要的数据。
此方法适用于已经存储了大量数据的数据库系统。
以上方法仅是数据采集中常用的几种方法，可以视情况选择适当的方法进行数据采集。
在数据采集的过程中，需要考虑数据的质量，包括数据的完整性、准确性和一致性等方面。
二、数据预处理方法研究数据预处理是指在进行数据分析前，对采集的原始数据进行处理和清洗的过程。
由于大数据往往具有规模庞大和复杂多样的特点，因此需要对数据进行预处理，以提高后续分析的准确性和效果。
在面向大数据分析的数据预处理过程中，常用的数据预处理方法有以下几种：1. 缺失值处理：处理原始数据中存在的缺失值问题。
可以通过删除带有缺失值的样本、使用均值或中位数填补缺失值、使用机器学习算法填补缺失值等方法来处理。
2. 异常值处理：识别和处理数据中的异常值。
异常值可能导致分析结果的偏离和误导，因此需要将其进行处理。
可以使用统计方法或基于机器学习的方法来识别和处理异常值。
人工智能时代文本和数据挖掘的著作权问题研究
人工智能时代文本和数据挖掘的著作权问题研究随着人工智能技术的迅速发展和广泛应用，文本和数据挖掘成为了信息处理的重要手段。
然而，人工智能时代下的文本和数据挖掘所涉及的著作权问题也日益凸显。
本文将探讨人工智能时代文本和数据挖掘的著作权问题，并提出一些建议。
首先，我们需要明确文本和数据挖掘的著作权归属问题。
根据我国《著作权法》，著作权是对作品的创作权益的保护，但对于由人工智能生成的文本和数据挖掘结果，其创作主体并非人类，因此著作权归属问题存在一定争议。
一种观点认为，由于人工智能并非拥有法人身份，其生成的作品应归属于人工智能的开发者。
另一种观点则认为，由于人工智能生成的作品是在没有人类干预的情况下产生的，其应被视为无主的作品，即没有著作权人。
因此，需要明确对于人工智能生成的文本和数据挖掘结果的著作权归属问题进行立法明确。
其次，我们需要关注人工智能时代下的数据保护问题。
文本和数据挖掘所依赖的数据往往来自于大量的用户信息和公开数据，其中可能包含个人隐私信息。
对于这些数据的使用，我们需要建立明确的法律框架来保护用户的隐私权。
同时，对于人工智能生成的文本和数据挖掘结果的使用，也需要遵守相关的法律法规，确保其不侵犯他人的权益。
此外，人工智能时代下的文本和数据挖掘还面临着版权保护的问题。
在进行文本和数据挖掘的过程中，可能会涉及到大量的原创作品或已经存在的作品。
在使用这些作品时，需要遵守版权法的规定，确保在合法的情况下进行使用。
同时，对于人工智能生成的作品，也需要建立相应的法律框架，明确其版权保护的范围和条件。
针对上述问题，我们可以提出一些建议。
首先，针对人工智能生成的文本和数据挖掘结果的著作权问题，应制定相关法律法规进行明确。
其次，建立完善的数据保护法律框架，保护用户隐私权和个人数据。
再次，加强版权保护意识，加强对人工智能生成作品的版权保护。
最后，加强法律和技术手段的结合，确保人工智能时代下的文本和数据挖掘遵守法律规定。
大数据采集与预处理技术研究
大数据采集与预处理技术研究随着互联网的不断发展，人们日常生活中产生的数据量也越来越大。
而这些数据本身具备着极高的价值，可以为各行各业带来不同的发展机遇。
因此，如何高效地采集和预处理数据已成为当前大数据研究的热点之一。
一、大数据采集技术大数据采集是指从不同数据源中收集数据，旨在获得可用于分析的有价值的信息。
目前，大数据采集技术主要通过网络爬虫来实现。
其核心是通过一定的算法和技术，自动地从互联网上的不同网站，甚至是社交媒体和邮件中提取有价值的数据。
网络爬虫技术是一种基于网络协议以及数据传输和解析算法，从指定的数据源中快速抓取大量数据的技术。
其中主要包括四个步骤：1）确定采集的目标网站；2）确定采集的网页链接；3）爬取网页，并从中提取有价值的信息；4）存储数据为结构化数据。
网络爬虫技术的特点是能够自动化地完成大量数据的采集和处理，但也存在一些挑战。
例如，一些网站对爬虫进行了访问限制，需要采用一些技术手段绕过限制。
而一些网站则采取了人工反爬虫策略，需要通过技术手段准确模拟用户行为进行访问。
二、大数据预处理技术在大数据采集的过程中，数据通常具有不确定性、冗余性和噪音问题，需要经过预处理才能用于后续的分析和应用。
数据预处理的目标是提高数据质量、减少数据量，以及把数据转化为可分析的形式。
1. 数据清洗数据清洗是指通过一系列技术手段处理数据中的错误、不完整、不一致以及多余的信息，以便使其更具有参考和研究价值。
通过数据清洗技术，可以实现数据的去重、缺失值填充、异常值检测和处理以及格式转换等操作。
例如，对于销售记录数据里出现重复的记录，可以通过去重操作把重复记录合并成一条记录。
对于缺失或错误的数据，可以采取插值或替换等技术手段，补全或修正数据；对于噪音数据，可以采用平滑处理、滤波处理等手段进行有效处理。
2. 数据转换数据转换指将数据从原始状态转换为适用于特定数据结构或模型的状态，包括数据标准化、数据规范化、数据集成等技术。
大数据分析中的文本挖掘方法
大数据分析中的文本挖掘方法在当今信息爆炸的时代，海量的文本数据成为大数据分析的重要资源。
为了从这些文本数据中提取有用信息，我们可以运用文本挖掘方法。
本文将介绍大数据分析中常用的文本挖掘方法，包括词频统计、情感分析和主题建模。
一、词频统计词频统计是文本挖掘中最基本也是最常用的方法之一。
它通过计算文本中每个词出现的频率来进行分析。
词频统计可以帮助我们了解文本中的关键词汇，并发现一些重要的信息。
例如，在新闻数据中使用词频统计可以找出最常出现的关键词，帮助媒体了解当前舆论热点。
二、情感分析情感分析是一种用于确定文本中情感倾向的方法。
它可以识别文本中的积极、消极或中性情感，并评估文本的情感强度。
情感分析在社交媒体、产品评论等领域具有广泛的应用。
例如，在社交媒体上分析用户的评论可以帮助企业了解用户对产品的评价，进而改进产品设计和营销策略。
三、主题建模主题建模可以帮助我们从文本数据中提取出隐藏在其中的主题信息。
主题建模是一种无监督的学习方法，它可以将文本数据分为不同的主题，并计算每个主题在文本中的权重。
主题建模在新闻报道、社交媒体分析等领域具有广泛的应用。
例如，在社交媒体数据中应用主题建模可以发现用户讨论的热点话题，并根据这些主题进行精准的推荐。
四、实体识别实体识别是一种用于从文本中识别具体实体的方法。
它可以识别出人名、地名、组织机构等文本中的实体，并进行分类。
实体识别在舆情分析、金融数据分析等领域具有重要的应用价值。
例如，在舆情分析中通过实体识别可以追踪某个人、组织或事件在社交媒体上的讨论情况，从而及时捕捉到与其相关的信息。
五、关联分析关联分析是一种用于挖掘文本数据中关联关系的方法。
它可以通过分析大量文本数据中的共现性来寻找不同实体之间的关联。
关联分析在市场营销、推荐系统等领域有着广泛的应用。
例如，在电商平台中运用关联分析可以根据用户的购买记录推荐相关商品，提高用户购买体验。
综上所述，大数据分析中的文本挖掘方法包括词频统计、情感分析、主题建模、实体识别和关联分析。
挖掘与分析海量数据的技术和方法
挖掘与分析海量数据的技术和方法随着互联网的普及和信息化进程的不断发展，海量数据已成为当今社会普遍存在的一个现象。
海量数据来源广泛，包括互联网、物联网、传感器技术等等，这些数据蕴含着大量有价值的信息和知识，如果能够挖掘和分析这些数据，将会有很多的商业和社会价值。
因此，挖掘和分析海量数据的技术和方法正在被广泛关注和应用。
一、海量数据的挖掘和分析方法海量数据挖掘和分析方法可以分为三类：基于统计学的方法、基于机器学习的方法和基于深度学习的方法。
1.基于统计学的方法基于统计学的方法主要是通过概率分布、假设检验、回归分析、聚类分析等方法进行数据分析，例如对数据分布的探索分析、预测分析、异常检测等。
2.基于机器学习的方法基于机器学习的方法是使用机器学习算法从数据中发现潜在的规律和模式，例如分类、聚类、回归、神经网络等方法。
其中，聚类算法常常被用于无监督学习，而回归算法常常被用于有监督学习。
3.基于深度学习的方法基于深度学习的方法是在人工神经网络的基础上发展而来的,它通过对神经网络架构和参数的优化，可以对海量数据进行高效的识别和分类。
深度学习方法被广泛应用于图片处理、自然语言处理、语音识别等领域。
二、海量数据的挖掘和分析技术1.数据预处理技术数据预处理技术是挖掘和分析海量数据的重要步骤，其目的是为了清洗和优化数据。
数据预处理方法包括去重、缺失值填充、异常值处理、数据统一格式化等。
2.数据的可视化技术数据可视化技术是将数据经过处理后用图表、曲线等方式表现出来，以便更好地理解和分析数据。
常用的数据可视化技术包括分布图、直方图、散点图、折线图等。
3.数据挖掘和分析工具现在市场上的数据挖掘和分析工具比较多，包括SPSS、R、Python等等，这些工具提供了很多数据挖掘和分析算法以及数据可视化的方法，使用这些工具可以大大提高数据挖掘和分析效率。
三、海量数据挖掘和分析的应用海量数据的挖掘和分析对人类社会的发展有着重要的推动作用,在很多领域有着广泛的应用，如商业、医疗、生产等。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
曾锡 山
（ 华南 师范大学计算机学院
摘 要
胡俊荣
（ 华南师范大学 图书馆 广州 ５ ０ ３ ） １６ １
广州 ５０ ３ ） １６ １
对 海量数据采集与挖掘技 术的问题 ， 出如何利 用 ＷＥ 提 Ｂ文本进行 多断点控 制、 并发采集、 网上 清洗等新技
术 方 法进 行 海量 数 据 采 集 及 处 理 ， 建 了基 于 ＷＥ 构 Ｂ文本 海量 数 据 挖 掘 的 应 用 统计 系统 ， 现 了三 千 多 万 条 原 始 数 实
互联网信 息通常 只是作 为信 息发 布 ， 据格式 不 数
统一也不规范 ， 必须经过 比较复杂 的处理才能使用 ， 本
文针对科研统计课题研究所涉及数据处理过程和理论 研究 ， Ｗｅ 对 ｂ文本 数据挖 掘 的处 理过 程进行 说 明， 重
量 的较准确的原始数据 ， 数据 统计 的效果 或可信度不
的多点采集方法 、 文本数据 的清洗 、 缺失数据补全与恢 复、 数据分类等 。
收稿 １ ： １ — ３ ０ ３ ２ ０ ０— ７ 期 ０ 修回 １ ： １ — ５ ０ ３ ２ ０ ０— ７ 期 ０
算法。这类方法具有学 习速度快 的优点 ， 但其 主要缺
基金项 目： 东省软科学基金项 目“ 广 改革开放 ３ Ｏ年广东省科技投入产出科学计量学研究” 编号 ：０ ９ ０ ０ ０ １ ７ 的研究成果之一。 （ ２ ０ Ｂ ７ ３ ００ ）
理； 随着 计算机应用和互联网的广泛使用 ， 采用 的方法
是从 网上人工下 载或转换 ， 下载 时把 数据转换 成 Ｘ Ｓ Ｌ
文件或其他统计数据格式。 传统 方法数 据处 理是 采用 手工 或半 手工 方式 进 行， 无论从数据采集 的效 率 、 数据 的质量 、 数据 的数量 上都存在缺点 ， 其表现 如下 ：． ａ 采集数 据率低 ； 据样 数 本数量少 ；． 以进行 巨量数据采集 ， ｂ难 因此 只能采用部
种有效 的方法 ： 利用互联 网作 为途径 ， 实现 ＷＥ Ｂ海量
１传统 的统计 方法
数据处理过 程 的传 统 统计方 法 主要包 括数 据采
集、 数据录入 、 据整理和数据统计 分析等方式。 数 数据采集是数据统 计 的主要工作 ， 早期 数据采集
一
般通过某些机构或部 门获得 ， 用他们 的数 据来处 利
据 的采 集 、 转换 、 计 。 统
关键词
ＷＥ Ｂ挖掘
文本挖掘
海量数据
数据转换 Ａ
网上清洗 文章编号 １０ — ９５ ２ １ ）８ ０ ３ — ５ ０ ２ １６ （０ ０ ０ — １１ ０
中图分类号
Ｔ２４ Ｐ７
文献标识码
０ 引言
随着互联 网的广泛应 用 ， 信息 统计研究部 门改变 了以往依靠手工、 张、 纸 报表来 获取信息 的传统方 式 ， 采用方便 的 Ｗｅ 法来获 取所需 数据 …。本 文主要 ｂ方 是讨论 如何利用互联网来获取科研 统计 原始数据 ， 为 相关信息统计部 门或数据仓库 的研究提供参考。 准确样本数据是统计 的关键 ， 样本数据量越大 ， 统 计出来 的结果可信度越高 、 数据也越可靠 ； 如何获得大 量原始数据是统计部 门的一项繁重工作 。本文提 出一
点是匹配的只是字符 的外 在表现 ， 而不 是其表达 的意
义， 因而页面采集的准确率较低 ， 且不能实现多台机器
的并行采集 。
针对传统数据处 理方法 的缺陷 ， 需要 构建一套基
于 ＷＥ Ｂ文本海量数据的多点采集系统 ， 用于对整个数
据统计过程进行分析处理 ， 以便提高数据采集、 数据转
作者简介 ： 曾锡山（ ９５ ） 男 ， 师 ， １６ － ， 讲 研究方向是数据库系统应用 和数据挖掘 ； 胡俊荣（９ ６ ） 女 ， １５ 一 ， 硕士 ， 馆员 ， 究方向为参考咨询 、 研 文献计
量学 。
・
１２・ ３
情
报
杂
志
表 １ 采集 环 境 参 数 表结 构
第２ ９卷
分样本数据进行统计 ； 数据转换耗时易错 ； 数据规范困 难 。数据量大 ， 要补 缺少数 据 ， 对 数据分 类 比较 困 或 难， 数据难 以统一处理 ； 数据统计准确率低 。没有足够
文本多点下载的方法下载数 据 ， 使用修 正的数据 清洗
和转换技术 ， 可以有 效地从互联 网上获取 统计所需 大 量原始数据 。
第２ ９卷 第 ８期
２１ ００年 ８月
情 报
杂
志
Ｊ ＯＵＲＮＡＬ ＮＴ Ｕ ＧＥＮＣＥ ＯＦ Ｉ ＥＬ
Ｖｏ ． ９ Ｎ ． １２ ｏ掘 应 用中的多点
数 据 采 集 及处 理 问题 研 究
Ｒｅ ｅ ｒ ｈ ｏ ｕ ｔ－Ｐｏ ｎｔＤａ ａ Ｃｏ ｌ ｃ ｉ ｎ ｏ ｅ ｓｎｇ ｉ ｈ ａ ｓｖ ｓ ａ ｃ ｆ Ｍ ｌｉ ｉ ｔ ｌｅ ｔｎｇ ａ ｄ Ｐｒ ｃ ｓ ｉ ｎ ｔ ｅ Ｍ ｓ ｉ ｅ Ｗ ｅ ｔ ｘ ｉ ｉ ｇ Ａｐｐ ｉａ ｉ ｎ ｂ－ ｅ ｔ Ｍ ｎ ｎ ｌｃ ｔｏ
能达到满意的效果 。
点讨论 Ｗｅ ｂ文本数 据挖掘 中文本 采集及 处理 功能 的
实现 ， 包括文本的采集 源的设置 、 滤器 的设 置 、 过 文本
虽然 目前 已有很 多基 于 Ｗｅ ｂ文本信 息 的数 据收 集方法的研究 ， 一 但其 研究的侧重点 都是单 台机器
上实现的基 于关键字字符匹配的页面过滤采集方面的
换、 数据统计的效率。我们将 以科 研统计方 面的应用
进 行 阐述 。
２ 构 建基于 Ｗｅ ｂ文本 数据挖 掘科 研数 据采 集与 处 理 系统
基于 Ｗｅ 文 本数据挖 掘科研 数据采集 与处 理系 ｂ 统利用计算机 自动实现数据采集 、 数据转换 、 数据统计 与分析 。系统可 以解决传 统系统样本 数据少等 缺点。 计算机进行数据统计处理 时， 数据记录量越多 、 数据越 规范 、 数据越准确 ， 统计效果 就越好 、 统计 数据更 能准 确反映数据所表现的真实情况 。 Ｗｅ ｂ文本数 据挖 掘科研 数据 统计 系统 包括 数据 采集设置 、 多点数据采集 、 数据清洗 、 数据转换、 数据规 范、 统计树生成 、 统计处理等步。如 图 １ 所示 ：