大数据及数据挖掘方法
大数据挖掘——数据挖掘的方法
大数据挖掘——数据挖掘的方法数据挖掘是指从大量的数据中发现潜在的有价值的信息和知识的过程。
它是一种通过分析数据来提取模式、关联、趋势和规律的技术。
在大数据时代，数据挖掘变得尤其重要，因为大量的数据需要被处理和分析，以揭示其中蕴含的有价值的信息。
数据挖掘的方法有多种，下面将详细介绍其中几种常用的方法：1. 关联规则挖掘：关联规则挖掘是一种用于发现数据集中项之间的关联关系的方法。
它通过分析数据集中的项集，找出它们之间的关联规则。
例如，在一个超市的销售数据中，我们可以挖掘出“购买尿布的人也会购买啤酒”的关联规则。
这个规则可以匡助超市进行商品摆放策略的优化。
2. 分类与预测：分类与预测是一种用于根据已知数据的特征，对未知数据进行分类或者预测的方法。
它通过构建分类器或者预测模型，来对数据进行分类或者预测。
例如，在一个电商平台的用户数据中，我们可以根据用户的购买历史、浏览记录等特征，构建一个用户分类模型，用于预测用户的购买意向。
3. 聚类分析：聚类分析是一种用于将数据集中的对象划分为不同的组或者簇的方法。
它通过计算数据对象之间的相似性，将相似的对象归为同一组。
例如，在一个社交媒体平台的用户数据中，我们可以利用聚类分析将用户划分为不同的兴趣群体，以便为其提供个性化的推荐服务。
4. 异常检测：异常检测是一种用于发现与正常模式不符的数据对象的方法。
它通过分析数据对象的特征，找出那些与正常模式差异较大的对象。
例如，在一个网络安全监控系统中，我们可以利用异常检测方法来发现网络中的异常行为，以及潜在的安全威胁。
5. 文本挖掘：文本挖掘是一种用于从大量的文本数据中提取实用信息的方法。
它可以通过分析文本中的关键词、主题等特征，来挖掘文本中隐藏的知识和情感。
例如，在社交媒体上的用户评论数据中，我们可以利用文本挖掘方法来分析用户对某个产品的评价，以及产品在市场中的声誉。
以上仅是数据挖掘的几种常用方法，实际上还有不少其他的方法，如时间序列分析、回归分析等。
大数据挖掘——数据挖掘的方法
大数据挖掘——数据挖掘的方法数据挖掘是指通过对大量数据进行分析和挖掘，发现其中隐藏的模式、关联和规律，从而提取有价值的信息和知识的过程。
在大数据时代，数据挖掘成为了一种重要的技术手段，可以帮助企业和组织发现商业机会、优化决策、改进运营等。
数据挖掘的方法有很多，下面将介绍几种常见的方法。
1. 关联规则挖掘：关联规则挖掘是通过分析数据集中的项集之间的关联关系，发现其中的规律和模式。
常用的关联规则挖掘算法有Apriori算法和FP-Growth算法。
例如，通过分析超市的购物数据，我们可以发现“购买尿布的顾客也会购买啤酒”的关联规则，进而可以采取相应的营销策略。
2. 分类与预测：分类与预测是通过对已知数据集进行学习，构建模型，然后对未知数据进行分类或预测。
常用的分类与预测算法有决策树、朴素贝叶斯、支持向量机等。
例如，通过分析客户的个人信息和购买记录，我们可以构建一个客户分类模型，根据新客户的信息预测其可能的购买行为。
3. 聚类分析：聚类分析是将数据集中的对象划分为若干个类别，使得同一类别内的对象相似度高，不同类别之间的相似度低。
常用的聚类算法有K-means算法和层次聚类算法。
例如，通过对用户的行为数据进行聚类分析，我们可以发现不同类型的用户群体，为精准营销提供依据。
4. 异常检测：异常检测是通过分析数据集中的异常值，发现其中的异常模式和趋势。
常用的异常检测算法有基于统计的方法和基于机器学习的方法。
例如，在金融领域，通过对交易数据进行异常检测，可以及时发现欺诈行为。
5. 文本挖掘：文本挖掘是通过对大量的文本数据进行分析和挖掘，提取其中的主题、情感、关键词等信息。
常用的文本挖掘算法有词频统计、主题模型、情感分析等。
例如，通过对社交媒体上的用户评论进行情感分析，可以了解用户对产品或服务的满意度。
6. 时间序列分析：时间序列分析是对按时间顺序排列的数据进行建模和预测。
常用的时间序列分析方法有ARIMA模型、指数平滑法等。
大数据时代的数据挖掘方法以及应用
大数据时代的数据挖掘方法以及应用摘要：随着大数据技术的蓬勃发展，互联网已经渗透到各行各业的方方面面，无所不在。
其中，大数据处理技术是现代信息技术中最重要的组成部分之一，其主要功能就是对海量的信息进行快速处理，以便于人们及时了解当前世界的动态与未来发展趋势。
大数据技术的应用可以显著提升各类数据的利用效率，同时也为个人和企业的发展提供了可靠的科学支持。
目前，我国已经进入了大数据时代，人们对于数据分析与处理的能力提出更高需求，因此，数据挖掘技术被广泛运用于各个领域中，极大地推动着社会经济发展。
探究数据挖掘技术在大数据时代的应用，要求相关从业人员熟练掌握并运用数据挖掘技术，以降低工作成本的同时提高工作效率，为社会的长期稳定发展打下坚实基础。
关键词：大数据后台；数据挖掘；技术应用前言随着信息社会的迅猛发展，大数据技术、云计算技术和物联网技术层出不穷，这些技术在人们的日常生活中产生了大量的数据，从而推动社会进入了大数据时代[1]。
在这样的时代背景下，人们对数据分析的要求越来越高，同时对大数据技术的依赖程度也逐渐加深。
随着时代的发展，数据和信息的规模和数量呈现出显著的增长趋势，这也使得挖掘和应用的复杂度不断攀升。
数据挖掘技术就是通过对大量的数据进行分析和处理后得到有用的知识或者是规律，并将这些知识或规律用于指导实践活动，从而达到帮助企业获得竞争优势的目的。
提升挖掘数据信息的便捷性离不开数据挖掘技术的关键作用，这一技术的重要性不言而喻。
1大数据时代的数据挖掘技术数据挖掘的核心在于对数据源进行深入分析和研究，从中提炼出具有实际价值和深远意义的信息[2]。
目前企业信息化建设越来越重要，而随着信息技术的发展，大量的数据也随之产生。
由于数据库规模庞大，数据量巨大，因此在信息挖掘和传输过程中，必须进行早期检测以确保数据资源的有效管理、充分利用和合理配置。
企业要想提高工作效率就必须加强对数据的管理与维护，而数据质量又直接关系到数据的使用效果。
大数据挖掘——数据挖掘的方法
大数据挖掘——数据挖掘的方法概述：数据挖掘是从大量的数据中发现隐藏在其中的有用信息和模式的过程。
大数据挖掘是在大规模数据集上进行数据挖掘的一种技术。
本文将介绍几种常用的数据挖掘方法，包括关联规则挖掘、分类算法、聚类算法和预测算法。
一、关联规则挖掘关联规则挖掘是一种发现数据集中项之间关联关系的方法。
通过分析数据集中的项集，可以找到经常同时出现的项之间的关联规则。
关联规则挖掘常用于市场篮子分析、购物篮分析等场景。
例如，在超市购物数据中，我们可以通过关联规则挖掘发现“牛奶”和“面包”经常一起购买。
二、分类算法分类算法是一种根据已有的数据集对新数据进行分类的方法。
通过对已有数据集进行学习，分类算法可以建立一个分类模型，然后使用该模型对新数据进行分类。
常用的分类算法包括决策树、朴素贝叶斯、支持向量机等。
例如，在电子邮件分类中，我们可以使用分类算法将邮件分为垃圾邮件和非垃圾邮件。
三、聚类算法聚类算法是一种将数据集中的对象分成不同组的方法。
聚类算法通过计算数据对象之间的相似度或距离，将相似的对象分为同一组。
常用的聚类算法包括K均值算法、层次聚类算法等。
例如，在市场细分中，我们可以使用聚类算法将顾客分成不同的群体，以便进行精准营销。
四、预测算法预测算法是一种根据已有的数据集对未来数据进行预测的方法。
预测算法通过分析已有数据的趋势和规律，建立一个预测模型，然后使用该模型对未来数据进行预测。
常用的预测算法包括线性回归、时间序列分析等。
例如，在销售预测中，我们可以使用预测算法对未来的销售额进行预测。
五、数据挖掘流程数据挖掘的方法通常包括以下几个步骤：1. 数据准备：收集和清洗原始数据，包括去除重复数据、处理缺失值等。
2. 特征选择：选择对目标变量有影响的特征，排除无关特征，以提高模型的准确性和效率。
3. 数据变换：对数据进行变换，以满足模型的要求，如对连续变量进行离散化、标准化等。
4. 模型选择：选择合适的数据挖掘方法和算法，根据具体问题进行选择。
大数据环境下的数据挖掘方法与技巧
大数据环境下的数据挖掘方法与技巧随着科技的发展和互联网的普及，大数据已经成为当今社会中不可忽视的一部分。
大数据的产生和积累给我们带来了许多机遇和挑战。
在这个大数据环境下，数据挖掘成为了一项重要的技术，它可以帮助我们从海量的数据中提取有用的信息和知识。
数据挖掘是一种通过分析大规模数据集，发现其中潜在模式、关联规则和趋势的过程。
在大数据环境下，数据量庞大，对数据挖掘的方法和技巧提出了更高的要求。
下面将介绍几种大数据环境下常用的数据挖掘方法和技巧。
首先，数据预处理是数据挖掘的重要一环。
在大数据环境下，数据的质量往往参差不齐，包含噪声和缺失值。
因此，对数据进行清洗和预处理是必不可少的。
数据清洗包括去除重复数据、处理缺失值和噪声等。
数据预处理还包括数据变换和规范化，以便进行后续的分析和挖掘。
其次，关联规则挖掘是大数据环境下常用的数据挖掘方法之一。
关联规则挖掘可以帮助我们发现数据集中的频繁项集和关联规则。
通过发现数据集中的关联规则，我们可以了解不同属性之间的关系，从而做出更准确的决策。
在大数据环境下，关联规则挖掘需要处理更大规模的数据集，因此需要使用高效的算法和技术来提高挖掘的效率。
另一种常用的数据挖掘方法是聚类分析。
聚类分析可以将数据集中的对象分成若干个类别，相似的对象被归为一类。
在大数据环境下，聚类分析可以帮助我们发现数据集中的潜在模式和群组。
通过聚类分析，我们可以对大规模数据集进行分析和理解，从而更好地把握数据的特征和规律。
此外，分类和预测是大数据环境下常用的数据挖掘方法之一。
分类是一种通过训练数据集，建立分类模型，将新的数据对象分到不同类别的过程。
预测则是通过已有的数据和模型，对未来的数据进行预测和推断。
在大数据环境下，分类和预测可以帮助我们从海量的数据中提取出有用的信息和知识，为决策提供支持。
最后，文本挖掘是大数据环境下的另一个重要领域。
随着互联网的发展，大量的文本数据被产生和积累。
文本挖掘可以帮助我们从文本数据中提取有用的信息和知识。
大数据技术中的数据挖掘和分析方法
大数据技术中的数据挖掘和分析方法随着互联网和数字化时代的到来，大数据技术成为一个热门话题。
大数据技术包括数据收集、存储、处理和分析等多个方面。
其中，数据挖掘和分析是非常重要的组成部分。
本文将从数据挖掘和分析的方法入手，探讨大数据技术在这方面的应用。
一、数据挖掘的方法数据挖掘是通过自动或半自动的方式，挖掘数据中价值信息的过程。
数据挖掘涉及的多个方面，包括数据预处理、特征选择、模型建立和模型评估等。
下面，我们就分别来看看这几个方面在数据挖掘中的具体应用。
1. 数据预处理数据预处理是数据挖掘中至关重要的一步。
它包括对数据进行清洗、过滤、整合等处理，以达到准确、可靠的分析结果。
数据清洗是指去除噪声数据、填充缺失值、剔除异常值等操作，以保证数据质量。
数据过滤是指根据数据的特征进行筛选，保留对研究有利的数据。
数据整合是将多个数据源进行整合，达到有效利用各数据之间价值信息的目的。
2. 特征选择特征选择是指从原始数据中找出与研究问题有关的特征，去除无用数据，从而简化数据集并提高分类器性能。
特征选择的方法有很多种，包括卡方检验、相关系数、主成分分析等。
在选择特征的过程中，要分析不同特征对数据挖掘的作用，以确定哪些特征可以被保留。
3. 模型建立模型建立是指根据特定的目标和需求来选择最适合的算法，对数据进行分类、聚类、预测等任务。
常用的模型有决策树、神经网络、支持向量机等。
在选择模型时，要根据数据类型和任务性质来选择合适的算法，以提高数据挖掘的效果和准确率。
4. 模型评估模型评估是指对建立的模型进行验证和检验，评估其性能和优劣。
评估方法包括交叉验证、ROC曲线、混淆矩阵等。
在进行模型评估的过程中，要根据数据挖掘的目标和需求来确定评估指标，以便对模型进行优化和改进。
二、数据分析的方法数据分析是针对大量数据进行统计分析、数据显示和建模的过程。
数据分析的目的是为了从数据中发现模式和趋势，并帮助人们做出更好的商业决策。
下面，我们就从数据分析中的常用方法和技术入手，探讨数据分析在大数据技术中的应用。
大数据挖掘——数据挖掘的方法
大数据挖掘——数据挖掘的方法数据挖掘是一种从大量数据中发现隐藏模式、关联和趋势的过程。
它可以帮助企业和组织从数据中获取有价值的信息，以支持决策和战略规划。
在大数据时代，数据挖掘变得尤为重要，因为大量的数据需要被分析和利用。
数据挖掘的方法有多种，下面将详细介绍几种常用的方法：1. 聚类分析：聚类分析是将相似的数据对象分组到一起的过程。
它通过计算数据对象之间的相似性度量，将数据划分为不同的群组。
聚类分析可以帮助发现数据中的潜在模式和群组结构，为数据分析提供基础。
例如，一个电子商务公司可以使用聚类分析来将顾客分成不同的群组，以便更好地了解他们的购买行为和偏好。
这样，公司可以有针对性地制定营销策略，提供个性化的推荐和优惠。
2. 关联规则挖掘：关联规则挖掘是寻找数据中的相关性和关联性的过程。
它通过分析数据中的频繁项集和关联规则，发现不同项之间的关联关系。
关联规则挖掘可以帮助企业发现产品之间的关联性，从而进行交叉销售和推荐。
例如，一个超市可以使用关联规则挖掘来找出顾客购买某种商品时通常会购买的其他商品。
这样，超市可以将这些商品放在一起展示，提高销售量。
3. 分类与预测：分类与预测是根据已有的数据样本，建立模型来预测新数据的类别或数值的过程。
它通过分析已有数据的特征和标签，训练出一个分类器或预测模型，然后用这个模型对新数据进行分类或预测。
例如，一个银行可以使用分类与预测方法来预测客户是否会违约。
银行可以根据客户的历史数据，如收入、负债情况、信用评分等，建立一个预测模型，用于判断新客户是否有违约的风险。
4. 文本挖掘：文本挖掘是从大量的文本数据中提取有用的信息和知识的过程。
它可以帮助企业和组织理解用户的意见和情感，发现关键词和主题，进行舆情分析和情感分析。
例如，一个社交媒体平台可以使用文本挖掘方法来分析用户的帖子和评论，了解用户对某个话题的态度和情感。
这样，平台可以根据用户的反馈，优化产品和服务。
5. 时间序列分析：时间序列分析是研究时间上的数据变化规律的过程。
大数据与数据挖掘
大数据与数据挖掘概述：大数据与数据挖掘是当今信息时代的重要领域，它们的应用范围广泛，包括商业、医疗、金融等多个领域。
本文将详细介绍大数据与数据挖掘的概念、应用、技术和未来发展趋势。
一、概念：1. 大数据：大数据是指规模庞大、类型多样的数据集合，无法用传统的数据处理工具进行管理、处理和分析。
大数据的特点包括“3V”：数据量大（Volume）、数据速度快（Velocity）和数据种类多（Variety）。
2. 数据挖掘：数据挖掘是从大数据中发现并提取出实用的信息和知识的过程。
它利用统计学、机器学习和人工智能等技术，通过分析数据集中的模式、关联和趋势，揭示数据暗地里的规律和价值。
二、应用：1. 商业领域：大数据与数据挖掘在商业领域的应用非常广泛。
例如，通过分析消费者的购买历史和行为模式，企业可以进行精准的市场定位和个性化推荐，提高销售额和客户满意度。
此外，大数据还可以匡助企业进行风险管理、供应链优化和运营效率提升等方面的工作。
2. 医疗领域：大数据与数据挖掘在医疗领域的应用可以匡助医生进行疾病预测、诊断和治疗方案选择。
通过分析大量的医疗数据，包括病历、影像和基因数据等，可以提高医疗决策的准确性和效率，改善患者的治疗效果和生存率。
3. 金融领域：在金融领域，大数据与数据挖掘可以匡助银行和金融机构进行风险评估和欺诈检测。
通过分析客户的交易记录和行为模式，可以识别出潜在的风险和异常行为，保护客户的资金安全和金融市场的稳定。
三、技术：1. 数据采集与存储：大数据的处理首先需要进行数据的采集和存储。
常用的数据采集方式包括传感器、社交媒体、日志文件等，而数据存储可以选择传统的关系型数据库或者分布式文件系统等。
2. 数据清洗与预处理：由于大数据的来源多样和规模庞大，数据中往往存在噪声、缺失值和异常值等问题。
因此，在进行数据挖掘之前，需要进行数据清洗和预处理，包括去除噪声、填补缺失值和处理异常值等。
3. 数据分析与建模：数据分析和建模是数据挖掘的核心环节。
- 1、下载文档前请自行甄别文档内容的完整性，平台不提供额外的编辑、内容补充、找答案等附加服务。
- 2、"仅部分预览"的文档,不可在线预览部分如存在完整性等问题,可反馈申请退款(可完整预览的文档不适用该条件!)。
- 3、如文档侵犯您的权益，请联系客服反馈,我们会尽快为您处理(人工客服工作时间：9:00-18:30)。
山东科技大学本科毕业设计（论文）题目大数据及数据挖掘方法学院名称数学与系统科学学院专业班级统计学10学生姓名周广军学号201001051633指导教师高井贵二0一四年六月大数据及数据挖掘方法摘要随着计算机技术的革新，互联网新媒体的快速发展，人们的生活已经进入高速信息时代。
我们每天的生活都要产生大量数据，因此我们获取数据的速度和规模不断增长，大量数据不断的被存入存储介质中形成海量数据。
海量数据的存储、应用及挖掘已成为人们研究的重要命题。
数据挖掘是从存放在数据库、数据仓库或者其他信息库中大量的不完全的有噪声的模糊的随机的数据中提取隐含在其中的人们事先未知、但潜在有用的信息和知识过程。
表现形式为：规则、概念、规律及模式等。
数据挖掘是一门广义的交叉学科，从一个新的角度把数据库技术、人工智能、统计学等领域结合起来，从更深层次发掘存在于数据内部新颖、有效、具有潜在效用的乃至最终可理解的模式。
在数据挖掘中，数据分为训练数据、测试数据、和应用数据。
数据挖掘的关键是在训练数据中发现事实，以测试数据作为检验和修正理论的依据，把知识应用到数据中去。
本文首先说明了大数据的概念及兴起与发展历程，然后介绍各种主流的数据分析挖掘方法。
关键词：大数据数据挖掘数据分析方法AbstractWith the development of computer technology, the rapid development of Internet and new media, people's life has entered the information era. Our everyday life is to have a large amount of data, so we get the growing data speed and scale, a large amount of data have been stored in the form of mass data storage medium.The storage, application and mining massive data has become an important proposition that people study.Data mining is stored in the database from the data warehouse, or other information in the library a lot of incomplete, noise fuzzy random data in which the extraction of implicit previously unknown, but potentially useful information and knowledge process. Manifestation: the rules, concepts, rules and patterns. Data mining is a crossed subject, database technology, artificial intelligence, statistics and other fields together to from a new point of view, from a more deep excavation in data within a novel, effective, with potentially useful and ultimately understandable patterns. In data mining, data is divided into training data, test data, and the application of data. The key to data mining is fact finding in the training data, the test data as test and modify the theory basis, the application of knowledge to the data.This paper firstly illustrates the concept and the rise and development of large data, and then introduce various mainstream data mining method.Keywords: large data data mining method of data analysis目录大数据及数据挖掘方法 (1)摘要 (1)Abstract (2)目录 (3)1 大数据的缘起 (1)1.1“大数据”的提出 (1)1.2大数据概念、特征及价值 (2)1.2.1大数据的概念 (2)1.2.2大数据的特征 (3)1.2.3大数据的价值 (4)1.3大数据形成的必然性 (5)1.4大数据发展现状 (7)(一)政府积极介入推动 (8)(二)资本市场也对大数据钟爱有加 (8)(三)人才需求巨大 (8)(四)国内情况 (9)2大数据的处理 (10)3数据挖掘方法 (12)3.1神经网络 (12)3.1.1人工神经网路基本介绍 (12)3.1.2设计神经网路结构 (15)3.1.3概率式学习 (17)3.1.4神经网路方法优缺点 (17)3.2遗传算法 (18)3.2.1遗传算法特点 (18)3.2.2遗传基本算法 (20)3.2.3遗传算法优缺点 (23)3.3决策树方法 (24)3.3.1决策树表示法 (24)3.3.2决策树构造思想 (25)3.3.3决策树方法优缺点 (26)3.4关联规则 (27)3.4.1关联规则基本原理 (27)3.4.2关联规则算法Apriori算法 (28)3.5粗糙集 (30)3.5.1粗糙集理论 (31)3.5.2基于属性重要性算法 (31)3.5.3粗糙集方法优缺点 (32)4大数据面临的挑战1大数据集成 (32)2大数据分析(analytics ) (33)3大数据处理与硬件的协同 (35)参考文献 (37)1 大数据的缘起随着信息技术的高速发展、数据库管理系统的广泛应用，人们积累的数据量急剧增长，大量的信息给人们带来方便的同时，也带来了诸如：信息过量难以消化，信息真假难以辨识，信息安全难以保证，信息形式不一致难以统一处理等问题。
如何从海量的数据中提取有用的知识成为当务之急。
数据挖掘就是为顺应这种需要应运而生发展起来的数据处理技术。
大数据问题成为近两年信息技术学术界与产业界热论的焦点。
1.1“大数据”的提出大数据一词，最早出现于20世纪90年代，当时的数据仓库之父Bill Inmon，经常提及Big Data。
2011年5月，EMC公司在美国拉斯维加斯举办了第11届EMC World年度大会，设定的主题为“云计算相遇大数据”，大会正式提出了“大数据”(Big Data)概念。
随后，IBM和麦肯锡等众多国外机构发布了“大数据”相关研究报告，阐述了大数据的特征，给社会经济发展带来的机遇和对当前信息技术的挑战。
可以预测，大数据将成为继云计算和物联网之后，信息技术产业又一次颠覆性的技术变革。
在学术界，国际顶级期刊《Nature》和《Sciences》近期针对大数据分别出版了专刊《Big Data))和《Deal-ing with Data》，从互联网技术、互联网经济学、超级计算、环境科学、生物医药等多个方面讨论了大数据处理面临的各种问题。
2012年8月12 ~16日在北京举办的第18届知识发现与数据挖掘(KDD)国际会议，大数据成为重要议题，其暑期培训班(KDD Summer School on Mining the BigData)和专家论坛(Panel Discus-lion)都是集中讨论大数据问题。
2011年11月26日，中国软件开发联盟(CSDN)在北京成功举办了中国大数据技术大会。
为推动大数据这个交叉学科的发展，中国计算机学会(CCF)成立了大数据专家委员会(CCF Big Data Task Force，简称CCF TFBD)。
大数据的机遇与挑战己经从商业领域上升到国家战略层面。
2012年3月29日，美国政府发布了“大数据研究和发展倡议”。
随后，美国国家科学基金委员会(NSF）、美国国家卫生研究院(NIH）、美国能源部（DOE）、美国国防部(DODO）、美国国防部高级研究计划局(DARPA)、美国地质勘探局(USGS)六个部门联合推出了大数据计划，旨在提升从大量复杂数据中获取知识和洞见的能力。
为探讨中国大数据的发展战略，由中国科学院计算技术研究所牵头，2012年5月22 ~ 24日在北京成功举办了以“网络数据科学与工程一一门新兴的交叉学科?”为主题的第424次香山科学会议，与会国内外知名专家学者为中国大数据发展战略建言献计。
2012年8月14 ~15日，中国科学院启动了“面向感知中国的新一代信息技术研究”战略性先导科技专项，任务之一是研制用于大数据采集、存储、处理、分析和挖掘的未来数据系统。
信息时代万物数化，大数据的重要性己成行业共识，针对大数据技术和应用的创新，其发展趋势不可阻挡。
如何对大数据进行充分和有效的分析和挖掘，使之转换为有价值的信息和知识，用于解决各种各样的科学和应用问题，成为大数据时代信息技术发展的重大挑战，同时也是信息技术创新的新的制高点。
1.2大数据概念、特征及价值1.2.1大数据的概念广义的大数据概念，除了大数据技术及其应用之外，还包括大数据工程和大数据科学。
大数据工程，是指大数据的规划建设运营管理的系统工程。
大数据科学，主要关注大数据网络发展和运营过程中发现和验证大数据的规律及其与自然和社会活动之间的关系。
从概念外延上讲，大数据可分成大数据技术、大数据工程、大数据科学和大数据应用等领域，是适应信息经济时代发展需要而产生的科学技术发展趋势。
狭义的大数据概念，主要是指大数据技术及其应用，是指从各种各样类型的数据中，快速获得有价值信息的能力，一方面，强调从海量数据、多样数据里提取微价值，即具有价值(Value)特征;另一方面，强调数据获取、数据传递、数据处理、数据利用等层面的高速高效，即具有快速处理(Velocity)特征。
大数据概念里的“数据”，是指具有可追踪、可分析、可量化特性的数据。
大数据概念里的“大”，是指“大数据”所应具有的“大量化”(V olume)、“多样化”(Variety)两个特征。