大数据背景下数据质量管理优化对策

发表时间：2019-05-21T14:40:00.173Z 来源：《防护工程》2019年第3期作者：楼丹陈永杲

[导读] 这需要工作人员应不断提高对数据质量的管理，对数据的各个流程展开合理的分析，从而数据的利用效率。

国网浙江桐乡市供电有限公司 314500

摘要：随着我国经济社会发展，在一定程度上也促进了我信息化技术及互联网技术水平的提升，对带动数据量的增长以及数据类型的增多起着积极的作用，大大提高了数据的复杂性，对我国社会朝着数据化时代的发展有着重要的意义。对此，要想使大数据的应用价值得到充分的发挥，就应做好对数据质量的管理工作，保证数据传输的稳定性和安全性。笔者通过对大数据特征的研究，对现阶段我国数据质量管理所面临的各种问题提出积极的解决对策。

关键词：大数据；数据质量管理；元数据管理

引言：

通过对大数据进行科学管理和有效利用，能够促进决策制定的合理性，通过应用大数据中有价值的信息，从而促进各项工作的顺利完成。但在由于大数据的数量和种类较多，在这些冗杂的信息中往往会存在一些无用信息，对数据的质量带来严重的影响，从而降低了信息价值，使其优势也会受到影响。要想通过优化管理来促进数据质量的提升，是当下我国大数据时代所应思考的重要的问题，并需对其进行广泛的关注。

1 大数据背景下数据质量管理面临的问题

1.1计算难度较大

由于大数据自身存在一定的特点，因此在对其进行质量管理的过程中，应选择使用线性及亚线性算法对其时间及空间的复杂水平展开合理的确定。为了更好的促进运算水平的提升，应结合并行算的方式，从而使数据的质量和算法的准确性都能得到保证，这也使计算的难度得到极大的提升。就现阶段我国数据质量管理现状来看的话，没有对数据的可扩展性展开综合的考虑，无法适应数据量等级需要[1]。

1.2缺乏知识支撑

由于大数据具有一定的多样性且价值密集度不高，因此要想提高其利用效率就应展开全面深入的分析，但当下在尽心各项数据质量管理的过程中，所采用的各项参数及其规则都是通过专家来决定的，自动错误检测修复及规则学习算法需要主数据或清洁的训练集。这也会耗费大量的维护费用，对于所选择则的训练集，现阶段来看还有没建立一个完整的计算方式，无法对其提供有效的支撑，无法适应数据质量管理的需要。

1.3容易出现错误

由于大数据自身存在一定的复杂性，在保存及传输过程中容易出现错误的现象，使数据的准确性受到改变，无法将其应用效果得到充分的发挥。由不同类型数据的数据并不是被独立进行划分的，它们都有着一定的关联，一旦出现错误现象，将会影响整个数据质量，从而降低其精准度，但当下我国所采取使数据质量管理的方式还并不完善，只能够对一些特定的错误进行处理，无法对一些关联性的错误展开良好的管理效果[2]。

2 大数据背景下数据质量管理优化对策

2.1构建数据质量评价体系

图1 数据质量体系

只有做好质量评估体系的完善工作才能从根本上来保证数据管理的规范性，并且数据质量的维度体系的内容较多，如图1所示，在进行数据质量评价体系构建的过程中应尽量从这几方面进行考虑。首先，可以集合唯一值以及记录数来对数据的完整性进行判断，在对其进行属性衡量的过程中，结合为空值所占比例；其次，在校验数据准确性的过程中，应合理的分析数据的准确性，如定义范围准确，值有无存在意义等，这些都是常见的数据错误行驶，此外，对于及时性的检验，可以结合时间间隔来对其进行合理的判断，从而更好的确定数据能否出现延时的现象；最后，在对数据一致性进行衡量的过程中，所用依据为合规记录所占比例，而对于逻辑关系的判定，则可结合合规率来进行合理的判断分析，根据所建立数据质量评价体系，并通过量化指标的方式展现出数据质量，如果出现异常数据时应立即进行警报，从而可以在短时间内找到异常数据的具体位置，并及时进行处理，避免对其他数据质量造成影响[3]。

2.2构建大数据质量知识库

大数据质量管理作为一项持续性的工作，要想在短时间对处理数据质量的问题并保证其精准度，就应构建一个完整的大数据质量知识