基于大数据下概率论与数理统计的研究与分析

基于大数据下概率论与数理统计的研究与分析

发表时间：2018-07-06T10:49:47.157Z 来源：《防护工程》2018年第5期作者：王郅雄

[导读] 又要从大数据的角度出发正确认识到数据形态、数据存储和数据处理等环节发生的变化，深入理解数据价值的重要性。

北京计算机技术及应用研究所北京 100854

摘要：科技进步使得信息流通速度加快、数据量飞速增长，传统的数据处理模式瓶颈凸显，大数据时代随之来临，在政治、经济、军事等领域引导诸多变革，以数据为核心的原理得以重视，以可预测为目标的观念深入人心。而同样以数据为研究对象的统计学如何在大数据浪潮中顺流而上并一展身手是值得思考的问题，而原有统计学的理论体系与大数据思维是否兼容也必须考量。在统计学专业教学中，必须考虑把统计学与大数据背景相结合，既要从统计学的基本原理出发引导学生掌握数据统计分析的基本方法，又要从大数据的角度出发正确认识到数据形态、数据存储和数据处理等环节发生的变化，深入理解数据价值的重要性。

关键词：概率论；数理统计；大数据分析；大数据研究

大数据时代的来临，统计学在理论和方法等各个环节均受到了较大挑战，但同时又迎来一次重大的发展契机.统计学教育必须正确认识到大数据带来的影响，积极适应大数据时代的需求，以培养数据分析人才为目标，整合教育资源推动学科交叉，以实际应用为抓手推动行业融合，才能继续发挥统计学的数据分析主力军作用。

一、概述

大数据分析是一个越来越热门的研究方向，各行各业都在应用大数据分析的技术。大数据分析方法也随之迅速发展，其发展方向也是令人关心的一个课题。随着科学技术，新工艺的开发和应用新技术，大数据分析中引入了许多快速发展的新方法来开发新的研究技术，人们也将大数据分析与研究的成果运用到其他学科中。统计学是一个前景非常明朗的产业，各行各业都在应用统计学的技术。统计科学在如今的普及率越来越高，与许多其他科学的崛起一样，统计学也将带领人们的研究方向去往新的数据分析领域。统计学的分析与研究，不仅仅是纯数学上的计算，而是一种有着更具体、更适合用途的研究领域。统计是一门高瞻远瞩的学科，总是站在大的角度、高的角度看待问题。在研究方法上创新创造可能会改变整个统计学科的研究面貌，是一件重要而必要的事情。由于技术进步而带来的统计数据的潜在功能的不断提高，使得统计学的一些应用将被进一步挖掘。系统地认识和系统地分析数据复杂性增加了统计学中分析思考的新途径。随着不同学科之间的研究方向的交叉，和学科交叉潮流的兴起，统计研究一直延伸到许多学科研究的新领域，开始探索新的数据的统计方法。在海量数据的分析与研究中，运用概率论与数理统计的方法可以在复杂的数据中找到需要研究的大致方向，快速地进入到工作主题中。概率论与数理统计能够帮助人们更快地找到数据的规律，通过数据的分布规律，我们对于大数据的分析和研究就能更加方便和快捷。对于大数据的分析，统计科学、与统计学相关的一些其他科学的崛起和普及将使研究领域拓展到更多的方面去。统计数据的一些先进科技成果的引进，统计的发展和他们的互动将成为统计发展的趋势。一些学者已经开始向数据统计分析的研究中引入系统论，控制论，模糊理论，信息论，图论，混沌理论等方法和理论。大数据分析以庞大的基数和变幻莫测的趋势呈现着世界上的许多规律，对于数学上的这种魅力，我们总是想要寻求具体的规律，那么计算大数据分析中的概率来推测数据的变化趋势应该是比较好的手段。运用概率的理论来在大数据分析中研究与实践，学科交叉会碰撞出火花，基于大数据下概率论与数理统计的研究与分析，将会为两个学科带来意想不到的发展与创新。可以说，概率学的运用是大数据分析中的一个颇具新意的发展方向。想要更好地研究大数据，必定要引用更多、更合适的概率学模型和知识。对于大数据分析与研究，运用概率论与统计的方法，可能会创造出新的大数据分析方法，因此我们对于大数据的研究与分析也就不仅仅是在以前的模式中增删几个数字或者增加一些新奇的研究方向，而是站在更高的地方重新审视整个研究体系，从根本上发现问题，改变刻板教条的研究方法。与其他学科相比，大数据分析略有一年强过一年的趋势。大数据分析是一门非常庞大繁杂、分支很多的学科，因为大数据涉及方面的多样性，大数据分析结果可以应用在生产生活中的方方面面，包括我们在处理海量数据时难以发现规律而带来的一些问题，都可以运用概率论与数理统计中的一些方法来发现问题趋势，从而解决问题，事实上，概率论成了现实生活中很多问题的方法指引。但是从我们现如今的研究情况来看，不难看出，许多理论上不错的研究方法在实际运用中却并没有得到广泛的应用。这是因为这些方法还是具有一些短处，从而难以适应现如今大数据分析中的一些情况。即使运用概率论与数理统计的方法来研究大数据分析，可是还是有许多研究模式或者方法难以迅速地从理论转向实际生产。在如今的研究现状下，这样的回转也是让人遗憾的。因此我们需要发展出一套新的适用于当前状况的研究体系的创新型大数据探索模式。对于大数据分析中的概率事件进行了初步探讨，大数据分析的概率事件是非常复杂而且也非常多变的命题，庞大的大数据分析基数带来了难以数计的变化。因此，我们在研究大数据分析中的概率事件的过程中需要用到多种研究方法和研究理论，运用概率学是其中一种非常不错的手段。可以在定性的基础上，定量地研究需要研究的对象，从而验证假设是否正确，来进行科学的研究。

二、大数据时代的统计学

1.大数据和统计学的本质都是数据分析。统计学的研究对象是数据，研究数据的收集、整理及分析，目标为找出数据的隐含规律。从数据中寻找有价值的信息关键在于对数据进行正确的统计分析，研究结果一般建立在精确抽样和合理模型的基础上。大数据的核心是数据，狭义的大数据一般指数据的结构形式和规模具备多样性、规模性、价值性、实时性等特征，可简单理解为数据大到在获取、存储、管理、分析等方面大大超出了传统的能力范围。广义的大数据除此之外还包括对应的数据处理技术，如大规模并行处理（MPP）数据库、数据挖掘、分布式文件系统、分布式数据库、云计算平台、互联网和可扩展的存储系统等。从本质上看，统计分析和大数据在数据分析的很多根本性问题上变化不大，但由于数据本身发生了变化，使得数据分析的广度、深度和难度增大。因此可以形象地说，统计学是传统“小数据”时代的大数据，而现代大数据中的数据分析依然与统计学密切相关。

2.统计仍然是数据分析的灵魂。大数据时代并不意味着所有的问题都是大数据，也不意味着所有问题大数据都能解决，传统的统计理论和方法不是没有用武之地，而是要与现有的大数据思维融合，借助大数据的相关技术解决以前不能解决的问题。因此大数据对传统统计学意味着巨大的挑战，但同时也是一次难得的发展契机，应该有正确的认识，保持宽容的态度，学科的发展和融合本就是大势所趋，大数据不能替代传统统计学，而传统统计学也不能固步自封，必须不断发展完善，有所取舍。另一方面也必须意识到，大数据的有些思维模式