大数据电子商务安全与数据分析平台.docx

大数据电子商务安全与数据分析平台电子商务通过对市场信息及客户信息的收集、整理和深挖，精确分析市场形势、精准把握用户需求，极大促进了电子商务经济效益的提升。

行业向阳发展的同时，也带来更严重的信息安全问题，导致用户合法权益受到侵害。

在大数据时代，电子商务的安全管理与数据的分析利用同样重要，因此需要对其安全与数据分析平台进行研究。

1大数据时代电子商务安全体系构建
1.1安全体系架构设计
大数据时代的电子商务安全体系架构与以往的安全体系并无本质性的差别，由于依托于网络系统，因此其架构依然涵盖安全协议、安全技术、服务范围等模块，以确保电子商务安全体系的逻辑完整。

大数据电子商务安全体系架构包括五个部分，即商务层、协议认证层、安全验证层、安全技术层和网络安全层。

其中，前三个层级的主要功能是进行安全验证，由安全技术层和网络安全层发挥安全防护作用。

以网络安全层为例，网络安全层为电子商务提供宏观上的安全保障，包括防火墙技术、信息访问技术、网络传输安全控制技术等。

网络安全层能够抵御外部环境对电子商务系统的入侵和攻击，降低发生数据盗取、信息泄漏等安全问题的概率。

而安全技术层负责对数据传输过程加密，以免数据在传输过程中被盗取或篡改。

数据传输加密技术水平与系统计算能力相适应，在大数据时代，数据计算能力得到极大的提升，以往的很多加密技术已不再能满足电子商务安全防护的需求。

1.2安全验证方法选择
1.2.1安全性验证数据安全性的衡量标准包括数据备份能力、自我修复能力等。

建立在安全的网络系统环境之下，数据的安全性才能被很好的实现，尤其是数据传输、分享过程的安全[1]。

数据备份能够保证存储在系统数据库中数据的安全，配合用户权限管理，对不同权限用户的操作范围进行限制，进一步提升数据安全性。

电子商务安全防护系统并不能百分之百的保证数据安全，防护系统处于完全被动的位置，因此数据安全性验证需要从逻辑验证的角度入手，通过检验数据是否正确、完整，以判断恶意入侵、攻击行为所带来的数据资源损失。

1.2.2有效性验证数据有效性的判别标准为具备某种特定属性、属于某一特定范围、符合逻辑及规范要求等。

数据有效性的限制一般在数据录入的过程中即进行，如对目标客户年龄数据的限制，仅允许使用正整数。

电子商务系统的数据有效性还包括数据的确定性。

例如，在网上支付的过程中，将整个过程分为支付及确认支付，其中的支付过程属于消费者的预购买行为，此时的交易并没有完全达成，消费者可根据自身意愿选择终止。

数据有效性验证参照逻辑事实，其同样存在多样化的验证规则。

如正确性、确认性等。

2大数据时代电子商务数据分析平台
2.1电子商务数据分析平台框架结构
大数据时代电子商务数据分析平台以HadoopYARN为框架，分为基础层、架构层和应用层。

其中，基础层由虚拟机、Linux等构成，框架层则为HadoopYARN框架，应用层包括数据采集模块、数据存储
模块、数据筛查模块和数据分析模块。

2.2电子商务数据分析平台模块设计
2.2.1数据采集模块设计电子商务数据分析平台的数据采集模块主要采集工具为网络爬虫，从网络中全面采集对电子商务活动有价值的数据信息。

常见的数据采集模块分为动态网页和静态网页两种模式。

动态网页一般选用由JavaScript所编写的爬虫进行数据采集，而静态网页则选用Python网络爬虫。

在采集网络信息的过程中，两种爬虫工具相互配合，以确保采集数据的完整性和全面性。

2.2.2数据存储模块设计在大数据时代，网络数据信息成为最有价值的资源之一，随之而来的是爆炸式增长的数据存储需求。

因此数据存储模块必须备极高的存储性能，能够安全存储海量电子商务数据。

在以往的电子商务数据分析平台当中，常选用关系型数据库，目前，该种数据库的性能已经很难再满足上述数据存储要求，分布式数据库逐渐在电子商务数据分析模块中普及。

此次的数据存储模块设计选用NoSQL分布式数据库，并将HBase作为数据存储载体，为大数据分析、挖掘等活动奠定基础[2]。

此外，该类型的数据库还具备横向扩展、内存数据库等特点，以满足大数据背景下的多元化数据存储需求。

2.2.3数据筛查模块设计网络系统存在海量数据信息，这些信息并不完全能够被电子商务所利用，网络爬虫工具在采集信息时，会将一些错误、异常、重复、不完整的信息纳入数据库当中。

此时就需要通过数据筛查模块，对采集到的信息进行过滤和筛选，以使数据库得到高效的利用，并为后期的数据整理、分析工作提供便利。

依照现代
电子商务数据分析的需求，将数据筛查模块设计为5个子模块，即方案制定模块、数据检测模块、数据评估模块、数据纠正模块和数据输出模块。

(1)方案制定模块。

该模块主要负责数据筛查目标的制定、方法的选择，得出最佳的数据筛查方案。

(2)数据检测模块。

对采集到的数据进行检测和初步处理，将其中完整性不足、可靠性不够、异常及其他无效数据筛出并清除，以获得质量更高的电子商务数据体系，为大数据挖掘做好准备。

(3)数据评估模块。

数据评估模块负责对经过检测模块筛查与处理的数据进行质量水平认定，分析导致质量问题的原因。

最终结合具体业务需求，对预先制定好的数据筛查方案进行优化和完善，得到数据纠正方案。

(4)数据纠正模块。

对被标记的数据进行纠正处理，常用技术方法包括重新排序、融合、规则化处理等，确保数据信息完整、一致[3]。

将无效数据、冗余数据清除，并对重复数据进行融合。

(5)数据输出模块。

在数据输出之前，需要再次对经过处理的数据信息的合理性、可靠性进行验证，若达到大数据挖掘的要求，则可进行输出，若无法满足挖掘要求，重复以上筛查步骤直到数据质量达标。

数据筛查是整个数据处理过程中最重要的部分，只有确保被挖掘数据的完整与可靠，才能据此得到更多有价值的电子商务信息。

需要注意的是，数据筛查模块设计必须具备灵活性、可扩展性和交互性等优点，提供高质量的数据信息。

2.2.4数据分析模块设计数据分析模块对经过采集、存储、筛查的网络信息进行分析和挖掘，以为电子商务经营决策、网络营销等提供理论参考。

本电子商务数据分析平台的数据分析模块基于Yarn，配。